写正在前面：近来，数据湖的观念尽头热，很多前哨的同砚都正在商酌数据湖应当怎样修？阿里云有没有成熟的数据湖管理计划？阿里云的数据湖管理计划终究有没有实践落地的案例？怎样明确数据湖？数据湖和大数据平台有什么差异？头部的云谋略玩家都各自推出了什么样的数据湖管理计划？带着这些题目，咱们试验写了如许一篇作品，期望能扔砖引玉，惹起大师少少思虑和共识。感动南靖同砚为本文编写了5.1节的案例，感动西壁的review。
本文席卷七个末节：1、什么是数据湖；2、数据湖的根本特色；3、数据湖根本架构；4、各厂商的数据湖管理计划；5、样板的数据湖使用场景；6、数据湖设备的根本流程；7、总结。受限于私人水准，缺点正在所不免，迎接同砚们沿途钻探，责备斧正，不惜见示。
数据湖是目前比力热的一个观念，很多企业都正在构修或者谋略构修己方的数据湖。然而正在谋略构修数据湖之前，搞懂得什么是数据湖，昭彰一个数据湖项方针根本构成，进而打算数据湖的根本架构，看待数据湖的构修至闭紧急。闭于什么是数据湖，有如下界说。
数据湖是一类存储数据天然/原始体式的体系或存储，一样是对象块或者文献。数据湖一样是企业中全量数据的简单存储。全量数据席卷原始体系所发作的原始数据拷贝以及为了各式职业而发作的转换数据，各式职业席卷报表、可视化、高级判辨和呆板进修。数据湖中席卷来自于联系型数据库中的构造化数据（行和列）、半构造化数据（如CSV、日记、XML、JSON）、非构造化数据（如email、文档、PDF等）和二进造数据（如图像、音频、视频）。数据池沼是一种退化的、缺乏治理的数据湖，数据池沼看待用户来说要么是不成拜候的要么即是无法供给足够的价钱。
数据湖是一个蚁合式存储库，准许您以纵情范围存储整个构造化和非构造化数据。您可能按原样存储数据（无需先对数据举办构造化照料），并运转差异类型的判辨 – 从操纵面板和可视化到大数据照料、及时判辨和呆板进修，以指示做出更好的决议。
微软的界说就特别混沌了，并没有昭彰给出什么是Data Lake，而是取巧的将数据湖的功用举动界说：
Azure的数据湖席卷完全使得开拓者、数据科学家、判辨师能更简便的存储、照料数据的才力，这些才力使得用户可能存储纵情范围、纵情类型、纵情发作速率的数据，而且可能跨平台、跨措辞的做整个类型的判辨和照料。数据湖正在能帮帮用户加快使用数据的同时，清扫了数据搜罗和存储的繁杂性，同时也能救援批照料、流式谋略、交互式判辨等。数据湖能同现有的数据治理和处理的IT投资沿途职业，保障数据的类似、可治理和安静。它也能同现有的营业数据库和数据栈房无缝集成，帮帮扩体现有的数据使用。Azure数据湖接收了多量企业级用户的体会，而且正在微软少少营业中救援了大范围照料和判辨场景，席卷Office 365, Xbox Live, Azure, Windows, Bing和Skype。Azure管理了很多出力和可扩展性的寻事，举动一类任职使得用户可能最大化数据资产的价钱来餍足此刻和他日需求。闭于数据湖的界说原本良多，然而根本上都环绕着以下几个个性张开。
1、 数据湖须要供给足够用的数据存储才力，这个存储生存了一个企业/构造中的所少有据。
2、 数据湖可能存储海量的纵情类型的数据，席卷构造化、半构造化和非构造化数据。
3、 数据湖中的数据是原始数据，是营业数据的完全副本。数据湖中的数据维持了他们正在营业体系华夏来的状貌。
4、 数据湖须要具备完备的数据治理才力（完备的元数据），可能治理各式数据闭系的因素，席卷数据源、数据体式、贯串讯息、数据schema、权限治理等。
5、 数据湖须要具备多样化的判辨才力，席卷但不限于批照料、流式谋略、交互式判辨以及呆板进修；同时，还须要供给必然的职业更改和治理才力。
6、 数据湖须要具备完备的数据性命周期治理才力。不但须要存储原始数据，还须要或许生存各式判辨照料的中央结果，并完全的记载数据的判辨照料流程，能帮帮用户完全周详追溯纵情一条数据的发作流程。
7、 数据湖须要具备完备的数据获取和数据揭橥才力。数据湖须要能支持种种各样的数据源，并能从闭系的数据源中获取全量/增量数据；然后典型存储。数据湖能将数据判辨照料的结果推送到适应的存储引擎中，餍足差异的使用拜候需求。
8、 看待大数据的救援，席卷超大范围存储以及可扩展的大范围数据照料才力。
综上，私人以为数据湖应当是一种连接演进中、可扩展的大数据存储、照料、判辨的根柢步骤；以数据为导。