数据湖的提出距今已经有了几年时间了,特别是在当今时代中,基于Hadoop建立的数据湖在大数据处理中占有的位置越来越重要。但是如何保证数据湖不像南方水灾一样泛滥,依然是一个耐人寻味的话题。
数据湖已满,如何防泛滥
数据湖洪水泛滥
数据湖十分灵活,同时具备可扩展和低成本的特点。其最初建立的目的十分简单,就是将所有形式的数据集中在同一处,这些数据包括了结构化数据、非结构化数据以及半结构化数据。这些数据可以是日志文件、点击流、邮件、图像、音频视频或者文本文件。
在这些数据中,非结构化和半结构化数据占据了很大一部分,但是由于我们的处理能力不同,一些数据可能在数据湖中存储了很长时间而不能被处理掉,这样就会一直积攒下来保留的现在。
诚然,数据湖可以帮助处理各种形式的数据,这其中以结构化数据为主。而且数据湖具备数据库的大部分特质,可以提供数据查询、结构化数据处理报告等业务。数据湖的最大价值在于数据利用、探索大数据的价值,预测未来结果并为企业提出相关建议,进而指导企业的进一步决策和行动。
但是,问题也就发生在这里。因为基于Hadoop部署的数据湖的能力并不足以应付一切,而用户对数据湖又疏于管理。数据量随时间而增加,数据湖开始泛滥,进而有逐步发展成洪水的趋势。数据不能得到有效的分配,“数据洪”随时可能冲溃堤坝,水漫金山。