服务器
    作者:贾凯强

    如何保证Hadoop数据湖不变成“数据洪水”

         [ 中关村在线 原创 ] 暂无评论

      数据湖的提出距今已经有了几年时间了,特别是在当今时代中,基于Hadoop建立的数据湖在大数据处理中占有的位置越来越重要。但是如何保证数据湖不像南方水灾一样泛滥,依然是一个耐人寻味的话题。

    如何保证Hadoop数据湖不变成“数据洪水”
    数据湖已满,如何防泛滥

      数据湖洪水泛滥

      数据湖十分灵活,同时具备可扩展和低成本的特点。其最初建立的目的十分简单,就是将所有形式的数据集中在同一处,这些数据包括了结构化数据、非结构化数据以及半结构化数据。这些数据可以是日志文件、点击流、邮件、图像、音频视频或者文本文件。

    如何保证Hadoop数据湖不变成“数据洪水”
    数据湖中数据类型繁杂

      在这些数据中,非结构化和半结构化数据占据了很大一部分,但是由于我们的处理能力不同,一些数据可能在数据湖中存储了很长时间而不能被处理掉,这样就会一直积攒下来保留的现在。

      诚然,数据湖可以帮助处理各种形式的数据,这其中以结构化数据为主。而且数据湖具备数据库的大部分特质,可以提供数据查询、结构化数据处理报告等业务。数据湖的最大价值在于数据利用、探索大数据的价值,预测未来结果并为企业提出相关建议,进而指导企业的进一步决策和行动。

    如何保证Hadoop数据湖不变成“数据洪水”
    “数据洪”一触即发

      但是,问题也就发生在这里。因为基于Hadoop部署的数据湖的能力并不足以应付一切,而用户对数据湖又疏于管理。数据量随时间而增加,数据湖开始泛滥,进而有逐步发展成洪水的趋势。数据不能得到有效的分配,“数据洪”随时可能冲溃堤坝,水漫金山。

    提示:支持键盘“← →”键翻页
    本文导航
    • 第1页:数据湖:一不留神变数据洪

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询