服务器
    作者:王迪

    借势成长 开源技术Hadoop究竟是什么?

         [ 中关村在线 原创 ] 暂无评论

        了解到Hadoop的技术特点和应用部署问题,很多人最大的疑惑是Hadoop技术未来真正的价值是什么?从技术特点上来说,之前提到Hadoop由采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及MapReduce技术的高性能并行数据处理服务是其优势所在。这里简单说,Hadoop的技术对复杂数据的快速、可靠分析变为商业价值的基础。

    借势成长 开源技术Hadoop究竟是什么?
    Hadoop子项目

        而对于Hadoop来说,尽管提供了数据存储和并行处理平台,但其真正的价值来自于添加件和功能,以及Hadoop Common、Chukwa、HBase、Hive、Pig和ZooKeeper这项技术的增加功能性和新能力的子项目实现。

    借势成长 开源技术Hadoop究竟是什么?

      从关系结构看,Pig是一种编程语言,可加载数据、表达转换数据以及存储最终结果,它简化了Hadoop常见的工作任务。而Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS,并允许使用类似于SQL语法进行数据查询。

      谈到区别,Hive更适合于数据仓库的任务。Pig在大数据集领域更多的灵活性,相比Hive直接使用Hadoop Java APIs可大幅削减代码量。

    借势成长 开源技术Hadoop究竟是什么?
    Hadoop子项目说明

      最左侧的Ambari项目是最新加入Hadoop,旨在帮助系统管理员部署和配置Hadoop,升级集群以及监控服务。而ZooKeeper最大的功能是协调,随着越来越多的项目加入Hadoop生态系统的一部分,集群成员通过ZooKeeper功能进行彼此同步并了解访问服务和配置。

      由此,从概念、架构到子项目,笔者感觉Hadoop尽管应用于分布式环境,其开放的生态系统如同Linux一样,各个IT厂商通过集成和测试Apache Hadoop的组件,并添加厂商自身的工具和管理功能来不断扩展Hadoop生态环境。可见,厂商既成为开源Hadoop项目的代码和功能贡献者,又同时把不同模式带到实际的业务应用中,结合自己的产品提供大数据解决方案。

    提示:支持键盘“← →”键翻页
    本文导航
    • 第2页:Hadoop技术真正的价值?

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询