服务器
    作者:范平

    IT新纪元!盘点2012最值得关注十大产品

         [ 中关村在线 原创 ] 暂无评论

        正如前文所述,这是一个大数据无所不在的社会。而Hadoop就是专门处理并从大数据中挖掘提炼价值的一个分布式系统平台。它充分利用了服务器集群的资源来实现高速计算和数据存储。

        Apache开源项目Hadoop在今年年初发布了1.0.0版。它被设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

    末日求生工具!2012最值得关注十大产品
    大数据架构将成完整系统

      Hadoop 有许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS(对于本文)的上一层是 MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。

        相关阅读:大数据与谁共舞?时代命脉之争已现高潮

        从初创到现在Hadoop经过了至少7年的积累,支持或者家人Hadoop这一阵营的企业名单中,涌现出了很多业界一流的知名大腕,比如Facebook、Linkedin、Amazon、IBM、微软等等。

      值得关注的是,英特尔也在今年推出了英特尔Hadoop发行版。作为IT行业的引领者,为大数据的处理尤其是Hadoop平台在硬件系统层面不断优化。首先从英特尔产品线上来讲,从CPU、存储、内存一切的技术,英特尔正在持续创新并引领未来发展,重点关注新一代的系统架构,以及数据中心的解决方案能够更适合大数据的要求。另一方面,英特尔也十分重视软件生态系统的发展,关注如何提供优化的软件工具,提供优化的中间件,包括Hadoop,帮助构造健康的生态系统。

    末日求生工具!2012最值得关注十大产品
    英特尔Hadoop发行版架构图(图片来自Intel)

      除了硬件系统的优化,英特尔在软件方面,特别是Hadoop系统方面,在Hadoop系统和Hbase、HDFS里面都做了增强和优化,使得开源在英特尔的平台上,在英特尔的硬件上得到显著的提高。为此英特尔专门做了Intel  Hadoop  Manager 2.0,提供Hadoop的发行版。

    末日求生工具!2012最值得关注十大产品
    英特尔Hadoop发行版界面

      Hadoop发行版通过优化其处理能力达到了接近于实时的水平。目前大部分数据处理系统都是批处理系统或者非实时处理系统,通过对Hadoop的优化,可以把采集到数据处理缩短到近于实时处理,这是优化的结果。另一方面,还对Hadoop在英特尔的硬件上性能做了优化。

    末日求生工具!2012最值得关注十大产品
    英特尔 Hadoop 发行版企业级解决方案

      前段时间,英特尔还专门针对Hadoop发行版推出了免费版产品。免费版的Hadoop意义重大 ,降低了广大用户体验大数据应用的门槛。不过,该免费版仅支持50个节点的部署规模, 数据存储量承载也限定为8TB,比较适合于中小企业用户。

        【入选理由】:

        大数据毋庸置疑是今后的一个热门现象,也是一个新时代的“宝藏”。挖掘这座宝藏需要有好的硬件设施,同时还需要有好的分布式大数据处理平台。

        Hadoop尤其是英特尔Hadoop发行版,相比其他大数据处理平台能提供更多的性能优化,在管理、可靠性、和未来应用开发方面都更具有优势。通过各种数据的采集、挖掘并最终进行分布式处理分析提炼,能够为企业用户提供业务决策。一定程度上说,也是一种IT科技高度发展下的“未来预测”科学。

    提示:支持键盘“← →”键翻页
    本文导航

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询