服务器
    作者:范平

    缓解能源之痛 高性能计算成治本良方

         [ 中关村在线 原创 ] 暂无评论

         石油行业将面临大数据的挑战,基于此,来自英特尔亚太研发中心大数据部的王晓栋先生,为与会人员带来了Hadoop与大数据应用场景的有关内容介绍。

        王晓栋表示,Hadoop是一个相当较新的技术,它是一个建立在普通服务器上的高度可扩展、高可靠的分布式系统,专为大规模计算和海量数据存储而设计。它的可扩展处理引擎主要包括两大部分:

        ——Hadoop Distributed File System(HDFS),分布式文件系统,可扩展、可自动修复的高带宽集群存储;

        ——MapReduce,并行计算框架。

    缓解能源之痛 高性能计算成治本良方
    英特尔亚太研发中心 王晓栋

        随着数据量的增加,数据的查询、存储、分析会越来越依赖于大型存储、处理等设备,纵向的扩展也越来越困难。增加处理器、存储、网络资源,其性能却不会获得线性增长。最早感受到这种挑战的,来自于互联网企业,它们的数据,希望通过常见系统来实现难以完成的功能。

        英特尔敏锐地发现了这一发展趋势,并成立了相关的研发团队,并推出了基于英特尔的Hadoop发行版。

    缓解能源之痛 高性能计算成治本良方
    英特尔Hadoop发行版

        对Hadoop的架构来说,它提供了两种模式,分别是分区模式和冗余方式。前者使计算节点和存储节点合二为一,对于英特尔构架的服务器来说,使用Hadoop模式特别适合。也可以使用机架上的更多存储和多路多核处理器,来解决磁盘I/O瓶颈等问题,其计算能力能得到线性式增长,数据和计算可以被分布到大量独立的节点上,进行分布式计算。

        另一个优势则是冗余方式,为了实现可靠性,数据需要被复制到多个独立节点。可以实现服务的冗余、存储的冗余。

    王晓栋先生,还特别提到了Hadoop在石油行业的未来发展前景。他认为,Hadoop自身的很多优势特性都是当前HPC集群的一个良好不错,能提供很多高可靠性设计,支持动态、智能地对计算集群资源的管理、优化和监控,以更优越的方式进行计算作业的管理。

    缓解能源之痛 高性能计算成治本良方
    Hadoop在石油行业的机会

        此外,由于勘探采集方法和野外施工等原因,油气勘探采集到的原始数据资料十分珍贵,需要永久保留。在采用Hadoop的情况下,支持的数据容量可高达petabyte(PB级别),并且支持扩展。

    标签:服务器CPU
    提示:支持键盘“← →”键翻页
    本文导航

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询