1英特尔Hadoop发行版应势而出
如今大数据时代,开源技术Hadoop成为企业部署数据应用的首选平台。Hadoop将也成为云部署的杀手级应用,未来随着企业对Hadoop的应用拓展会有长足发展。目前市场上的Hadoop发行版和开源版本,IBM、Oracle、Intel、EMC等知名厂商都有Hadoop发行版,而英特尔则拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。
Hadoop究竟是什么,对于这个问题答案或许很多人并不了解,笔者之前《借势成长 开源技术Hadoop究竟是什么?》详细介绍这个“火起来”的开源技术有何魅力。通过进一步的学习和了解,针对英特尔Hadoop平台以及市场动作,侧面通过本文加深大家对Hadoop的认识。
Hortonworks大数据平台架构(来源:Hortonworks)
对于Hadoop成为市场应用的焦点,从Hortonworks提供Hadoop大数据平台Windows测试版,EMC发布名为“Pivotal HD”的Hadoop发行版,以及HP加入Hadoop并提供安全插件ArcSight,Intel更是在大数据方面针对创新的应用方面提出新的方案。
就大数据应用本身,芯片巨头英特尔推出大数据解决方案:Intel发行版Hadoop。该平台结合自身强大技术、成熟市场经验,打造面向大数据应用的Hadoop高效平台,有助于提供相比其他Hadoop平台更可靠、更高性能、更多和更易于管理的大数据解决方案。
之后不久,戴尔联手英特尔推出基于Hadoop发行版、戴尔PowerEdge云服务器及网络架构的解决方案,戴尔Hadoop解决之道为客户提供优化的软硬件配置建议,简单快捷的实施部署服务,为客户提供一站式大数据整体解决方案。
从市场上,基于英特尔Hadoop发行版,在原有的开源版本基础上进行了特殊强化,包括HDFS、MapReduce以及HBase代码的改写,同时并支持SQL查询指令语言Hive,特别是在成熟x86平台上,基于英特尔发行版Hadoop可以实现深度融合,其免费版化解部署技术门槛。
2英特尔Hadoop创新方案简介
对于开源Hadoop来说,为处理海量处理系统提供了一个超越传统存储和数据库技术的解决方案,成为构建海量数据构架的主流选择。但基于开源社区的Hadoop开源版本使企业用户在使用时需解决系统一致性、安装维护、管理监控等,并且需要自己解决和修补开源版本中存在的BUG,使得企业用户在使用Hadoop中遇到重重障碍。
然而,Hadoop无疑是大数据领域中最炙手可热的技术,也是最突出的大数据处理平台。正如之前谈到,英特尔结合自己的硬件技术和成熟经验,打造面向大数据应用的Hadoop平台,有助于提供相比其他Hadoop平台更可靠、更高性能、更易于管理的大数据解决方案。
英特尔Hadoop发行版管理界面
从英特尔相关资料了解,针对企业用户对Hadoop技术平台的需要,英特尔Hadoop发行版产品提供了一个稳定高效可管理的Hadoop发行版。英特尔Hadoop发行版经过大量实际项目的在线使用验证,免去了企业用户的后顾之忧。英特尔还提供全面的产品技术支持和顾问服务,使得企业用户在系统规划、设计、实施和运行时都能得到专业及时的专业服务。
作为英特尔来说,目前它拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本,并在GitHub维护着Project Panthera开源项目,其中包括即时分析、基于HBase的文档存储、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子项目。
英特尔Hadoop发行版是全面测试的企业级发行版,保证长期稳定运行集成最新开源的和自行开发的补丁,用户可以及时修正漏洞保证各个部件之间的一致性,使应用顺滑运行。
另外,通过对HBase进行改进和创新,英特尔Hadoop发行版提供实时数据处理功能,同时提供跨数据中心的HBase数据库虚拟大表功能,实现HBase数据库复制和备份功能,提供企业关键应用程序所需的即时大数据分析。
特别是,基于Hadoop底层的大量优化算法,配合英特尔优化架构,使应用效率更高、计算存储分布更均衡系统安装程序计算得出的优化参数配置,适合大多数应用情况与硬件技术相结合,提高平台性能。
此外,优化的交互式数据查询分析功能,利用现有的Hive数据仓库前端,重新实现了后端对HBase数据的查询和分析,极大提升了用户的交互式数据分析体验。而在管理和扩展方面,提供独有的基于浏览器的集群安装和管理界面,通过R语言的RHadoop的扩展,可以利用R丰富的统计分析库来分析Hadoop中存储的数据。