No.3关键词:大数据
关键词解析
借助云计算迅猛发展之机,大数据在社会进步和应用更加丰富多彩的条件下,愈来愈受到人们关注。IBM公司对大数据特征的定义是:大量化(Volume)、多样化(Variety)和快速化(Velocity),并且在此基础上形成的高价值(Value)。
大数据
大数据(Big Data)是一个长期应用,其大小超出了常用的软件工具的能力,它通常包括交易和交互数据集在内的所有数据集,其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。大数据中,通常以非结构数据增长最为显著,不仅存在量的无限增长,也更体现着质的复杂。
年度回顾
2011年初,微软发布SQL Server R2 Parallel Data Warehouse(PDW,并行数据仓库),一改以往SQL Server部署时间需要花费两年半时间的历史,它可以帮助客户扩展部署数百TB级别数据的分析解决方案。支持这一产品的包括有合作伙伴惠普的硬件平台 。
微软在今年10月12日通过推出Apache Hadoop和相关的SQL Azure Hadoop服务,宣布进入大数据领域。
今年二月,惠普收购了Vertica——提供高效数据存储和快速查询的列存储数据库实时分析平台,在收购之后,惠普随即推出了基于x86硬件的HP Vertica。通过MPP的扩展性可以让Vertica为高端数字营销、电子商务客户(比如AOL、Twitter、 Groupon) 分析处理的数据达到PB级。
今年5月,EMC推出了自己的Hadoop软件工具,而且该公司还承诺,今年秋季发布的模块化DCA将支持Greenplum SQL/关系型数据库,Hadoop部署也能在同样的设备上得到支持。借助Hadoop,EMC能够解决诸如网络点击数据、非结构数据等真正大数据分析的困难。模块化的DCA也能够在同样的设备上支持长期保留的高容量的存储模块,从而满足监测需求。
今年6月,SAP正式发布了HANA产品,并在现场演示了HANA在线搜寻与分析功能。通过搜寻“可持续发展资源 循环”等关键词, 很快就能在图表系统上实时看出这些词在商业机构当中的关注热度。在今年11月召开的SAP商业同略会上,SAP与其旗下Sybase联合发布了新一代移动应用,可以满足移动领域中海量数据分析和查询等各类应用。
Kognitio是已经在惠普、IBM硬件产品上预配置有WX2数据库Lakes、Rivers和Rapids的服务商。今年,Kognitio新增了一个虚拟 化OLAP风格的Pablo分析引擎。它提供了灵活的、为企业用户进行分析的解决方案。用户可升级选用WX2构建一个虚拟多维数据集。因此,WX2数据库中任何一个维度的数据都可在内存中用于快速分析。这种分析的前端接口是我们常见的Microsoft Excel。
今年9月,甲骨文宣布推出Oracle SuperCluster(图中右侧),扩展了engineered systems产品家族。它采用了最新的Sun Sparc T-4芯片。SuperCluster支持全机架/半机架配置,而且用户可以在半机架容量基础上进行扩容。满额配置提供有1200个 CPU线程,4TB内存,97TB至198TB磁盘存储,8.66TB闪存。
2011年10月,全球最大、专注于数据仓库,大数据分析和整合营销管理解决方案的厂商Teradata,推出Teradata Aster MapReduce平台,推进大数据分析的应用。通过对优化数字营销或检测欺诈行为到在远程位置进行测量和报告机器的运行等多个领域的信息释放。
新推出的 Teradata Aster MapReduce 平台将大数据分析语言 MapReduce 与商业分析语言结构化查询语言 (SQL) 相结合,其中包括 Aster Database 5.0、新版 Aster MapReduce Appliance(这将扩大 Aster软件部署的选择范围,超越纯软件和云的限制),以及适用于 Teradata 与 Aster数据系统之间高速数据传输的Teradata-Aster Adaptor。
简要分析
大数据已经成为时代发展和技术进步不可逆转的历程,各大厂商都纷纷推出针对大数据应用的软硬件解决方案。针对大数据的大规模并行处理平台、列存储数据库、数据库内处理技术和内存计算技术等技术,都可以提供高效准确的数据查询和分析。用户应该根据自身实际情况和应用特点来选定适合的技术方案。
相关阅读:盘点大数据分析的十二大杀手锏[组图]
不过话说回来,大数据分析成为增强企业盈利能力的有利工具,同时,挖掘多结构数据的高额成本和具有必备专业分析技能人员的稀缺,在很大程度上妨碍了大数据分析的应用。大数据既是一种时代特征,也是一种机遇。
未来展望
考虑到应用的广泛前景,未来还将会涌现更多的数据解决方案,借助不断成熟的硬件平台,大数据分析和处理系统也将在开放和 独创两种特色中不断向前。另外,大数据的门槛相对较高,广大中小企业更多将会以外包或者依托云环境的定制化措施来获取分析数据。