在旧金山举行的Google I/O大会上,谷歌发布了Cloud Dataflow以替代MapReduce。谷歌高级副总裁Holzele指出,一旦数据到达几个PB级别,MapReduce处理起来并不是那么得心应手。

Google I/O大会展示的Cloud Dataflow幻灯片(图:oschina.net)
在大会上,谷歌力推Cloud Dataflow新平台,认为该系统比起同规模任何系统,其运行速度更快。
Cloud Dataflow能创建数据管道,在批处理和流处理模式下摄取、转变和分析数据。相比MapReduce可以降低运营开销,更容易的从数据中获取到可行的见解。同样,谷歌将会为开发人员提供其云服务平台,而没有类似此前MapReduce平台上的一些限制。
“Cloud Dataflow是谷歌十几年技术研发的成果,提供完全自动优化的部署、管理和拓展服务。”Holzele继续说道。
在大会上,Holzele也宣示了一些其他云服务平台取得的成果。
Cloud Save
Cloud Save是一种API,允许应用程序在云里或其他地方保存单个用户的数据,并使用它而不需要提供任何服务器端代码。 借助谷歌平台即服务提供的App Engine,用户可以通过计算引擎的特性构建自己的应用程序。
Cloud Debugging
部署在云中的许多服务器软件上的漏洞可以被Cloud Debugging找到并筛选出来。
Cloud Tracing
Cloud Tracing在不同的项目中调用统计数据,例如服务器数据库延迟的调用,并且提供分析报告。
Cloud Monitoring
Cloud Monitoring是一种智能监控系统,是Stackdriver集成的结果,谷歌于今年5月份刚刚购买了这个项目。提供云基础设施资源的检测功能,对磁盘、虚拟机、谷歌服务的服务项目以及十多个非谷歌开源包进行监测。
笔者在此提醒,Hadoop平台是开源的,但是Cloud Dataflow并不是,任何公司想要使用它都必须要为谷歌的服务付费。









