在Google,MapReduce有着非常广泛的应用,包括分布排序,Web访问日志分析、反向构建索引和机器学习等。Nutch项目开发,正是以MapReduce的项目为依据,开发出后来大名鼎鼎的Hadoop。

Hadoop架构示意图(来自cnblog)
可惜风云变幻,时光荏苒,现在谷歌宣布要弃用MapReduce,转而投向更有前景的云分析平台。

mapreduce平行编程设计架构流程图(图片来自Google)
实际上,MapReduce虽然被称为谷歌三宝之一。谷歌内部对这款产品并不是很满意。在2010年就传出消息说,谷歌正在构建新型网络内容索引系统来替代MapReduce。从2009年开始,Google就已经启动了代号为“Colossus”的研发计划,主要内容围绕新的分布式文件系统——Caffeine进行研发。
麻省理工学院的数据库专家Mike Stonebraker认为,MapReduce的计算方法对于实时计算来说是很不合适的,是过时的。
标签:服务器









