服务器
    作者:贾凯强

    LinkedIn开源Dr.elephant,Hadoop爽了

         [ 中关村在线 原创 ] 暂无评论

        一旦其中有元数据发生问题,大象医生会对此进行诊断并生成报告进行标记。这些标记会依据潜在性能问题的严重性分为5个等级,大象医生会根据等级对用户分别进行提示,最终以启发式的方法促成用户进行整体的修改至最终任务完成。

       身手全面的家庭医生

      大象医生诞生于2014年中期。在其诞生前的几年,LinkedIn的Hadoop团队一直在为他们的员工进行工作流的分析,为他们提供调整意见并批准运行生产等。但是随着用户量的增长,这一流程变得越来越难,这也是促进LinkedIn下定决心自动化取代该流程的原因所在。于是大象医生应运而生。

    LinkedIn开源Dr.elephant,Hadoop爽了
    大象医生像家庭医生一样体贴

      大象医生在LinkedIn非常受欢迎,人们喜欢他的简单。大象医生像一个家庭医生一样,通过简单的诊断可以解决工作中80%的问题。不同于普通的集群级别数据统计,大象医生更多的聚焦于为帮助Hadoop用户理解和提升工作水平而提供意见。

      大象医生像一个真正的医生一样诊断问题的根源,通过简单的流程图为用户剖析问题。此外,你还可以通过大象医生添加很多启发式的规则,使其变得更加贴合个人使用习惯。

      据悉,LinkedIn已经将大象医生应用于多个方面,比如监测流对集群的影响,理解流运行缓慢的原因,如何调整提高流量,与之前的任务比较执行情况,流程故障排查等。

    LinkedIn开源Dr.elephant,Hadoop爽了
    Hadoop和Spark都将受益于大象医生

      此外,除了增加改进了启发式算法、扩展工具和新的工作类型以外,LinkedIn还更新了更多的功能。比如大象医生可以根据具体工作对其进行实时的指标化建议,工作集群资源使用情况可视化呈现,以及更好的调整调度以便支持更多的Spark。

      大象医生的开源对于数据工作者来讲无疑是一件幸福的事情,准备好迎接他吧。

    提示:支持键盘“← →”键翻页
    本文导航
    • 第3页:来也匆匆,开也匆匆

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询