爱奇艺许立剑:分布式计算Mesos框架和应用

网友投稿 484 2023-04-25

爱奇艺许立剑:分布式计算Mesos框架和应用

爱奇艺许立剑:分布式计算Mesos框架和应用

视频网站已经深深地走入了每个人的生活,并成为一种重要的内容传播平台,但是从事互联网行业的人会更清楚这一点,如果没有相应的技术支撑,即使有再好的想法和再好的内容,也很难变现为可行的平台和商业模式,对于中国互联网视频行业而言,无论是三网融合的契机,还是移动互联网的未来,对相关技术的重视都是发展的基础。

爱奇艺高级工程师许立剑在活动中对Mesos进行了介绍,Mesos2009年诞生于伯克利AMPlab,用于构建和运行其他分布式系统的分布式系统,可以毫不费力得支撑3万台服务器。Mesos广泛应用于Twitter、eBay、Vimeo等公司,支持Hadoop、Spark、Storm、Jenkins、Marathon、Chronos等多种框架,同时支持自行构建架构,例如视频转码。

Mesos在爱奇艺中的使用是从2013年7月开始初步调研,至今已经上线Hadoop、Spark等框架,并自行开发上线了分布式视频转码框架。在上海,北京,重庆三地近200台服务器,让很多地方看到了Mesos的可利用性,完成视频转码任务达到1000万以上,Storm、Marathon、Chronos、分布式爬虫等框架测试并陆续上线中。

在本次讲解中,许立剑拿OpenStack与Mesos进行了对比,突出了Mesos的优点。

从图中可以很清楚的看到Mesos的优势很明显,用更少的物理机,无需管理虚拟机,就可以很轻松的完成视频转码和计算任务。

同时在活动上许立剑还阐述了静态资源规划的弊端,难以共享数据,难以弹性地分配资源,难以充分利用资源,难以处理服务器失败。从他的角度为大家很好的概述了以上的情况。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:移动环境中防止数据丢失的5种方法
下一篇:步入云端:微软发布SQL Server 2014
相关文章