Netflix基于AWS的大数据平台Hadoop架构解析
更新时间:2013/1/30 点击:1483次
Netflix近日公开了部署在AWS之上的Hadoop平台架构,而且运行Hadoop工作负载的架构还是属于“独家制造”。来自Netflix的数据科学家Sriram Krishnan和Eva Tse在官方的博客中介绍了该平台在运行、管理以及访问多集群时的灵活性,还包括基于AWS的Hadoop架构以及Hadoop平台即服务(PaaS),该服务被称之为“Genie”。
基于AWS的Hadoop架构图
毋庸置疑,Netflix在云计算领域有着很独特的发展——几乎把所有的一切都部署在AWS平台之上;除此之外,Netflix已经把触角深入到大数据工作负载的领域。Netflix是一个“重量级”的Hadoop用户,在2012年6月份Gigaom的记者Derrick Harris就撰文阐述了Netflix如何收集用户的数据,进而使用一些方法来对这些数据进行分析,而正是Hadoop在存储以及处理这些数据时为Netflix立下了“汗马功劳”。