阿里云飞天是怎么样的存在?
谢邀
还记得十年前,阿里巴巴投入云计算核心技术研发,技术人们把这个核心技术命名为“飞天”。
他们可能没料到,十年后的今天,自研的飞天大数据平台可以扩展到10万台计算集群的能力,成为全球最大规模的大数据计算集群。
通俗的说,相当于把10万台计算机组成一个巨大的计算力池子,当成一台超级计算机来使用。
今天,这台超级计算机每天数据处理量超过600PB,容量相当于6亿部高清的电影。
自研平台突围
2009年,阿里云正式成立。在王坚博士的带领之下,一群工程师夜以继日,最终一行行代码写出了飞天云计算操作系统。
今天,飞天作为云计算操作系统为很多人所熟知,但是在研发飞天的同时,阿里云还自主打造了一个大数据的平台——飞天大数据平台。
决定自主研发的过程可谓百折千回。
最初,阿里云选择了3条分支路径去探索大数据处理能力。第一条路径是用商业的Greenplum来替代分析型数据运算;第二条路是因为担心Greenplum不靠谱,也使用Hadoop做类似的事情;第三件事情,就是启动了飞天大数据平台的研发,目标是打造一个属于自己的大数据平台。
到2010年的时候,Greenplum这条路因为规模和可用性的问题以及计算准确性问题被放弃;2013年的时候,Hadoop平台也因为数据中心规模扩展不上去和安全管理以及权限管理和资源管理等一系列问题,最后不得不放弃这套体系。
2013年8月15日,最初被认为“最不可能的任务”——终于突破了核心技术,正式上线5000台服务器集群——这使得阿里成为世界上第一个对外提供5K云计算服务能力的科技公司。
有了5K的能力,平台计算100TB排序只需30分钟,远超Yahoo! 在7月刚刚创造的71分钟世界纪录。
到2016年2月,飞天的单集群规模超过10000台;三年之后,再扩大10倍至10万台。
没有马云的强力支持,没有王坚团队的锲而不舍,也就不会有后来阿里云与Amazon、Azure并称3A的故事。
2015-2016年,飞天大数据平台打破计算界奥运会SortBenchmark的6个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录。
2017-2018年,完成全球首次基于公共云的100TB BigBench大数据基准测试,成为首个突破7000分的引擎,性能达到 18176QPM。
2018年1月,飞天获得中国电子学会15年来首个颁发的科学进步特等奖
飞天为什么“进化”这么快?
如今,飞天大数据平台的单集群调度能力如今已经达到10万台,而谷歌、微软等巨头的调度能力大都在1万台左右,存在数倍差异。
其实这跟阿里的独特业务场景有关。
阿里巴巴是全球最大的电商平台,平台之上有20亿电商产品,每天大概3亿人访问。更不要说,还有双11、双12等全球绝无仅有的业务场景。
要向服务好全球最大规模的网络消费群体,阿里云就必须要做好大数据处理平台。
而在提供计算能力的同时,阿里云还将成本降到了非常低的程度。
通过飞天大数据平台的在线服务,小型公司花几百元即可分析海量数据,而无须耗费巨资自建数据中心。
你不知道阿里云,但生活有了科技味
攻克算术瓶颈王坚团队用了4年,将其继续延展不断商业化阿里云用了10年,到现在飞天大数据平台已和水电煤一样成为不少公司必不可少的基础设备,广泛服务于电商、工业、医疗、农业、气象、教育等诸多行业。
在交通领域,城市大脑在杭州实时指挥1300个红绿灯路口、200多名交警。从2016年到2018年,杭州从全国最拥堵城市排行榜上下跌52名。让管理者第一次看清楚有多少活动的车辆,用数据挖了一条看不见的路,从而打开了治堵的新思路。
在政务领域,最多跑一次通过大数据处理平台打通政务数据,将与老百姓办事最密切相关的100个事项70多亿条数据,按照统一标准汇入统一的数据仓,实现共通共享共用。老百姓办事不仅能最多跑一次,甚至有可能一次都不跑。
在工业领域,阿里云的大数据处理技术帮助制造企业寻找上千个参数的最优搭配,提升制造的良品率。协鑫光伏、天合光能等行业龙头企业,都在尝试这一全新的生产模式。
还有大家最常用的双11买买买、12306网络购票、刷微博、看直播,都有阿里云飞天的身影。
哪有什么一鸣惊人,不过是十年如一日的坚持
十年光阴,不负期待。
成功从来不是一蹴而就的,曾经的阿里云初创团队,在最艰难的时刻甚至流失了80%的工程师,饱受公司内部质疑。
十年后,阿里云做到了全球前三,亚洲第一。坚持就是最好的解释,2012年的飞天奖颁给了阿里云全体员工,颁奖词是“坚持就是伟大”。
只有脚踏实地,才能实践出飞天。
不能忘记的是曾经的苦难,是阿里云那群被称作疯子傻子的技术人,看过凌晨一二三四点的杭州,最难的时候抹过眼泪,只有相信、笃定、坚持的人,爬上了技术的珠穆朗玛峰。
Copyright © 广州京杭网络科技有限公司 2005-2025 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有