從2008年唐洪組建飛天團(tuán)隊(duì)開始做設(shè)計(jì), 到2009阿里云團(tuán)隊(duì)在北京上地簡陋的辦公室寫下第一行代碼，再到如今飛天達(dá)到5000臺集群的規(guī)模，并支撐起阿里內(nèi)部大部分的數(shù)據(jù)業(yè)務(wù)，這一系列技術(shù)突破的背后，是迎難而上的執(zhí)著和對發(fā)展自有技術(shù)、底層自主研發(fā)的堅(jiān)持。如今的飛天已成為阿里擁抱云計(jì)算并對外提供云計(jì)算服務(wù)的堅(jiān)實(shí)基礎(chǔ)，也使阿里與谷歌、微軟和亞馬遜比肩，從此成為世界上獨(dú)立擁有相關(guān)技術(shù)能力的屈指可數(shù)的公司之一。

2006年Amazon推出S3服務(wù)，揭開了以分布式存儲和大規(guī)模計(jì)算為標(biāo)志的云計(jì)算的面紗。阿里一直關(guān)注并在思考著如何來做云計(jì)算。2008年，王堅(jiān)博士加入阿里，阿里正式成立云計(jì)算公司，并決定自主研發(fā)大規(guī)模分布式計(jì)算系統(tǒng)――“飛天(Apsara)”。

2009年春節(jié)后上班第一天，阿里云團(tuán)隊(duì)在北京上地一間簡陋的連空調(diào)都沒有的辦公室寫下第一行代碼。

而彼時，在大洋彼岸，唐洪剛從北美第四大搜索公司Ask.com跳到美國雅虎，正在埋頭于大規(guī)模分布式計(jì)算系統(tǒng)Hadoop。當(dāng)王堅(jiān)博士在美國硅谷偶遇唐洪并初次介紹“飛天”時，唐洪對王堅(jiān)博士說了一句大實(shí)話：“開發(fā)飛天這件事，完全不靠譜。”就連王堅(jiān)博士后來也坦承：“我覺得他是對的，世界上沒有人會覺得這個事情靠譜，因?yàn)樗茈y。”

時光總愛開玩笑。一年以后，唐洪遭遇了事業(yè)發(fā)展中的巨大挑戰(zhàn)――“2010年的時候雅虎在Hadoop上的投入也在逐漸減少，而當(dāng)時雅虎已經(jīng)確定了把所有與數(shù)據(jù)相關(guān)的業(yè)務(wù)和處理都搬到Hadoop上。越來越繁重的業(yè)務(wù)壓力，讓程序員們?yōu)橹С志€上系統(tǒng)疲于奔命。所以我們有很多好的想法，都無法實(shí)現(xiàn)。”需要重構(gòu)職業(yè)路線：是放棄自己執(zhí)著多年的東西去一些新領(lǐng)域嘗試新的技術(shù)挑戰(zhàn)，比如當(dāng)時在硅谷火熱的社交網(wǎng)絡(luò)Startup;還是加入一家真正有決心和堅(jiān)持的公司去共同攀登大規(guī)模分布式計(jì)算系統(tǒng)的技術(shù)巔峰?

而此時，盡管相對Google、微軟、Amazon這些分布式底層已經(jīng)比較成熟的企業(yè)而言，阿里才剛剛起步，但阿里云的決心卻已讓“飛天”有了更大的成長空間。

一通漫長的越洋電話之后，2010年，唐洪離開硅谷，正式加盟阿里云，并帶領(lǐng)美國、杭州、北京多個團(tuán)隊(duì)，肩負(fù)起阿里云計(jì)算整個技術(shù)底層的研發(fā)，成為剛剛兩周歲還處于雛形階段的飛天技術(shù)負(fù)責(zé)人。對于這一選擇，唐洪曾如此解釋：“世界上除了Google、微軟和Amazon，就只有阿里了，我找不到第五家公司能有決心長期投入在自主研發(fā)大規(guī)模分布式系統(tǒng)上。”

去IOE，飛天勢在必行

阿里的IT基因中，開始植入云計(jì)算，伴隨著一場“去IOE”運(yùn)動的進(jìn)行。

翻開歷史，淘寶曾啟用全亞洲最大的OracleRAC集群，阿里更是購買過3年無限制的許可，阿里在IBM小型機(jī)以及EMC SAN存儲上的投入也曾成為媒體爭相報道的事件。但隨著互聯(lián)網(wǎng)爆發(fā)式發(fā)展，淘寶、支付寶和阿里巴巴B2B的注冊用戶數(shù)激增，阿里只能不停地通過水平和垂直擴(kuò)展架構(gòu)來應(yīng)對新增用戶生成的海量數(shù)據(jù)。而這種集中式數(shù)據(jù)庫的架構(gòu)，使得數(shù)據(jù)庫成為了整個系統(tǒng)的瓶頸，越來越不適應(yīng)海量數(shù)據(jù)對計(jì)算能力的巨大需求，更不用說越來越難以承受的高昂投入。阿里的“去IOE”已經(jīng)勢在必行：通過自主研發(fā)的分布式系統(tǒng)取代集中式數(shù)據(jù)庫架構(gòu)，使用MySQL + HBase取代MySQL，商用機(jī)取代小型機(jī) + SAN。

選擇自主研發(fā)，這也是阿里云在步入云計(jì)算之路上做出的最重要的抉擇：堅(jiān)持追求擁有自有的最有競爭力的核心技術(shù)。在唐洪看來，云計(jì)算是一門高技術(shù)門檻的生意，具備核心技術(shù)競爭力等于具備了在戰(zhàn)場上可以正面抗衡競爭對手的實(shí)力，盡管這個技術(shù)攻關(guān)的歷程非常之艱難。選擇自主研發(fā)而非采用開源Hadoop優(yōu)化，也是基于一定的考慮，盡管Hadoop在離線大數(shù)據(jù)處理上具備優(yōu)勢，但無法完全提供阿里云要求的大規(guī)模分布式計(jì)算與處理的能力，而目前基于飛天上線的云服務(wù)，已遠(yuǎn)遠(yuǎn)超出Hadoop的能力。開源可以說是一條先易后難的路，盡管一開始可以走一些捷徑，但事后在版本升級、研發(fā)上都會受頗多限制;從核心知識產(chǎn)權(quán)角度來看，今天無論是微軟、Amazon、或者Google的云計(jì)算平臺，都沒有采用Hadoop且不開放代碼開源，本質(zhì)上都是在追求自有的核心競爭力。開源軟件無法徹底成為一個云計(jì)算底層平臺的基礎(chǔ)，采用開源軟件并非解決做分布式系統(tǒng)這個問題的一劑良方。

發(fā)展自有技術(shù)，堅(jiān)持底層自主研發(fā)，如今能夠構(gòu)建超級計(jì)算機(jī)的飛天已成為阿里擁抱云計(jì)算，以及對外提供云計(jì)算服務(wù)的堅(jiān)實(shí)基礎(chǔ)。

目標(biāo)5K，突破再突破

理想有多么美好，挑戰(zhàn)就有多么巨大。在技術(shù)上，唐洪把自主研發(fā)大規(guī)模分布式系統(tǒng)飛天的挑戰(zhàn)概括為三點(diǎn)。

首先，小概率事情變成常態(tài)，主要包括故障率放大、故障類型不可預(yù)知及線上診斷修復(fù)不可避免;其次，昂貴的全局同步代價，Jim Gray在1996 SIGMOD的論文里指出，競爭代價是規(guī)模增長的三次方，因此，10節(jié)點(diǎn)集群擴(kuò)展到1000節(jié)點(diǎn)，同步代價有可能放大百萬倍，這就意味著兩點(diǎn)――性能關(guān)鍵路徑上需要避免全局同步，并與不精準(zhǔn)的全局狀態(tài)達(dá)成妥協(xié);第三，動態(tài)的運(yùn)行環(huán)境，這個問題主要是基于線上業(yè)務(wù)，由互聯(lián)網(wǎng)應(yīng)用的爆發(fā)式增長、服務(wù)器負(fù)載的周期性變化，及系統(tǒng)熱點(diǎn)的無時不在和瞬時轉(zhuǎn)移特性導(dǎo)致。

迎難而上，是突破再突破。2008年10月24日，組建飛天團(tuán)隊(duì)開始做設(shè)計(jì);2009年12月18日，飛天有了第一個應(yīng)用――為阿里金融做的大規(guī)模離線處理;2010年8月24日，飛天成功地支持搜索、郵箱、大規(guī)模數(shù)據(jù)處理、彈性計(jì)算存儲等服務(wù);2011年7月28日，阿里云自主研發(fā)的飛天云計(jì)算平臺開始以公共服務(wù)的方式對外提供云計(jì)算商業(yè)服務(wù);同年，首屆阿里云開發(fā)者大會上，基于飛天的阿里云開放服務(wù)產(chǎn)品體系全面亮相;2013年3月，飛天單集群規(guī)模已達(dá)1500臺;2013年8月15日，飛天5K成功，承載著阿里巴巴集團(tuán)數(shù)據(jù)業(yè)務(wù)的“開放數(shù)據(jù)處理服務(wù)(Open Data Processing Service，簡稱ODPS)”集群正式開始生產(chǎn)運(yùn)營，單集群規(guī)模達(dá)到5000臺。

在實(shí)現(xiàn)單集群5000節(jié)點(diǎn)之后，通過上層應(yīng)用ODPS，飛天已經(jīng)支撐了阿里內(nèi)部大部分?jǐn)?shù)據(jù)業(yè)務(wù)，其中包括阿里小貸、數(shù)據(jù)魔方、阿里媽媽廣告聯(lián)盟、廣告搜索、點(diǎn)擊預(yù)測模型訓(xùn)練、支付寶所有業(yè)務(wù)、淘寶指數(shù)、阿里無線等。2014年7月，以RESTful API方式提供數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和其他數(shù)據(jù)應(yīng)用服務(wù)的ODPS，正式對外開放。今天，已有近百萬應(yīng)用部署在阿里云平臺上面，客戶遍及全國不同地域、不同行業(yè)領(lǐng)域。

取得一系列技術(shù)突破的背后，是不為人知的一場艱難的歷程，其中更大的困難在于人。召集一群能夠做這件事的人難，而召集一群能耐住寂寞為夢想實(shí)現(xiàn)而甘于奉獻(xiàn)的人更難，無數(shù)難題讓飛天人吃盡苦頭?；叵胍宦返臍v程，唐洪說：“當(dāng)飛天第一天立項(xiàng)、從第一行代碼開始，便是帶著明知山有虎，偏向虎山行的決絕和勇氣前進(jìn)的。而這一路不僅僅有阿里巴巴集團(tuán)的研發(fā)人員在投入這場戰(zhàn)斗，還有更多的是我們的客戶、合作伙伴的支持，才能走到今天5K的目標(biāo)。2013年10月25日，杭州轉(zhuǎn)塘阿里云創(chuàng)業(yè)創(chuàng)新基地專門為飛天5K設(shè)立了紀(jì)念標(biāo)志，我們在這個標(biāo)志上不僅留下了在項(xiàng)目室小黑屋封閉開發(fā)的程序員、趕著早高峰下班的開發(fā)運(yùn)維人員的名字，也有每個周末都趕來陪同加班的家屬，更有把身家性命放在阿里云上的客戶的名字，其實(shí)從另一個維度來說，因?yàn)橛辛怂麄儾庞辛私裉斓?K。”

未來，騰飛的阿里云計(jì)算

飛天5K的正式上線，也標(biāo)志著阿里與Google、微軟和Amazon比肩，從此成為世界上獨(dú)立擁有相關(guān)技術(shù)能力的屈指可數(shù)的公司之一。

未來，唐洪看的更遠(yuǎn)：“目前飛天所支撐的業(yè)務(wù)占有市場份額還不足1 % ，接下來的路還很漫長且艱辛。著眼未來，5K只能是飛天已經(jīng)邁過的一道門檻，是阿里云一個新的起點(diǎn)。”

有一種追求叫自主研發(fā)!相信唐洪和這群有理想、有信仰的年輕人們在這片更加廣闊的天空中能夠更加自由的翱翔!