今日頭條與英特爾合作，瞄準(zhǔn)AI與大數(shù)據(jù)

數(shù)據(jù)是人工智能（以下簡稱AI）技術(shù)的燃料，也被比喻為數(shù)據(jù)經(jīng)濟(jì)中的石油。在AI時代，數(shù)據(jù)的采集、存儲、傳輸和處理需要強(qiáng)大的基礎(chǔ)設(shè)施作為支撐。數(shù)據(jù)中心和數(shù)萬臺服務(wù)器成為互聯(lián)網(wǎng)巨頭的標(biāo)配。

8月22日，今日頭條與英特爾舉辦主題為“數(shù)據(jù)賦能，AI正當(dāng)時”的戰(zhàn)略合作發(fā)布會，會上，今日頭條介紹與英特爾合作的超10萬臺服務(wù)器的大規(guī)模數(shù)據(jù)中心，同時雙方宣布成立技術(shù)創(chuàng)新實驗室，在大數(shù)據(jù)和AI方面進(jìn)行更長遠(yuǎn)戰(zhàn)略合作。

今日頭條建大規(guī)模數(shù)據(jù)中心

這兩年，頭條系產(chǎn)品用戶量增長迅猛，要處理的數(shù)據(jù)也是呈指數(shù)級增長。

近日頭條技術(shù)副總裁楊震原介紹，目前，今日頭條每日數(shù)據(jù)處理量超過50PB、存儲數(shù)據(jù)超過1500PB、評論系統(tǒng)每天的評論數(shù)大概有1億條，需要大量的服務(wù)器來處理這些內(nèi)容。

2013年3月字節(jié)跳動的服務(wù)器數(shù)量只有幾十臺，到年底增至一千臺，此后便是上萬臺的增長。在2017年年初的時候，公司大概有2-3萬臺服務(wù)器，現(xiàn)在大概有17萬臺服務(wù)器。

今日頭條對大型數(shù)據(jù)中心的需求是急迫的。楊震原介紹道，字節(jié)跳動花費了不到九個月的時間在懷來創(chuàng)建起了超大規(guī)模的數(shù)據(jù)中心。數(shù)據(jù)中心投入運(yùn)營創(chuàng)立了國內(nèi)多個第一，包括國內(nèi)首個大平層預(yù)制數(shù)據(jù)中心，首個整體電源模塊預(yù)制數(shù)據(jù)中心，首個大規(guī)模分布式數(shù)據(jù)中心，首個間接蒸發(fā)冷卻模塊數(shù)據(jù)中心。

曾報道，今日頭條在懷來的數(shù)據(jù)中心是第三方廠商秦淮數(shù)據(jù)定制的，投資60億元，主要承載數(shù)據(jù)存儲、挖掘分析、應(yīng)用等數(shù)據(jù)交易生態(tài)體系和云服務(wù)生態(tài)體系，定位為國家級新媒體企業(yè)提供高可靠性的云計算服務(wù)。

字節(jié)跳動2016年初開始有新建數(shù)據(jù)中心的計劃，懷來的基礎(chǔ)設(shè)施相對不完善，但是潛力巨大。2017年12月字節(jié)跳動開始在懷來數(shù)據(jù)中心放置服務(wù)器，目前一期園區(qū)約5萬臺服務(wù)器已經(jīng)投入使用，正在緊鄰一期園區(qū)建設(shè)二期，規(guī)模增加一半但預(yù)計工期相同，大概能容納9萬臺服務(wù)器。

今日頭條的服務(wù)器100%采用最新的英特爾至強(qiáng)可擴(kuò)展處理器（Purley）平臺，基于Purley平臺去架構(gòu)的大數(shù)據(jù)分析、精準(zhǔn)廣告的推放、個人用戶行為的分析，在今日頭條和抖音很多應(yīng)用當(dāng)中都已經(jīng)有出色的使用。

數(shù)據(jù)中心是互聯(lián)網(wǎng)巨頭的標(biāo)配，但是也不是一勞永逸的方法。楊震原談到，“懷來數(shù)據(jù)中心已經(jīng)滿載運(yùn)行了，下一步我們還要建設(shè)更大規(guī)模的數(shù)據(jù)中心。但是，更大規(guī)模的數(shù)據(jù)中心實際上只是解決擴(kuò)展性的問題，我們有資源的情況下可以迅速的擴(kuò)充資源，支撐我們的業(yè)務(wù)發(fā)展。但未來的挑戰(zhàn)也非常大，我們也不可能完全靠堆資源的方式解決我們的問題。

舉一些我們未來的挑戰(zhàn)，比如全球化運(yùn)營，字節(jié)跳動在歐洲、北美、南美、東南亞都有很多產(chǎn)品和用戶。全球化運(yùn)營過程中我們會面臨海外IDC的建設(shè)還有長距離傳輸?shù)奶魬?zhàn)，尤其是我們的推薦系統(tǒng)是一個非常緊耦合的結(jié)構(gòu)，這個對我們的挑戰(zhàn)非常大。再比如，數(shù)據(jù)規(guī)模會進(jìn)一步的擴(kuò)大，會帶來一些計算模式的演進(jìn)，還有算法沉淀、商業(yè)模式帶來的一些問題。

另外，新硬件的變化，手機(jī)移動端和5G網(wǎng)絡(luò)這些新的變化可能會帶來未來計算模式到底是什么樣的變化，是不是有更多的計算offload在外面，我們的傳輸是不是有新的模式去運(yùn)作，這些問題對我們都有很大的挑戰(zhàn)，而且我們不能都僅僅通過加資源去解決，這就是我們?yōu)槭裁慈ジ⑻貭柛泳o密的合作，我們希望不僅僅在資源的累積上，而是做更多的創(chuàng)新，更多的算法，我們能夠給英特爾提出更多的問題，我們一起去合作，這些東西是為了解決我們的挑戰(zhàn)，而且我希望這些東西能夠輸出給行業(yè)，能夠帶動市場的發(fā)展，所以這是共贏一個事情?！?/p>

AI驅(qū)動的全球內(nèi)容平臺

這幾年，AI風(fēng)口正盛，而今日頭條正是依靠算法、AI技術(shù)快速崛起的新銳AI公司代表。在2016年，今日頭條創(chuàng)辦人工智能實驗室，旨在推動人工智能前沿技術(shù)研究，讓機(jī)器深入理解文字、圖片、視頻、環(huán)境場景和用戶興趣，從而促進(jìn)人類信息與知識交流的效率和深度。主要研究機(jī)器學(xué)習(xí)、圖像識別、自然語言處理、語音識別等AI技術(shù)。

據(jù)今日頭條算法架構(gòu)師曹歡歡介紹，今日頭條在目前在多方面運(yùn)用AI技術(shù)：第一方面是做內(nèi)容推薦的算法，目前頭條、抖音、火山、西瓜都在大量地使用這方面的技術(shù)；第二是自然語言處理，主要用來分析文章內(nèi)容、用戶評論等，對內(nèi)容推薦是很重要的支撐。此外，我們也在用NLP技術(shù)做寫稿機(jī)器人“Xiaomingbot”;另外是計算機(jī)視覺，我們在抖音、火山、FaceU激萌等短視頻App上用到了很多的CV技術(shù)，例如人臉特效、背景分割、“尬舞機(jī)”、內(nèi)容審核、封面選擇、AI剪輯等；最后是語音識別，這個方面應(yīng)用還不多，目前是用在抖音、火山、西瓜里的內(nèi)容審方面，將視頻的語音內(nèi)容識別成文字，然后利用NLP技術(shù)去發(fā)現(xiàn)不良內(nèi)容、惡意營銷等。

了解到，今日頭條這些AI技術(shù)研發(fā)和落地應(yīng)用都需要底層力量支持，英特爾為今日頭條提供基礎(chǔ)架構(gòu)平臺支撐，包括CDN、智能運(yùn)維數(shù)據(jù)系統(tǒng)、計算、存儲。在計算方面，今日頭條現(xiàn)在已經(jīng)全面使用新一代至強(qiáng)可擴(kuò)展平臺，網(wǎng)絡(luò)傳輸方面采用英特爾新一代高速網(wǎng)卡，存儲方面也大量用到SSD，在底層的開源軟件上也有合作。

英特爾助力企業(yè)級計算

隨著企業(yè)級的計算市場在不斷的發(fā)展，云計算、大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)技術(shù)也在不斷的創(chuàng)新，英特爾正在從以個人電腦為中心變成以數(shù)據(jù)為中心的公司。

英特爾公司市場營銷集團(tuán)行業(yè)解決方案部中國區(qū)總經(jīng)理梁雅莉介紹到，英特爾是業(yè)界現(xiàn)在唯一一家能夠提供從數(shù)據(jù)中心、從云到端的端到端解決方案的公司，英特爾既能夠通過最新的至強(qiáng)可擴(kuò)展處理器以及開發(fā)當(dāng)中的神經(jīng)網(wǎng)絡(luò)處理器來滿足數(shù)據(jù)中心當(dāng)中海量的數(shù)據(jù)處理，也可以在汽車、無人機(jī)等對能耗以及對運(yùn)行環(huán)境特別有嚴(yán)苛要求的到端的場合提供Movidius這種低功耗、高性能的人工智能處理芯片，當(dāng)然我們還會通過創(chuàng)新的劃時代的存儲技術(shù)和連接技術(shù)、通訊技術(shù)來賦能各行各業(yè)數(shù)字化的創(chuàng)新和轉(zhuǎn)型。

據(jù)了解，在硬件方案之上，英特爾也在積極推動人工智能領(lǐng)域高性能軟件工具的開源，目前所有的主流人工智能軟件的框架TensorFlow、Caffe，已經(jīng)在英特爾的至強(qiáng)平臺、英特爾的Nervana神經(jīng)網(wǎng)絡(luò)平臺上得到非常好的性能的優(yōu)化，而且英特爾也將把優(yōu)化所有這些框架使用的工具，MKL-DNN都開源開放給所有的開發(fā)者，能夠推動更多、更好的人工智能的軟件充分發(fā)揮英特爾Nervana平臺的性能。

今日頭條是英特爾助力企業(yè)級計算的一個例子。從2013年起，今日頭條就與英特爾展開了合作。2018年，雙方在年初簽訂了創(chuàng)新基金，然后共同成立了創(chuàng)新實驗室，今天一起簽訂戰(zhàn)略合作備忘錄，利用雙方的資源優(yōu)勢來引領(lǐng)行業(yè)技術(shù)發(fā)展的趨勢。

英特爾與今日頭條的戰(zhàn)略合作涵蓋數(shù)據(jù)中心和底層基礎(chǔ)架構(gòu)的硬件和軟件優(yōu)化、市場合作以及成功案例推廣等，包括大數(shù)據(jù)分析、人工智能等領(lǐng)域。合作內(nèi)容具體包括以英特爾至強(qiáng)可擴(kuò)展處理器的計算、基于英特爾3D XPoint技術(shù)的存儲產(chǎn)品和網(wǎng)絡(luò)，為今日頭條構(gòu)建和優(yōu)化數(shù)據(jù)中心基礎(chǔ)設(shè)施；并通過AVX2/AVX-512等指令集與軟件層的優(yōu)化，為今日頭條的數(shù)據(jù)分析及人工智能應(yīng)用賦能，打造全方位的解決方案。

技術(shù)創(chuàng)新合作實驗室主要是圍繞平臺架構(gòu)、技術(shù)架構(gòu)、應(yīng)用業(yè)務(wù)架構(gòu)和技術(shù)趨勢等方面進(jìn)行深度合作，希望能夠引領(lǐng)行業(yè)應(yīng)用趨勢，樹立行業(yè)技術(shù)的典范，希望通過技術(shù)實驗室將平臺架構(gòu)與技術(shù)架構(gòu)靈活結(jié)合起來，并轉(zhuǎn)化為生產(chǎn)力，更好的支撐和應(yīng)用到整個業(yè)務(wù)架構(gòu)當(dāng)中，將最前沿的技術(shù)落地，落地到具體的項目和業(yè)務(wù)當(dāng)中。

相關(guān)文章：

英特爾重申IoT三大戰(zhàn)略，邊緣側(cè)布局初見成效

搭建新零售基礎(chǔ)設(shè)施，英特爾聯(lián)手京東做了這些

原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。