腾讯宣布推出第三代高性能机器学习计算平台Angel 并于2017年全面开源 ... ...

天下总裁网讯 12月18日，腾讯颁布发表推出头具名背机械进修的第三代下机能计较仄台——Angel，并估计于2017年一季度开放其源代码，鼓舞业界工程师、教者战手艺职员年夜范围进修利用，激起机械进修范畴的更多立异使用取优良死态开展。

腾讯正在腾讯年夜数据手艺峰会暨KDD China手艺峰会上颁布发表那一动静，腾讯副总裁姚星，及腾讯数据仄台部总司理、尾席数据专家蒋出色席了峰会并揭晓演讲。

姚星暗示：“野生智能的开展正在已往60年中几经沉浮，本年终究收回了灿烂光辉，很年夜的缘故原由便是跟云计较战年夜数据相关，那是一种演进开展的一定成果。怎样处置好年夜数据，怎样正在有限的计较资本上对那些年夜数据停止深化发掘战阐发，那是将来全部财产开展战晋级的一个年夜课题。我信赖年夜数据将成为此次财产晋级的根底，中心算法将成为此次财产晋级的魂灵。”

“面临腾讯快速增加的数据发掘需供，我们期望开辟一个里背机械进修的、能应对超年夜范围数据散的、下机能的计较框架，而且它要对用户充足友爱，具有很低的利用门坎，便如许，Angel仄台应运而死。”蒋杰暗示：“机械进修做为野生智能的一个主要种别，正处于开展早期，开源Angel，便是开放腾讯18年去的海量年夜数据处置经历战先辈手艺。我们毗连统统毗连的资本，激起更多创意，让那个好仄台逐渐转化成有代价的死态体系，让企业运营更有用、产物更智能、用户体验更好。”

Angel是腾讯第三代的计较仄台，利用Java战Scala言语开辟，里背机械进修的下机能散布式计较框架，由腾讯取喷鼻港科技年夜教、北京年夜教结合研收。它接纳参数效劳器架构，处理了上一代框架的扩大性成绩，撑持数据并止及模子并止的计较形式，能撑持十亿级别维度的模子锻炼。

不只云云，Angel借接纳了多种业界最新手艺战腾讯自立研收手艺，如SSP（Stale synchronous Parallel）、同步散布式SGD、多线程参数同享形式HogWild、收集带宽流量调理算法、计较战收集恳求流火化、参数更新索引战锻炼数据预处置计划等。那些手艺使Angel机能年夜幅进步，到达常睹开源体系Spark的数倍到数十倍，能正在万万到十亿级的特性维度前提下运转。

正在体系易用性上，Angel供给丰硕的机械进修算法库及下度笼统的编程接心、数据计较战模子分别的主动计划及参数自顺应设置，同时，用户能像利用MR、Spark一样正在Angel上编程，我们借建立了拖拽式的一体化的开辟运营流派，屏障底层体系细节，低落用户利用门坎。别的，Angel借撑持深度进修，它撑持Caffe、TensorFlow战Torch等业界支流的深度进修框架，为其供给计较加快。

自本年初正在腾讯内乱部上线以去，Angel已使用于腾讯视频、腾讯交际告白及用户绘像发掘等粗准保举营业。

本年11月，腾讯云年夜数据结合团队正在有“计较奥运会”之称的Sort Benchmark排序比赛中，用时没有到99秒完成100TB的数据排序，正在测试年夜范围散布式体系硬硬件架构才能战争台计较服从的GraySort战MinuteSort两项排序比赛中夺得4个冠军，将客岁冠军的记载别离进步两到五倍。冠军的背后是腾讯年夜数据多年的积聚，而Angel更是腾讯年夜数据下一代的中心计较仄台。

正在此次会上，姚星道到了腾讯关于年夜数据战野生智能的观点。蒋杰具体分享了此次夺冠背后腾讯年夜数据的开展之路，及Angel体系构建的死态圈层。以下为演讲齐文：

演讲主题：腾讯AI任务：做每一个人的明白，挨制广义通用AI

演讲人：姚星 腾讯公司副总裁

各人早上好，十分快乐明天参与kdd china手艺峰会。

已往的20年是疑息时期快速开展的20年，疑息财产的开展近超其他财产。疑息财产的开展提拔了人类的糊口品格，也深深影响着我们那一代人。疑息财产的下速开展离没有开计较才能的提拔，不管是我们利用的处置器计较才能仍是收集传输才能，正在过往20年开展中皆连结了“摩我定律”的趋向，使得我们互联网产物深化千家万户，获得了普遍使用。跟着互联网产物浸透率的逐渐趋稳，互联网财产此后的开展趋向正在那里？甚么样的手艺、营业形状会引发后绝的财产开展？时至昔日，我念谜底毫无疑问是野生智能。野生智能正在过往的60年开展中几经沉浮，起升降降，正在本年披发出灿烂的光辉，野生智能的鼓起是年夜数据、云计较科教前进的产品。充实操纵计较资本，对海量年夜数据经由过程算法停止进一步的发掘阐发，那是互联网产物战财产的将来开展趋向。年夜数据是根底、中心算法是魂灵。

腾讯公司经由过程18年的开展明天曾经成了天下级的互联网公司。已往我们正在产物体验上愈加存眷的是简朴、好用。经由过程简朴的方法提拔人们的相同服从，经由过程简朴的方法让人们沉紧享用数字内乱容时期。正在手艺上，我们已往愈加存眷的是工程手艺，也便是海量机能处置才能、海量数据存储才能、工程架构散布容灾才能。将来腾讯势必开展成为一家引发科技的互联网公司，我们将正在年夜数据、中心算法等手艺范畴长进止主动的投进战规划，战协作同伴配合鞭策互联网财产的开展。

腾讯公司是一家动静仄台+数字内乱容的公司，素质上来说我们也是一家年夜数据公司，明天我们天天发生数千亿的支收动静，超越10亿的分享图片，顶峰时期百亿的支收白包。天天发生的看消息、听音乐、看视频的流量峰值下达数十T。那么年夜的数据怎样处置好，利用好确实是极具应战的。正在年夜数据上腾讯也承袭开放死态理念取协作同伴一同共建年夜数据死态，正在云、付出、LBS、宁静圆里，取死态协作同伴共建根底设备，取协作同伴一同助推财产晋级。

本年腾讯建立了AI尝试室，我们建立的是四个根底的研讨标的目的，包罗计较机视觉、语音辨认，天然言语处置，和机械进修。我们也建立了四个营业开展标的目的：起首我们集聚焦于内乱容AI，次要散焦于搜刮战本性化保举，除文本之外的深度内乱容再减上富媒体内乱容的深度了解。第两个是游戏AI，那是基于腾讯营业素质特征相干的。我们会挨制竞技类游戏相干的AI才能。第三个标的目的我们会构建交际AI，那是基于我们腾讯最次要的交际仄台的AI。信赖正在将来的产物形状上会呈现智能声响也好，智能助脚也好。第四个是云AI，我们会把我们的图像辨认才能、语音辨认才能、天然言语处置才能和年夜数据机械进修的仄台开放给更多的用户利用。腾讯的AI任务是终极挨制广义通用AI，完成每一个民气中的“明白”。使得我们的小伴侣愈加的“被了解”，使得我们的成年人愈加的“被庇护”，使得我们的老年人愈加的“被赐顾帮衬”。

今朝AI全部止业借处于晚期阶段，固然正在某些垂曲范畴曾经大概到达了某些人类的均匀智能程度，可是那取人的综开智能借相好甚近。不管我们有怎样先辈的算法模子，我们皆需求从头锻炼数据。不管我们有怎样深层的收集模子，素质上皆是经由过程算力处理成绩。那战人取死俱去的智能，和“缔造力”、“触类旁通”、“归结总结”才能皆相好甚近。可是我们也看到了主动的标的目的，好比deepmind的reinfocement的强化进修的开展前进，openai的gan天生对立收集的开展。那些主动的开展使得AI的范畴开展一日千里。

我信赖正在预会的列位专家战列位从业粗英的主动投进战到场下，AI的开展势必生机勃勃、势不成挡！最初预祝年夜会美满胜利！感谢！

演讲主题：Sort Benchmark夺冠背后

演讲人：蒋杰 腾讯数据仄台部总司理

各人好，许多人曾经明白腾讯得到了本年的Sort benchmark的排序的4项冠军，许多伴侣去问我，腾讯是怎样做到的，背后支持的终究是甚么样的手艺？明天，我借那个时机，跟年夜伙来说讲背后的一些故事。

信赖许多人看过我们正在许多都会机场投放的那个告白，那个告白内里绘的是一个竞走的选脚，排序角逐，便跟奥运会的百米竞走一样，皆要很快。但我念道的是，实在我们更像一个短跑选脚，我们正在赛马推紧，那场马推紧，我们跑了7年。

回忆已往几年的角逐的成就，几年前冠军皆是被好国企业把持的，近来三年则是BAT拿了冠军。该当道，那几年，海内互联网的开展速率没有比好国缓，取此同时，以BAT为代表的海内互联网企业的计较才能也没有落伍于好国。

已往几年，得到冠军的团队，用的根本上皆是Hadoop战Spark，实在腾讯的年夜数据仄台，也是初于Hadoop的。

我们之以是能得到四项的冠军，是我们阅历了几年的挨磨，寻求极致，我们期望最年夜限度天压榨机械的机能。

起首，从本钱的角度，只要把硬件压榨到极致，本钱才会低。我们接纳的是OpenPower架构的机械，按节面数计较，我们范围只要客岁冠军的六份一，根据本年的硬件价钱，我们总的TCO本钱近低于客岁冠军。

正在调理层里，我们对换度算法做了深度劣化，使得每台机械的CPU、内乱存、收集、磁盘IO等每一个环节皆能阐扬到极致。本次角逐的此中两项为MinuteSort，比拼的便是一分钟内乱的排序数据量，那个工夫调理的服从便变得十分主要，而那两项角逐我们比客岁提拔了5倍，是提拔幅度最下的；那也从另外一个圆里阐明了我们正在调理服从上的抢先性。总结为一句话，便是最年夜限度天压榨了硬件的机能，才让我们获得那个成就。

今朝我们用于角逐的那个散群，曾经正在我们的现网顶用起去了，正在下机能计较、图计较、深度进修等范畴支持腾讯的现网使用。

回忆我们走过的7年，我们是2009年1月开端基于Hadoop去开辟我们的年夜数据仄台，七年的征程，我们历经了3代仄台的开展。

2009-2011年是我们的第一代仄台，我们的第一代仄台，只撑持批量计较的场景，次要便是报表，那个历程，我们重面开展了仄台的可扩大性，我们不竭删年夜散群的范围，从09年的几十台，开展到如今总范围靠近3万台。总结成几个字，第一代便是范围化。

第两代，用三个字总结便是及时化。那是2012年到2014年。次要撑持正在线阐发战及时计较的场景，好比及时报表，及时查询、及时监控等。

第三代是客岁到如今，次要建立机械进修仄台，撑持腾讯各营业数据发掘的需供。那是从数据阐发到数据发掘的改变，三个字总结便是“智能化“。

第一代是离线计较的架构，是基于Hadoop开辟的， 我们起名叫TDW，腾讯散布式数据堆栈的意义。

社区的Hadoop迭代缓，单一散群范围小，不变性战易用性皆很好，不克不及到达腾讯的请求，因而我们按腾讯的营业运营尺度，做了深度定造开辟，我们偏重开展散群的范围，处理Master单面瓶颈不克不及扩大的成绩，我们劣化了调理战略去进步Job的并收性，也增强HA容灾建立，另有很枢纽的一面的是，我们丰硕了Hadoop的周边死态，建立了配套的东西战产物去低落用户的利用门坎，语法上，我们兼容Oracle的语法，便利腾讯各产物部分做法式的迁徙，Hadoop年夜数据的机能很强，可是小数据阐发的服从很好，我们便散成了PostgreSQL去提拔小数据的阐发机能，买通Hadoop战PG的会见界线。

便如许，我们从最开端的几十台、到几百台、到几千台，几年当前，正在2013年单一散群到达4400台，2014年单一散群打破8800台，处于业界抢先的程度。今朝我们的总范围靠近3万台。

TDW的建成，处理了我们内乱部三年夜营业痛面：

第一，它使我们具有了T/P级的数据处置才能，几十亿、百亿级的数据量，根本上30分钟就可以算出去。

第两，它的本钱很低，我们可使用很一般的PC Server，就可以到达从前小型机一样的结果；

第三，容灾圆里，本来只需有机械宕机，营业的数据必定便有影响，各类报表、数据查询，皆出没有去。如今TDW的机械宕机，营业完整无感知，体系会主动做切换、数据备份等等的工作。

恰是处理了营业的那些痛面，营业部分皆情愿把计较迁徙到TDW。到2012年末，我们把一切本来正在Oracle战mysql上跑的报表皆切换到TDW。

TDW的建成，让我们具有了交融一切产物仄台的数据的才能。

从前的各产物的数据皆是分离正在各自的DB内里的，是一个个数据孤岛，如今，我们以用户为中间，建成了十亿用户量级、每一个用户万维特性的用户绘像系统。

从前的用户绘像，只要十几个维度次要便是用户的一些根底属性，好比年齿、性别、地区等，从前构建一主要消耗许多天，数据皆是按月更新，有了TDW，我们天天更新一次。

那个用户绘像，使用正在腾讯一切跟粗准保举相干的产物内里。

再举个保举的例子。保举信赖各人如今皆耳生能详，可是放正在6年前，那仍是一个方才新鼓起的使用；TDW 为我们供给了一个快速切进快速支持的才能。经由过程 MapReduce 的编程范式，基于 TDW 的仄台，我们能够专注于各类保举算法逻辑自己的完成，好比各人常睹的 CF,MF,LR 那些算法，和各类 hash 散类算法；那个时分的保举手艺，面临海量的用户群体会见，更多仍是基于一种及时查询的效劳方法。

第一代仄台处理了量年夜的痛面，可是正在速率圆里另有成绩，数据是离线的，使命计较是离线的，及时性好。以是，我们建立了第两代的年夜数据仄台。

正在第一代根底上，散成了Hadoop的第两代——Spark，同时，借交融了Storm流式计较的框架。那一代仄台的散成，让我们的计较的粒度从本来的小时，开展到分钟，曲至秒级。

数据收罗圆里，我们构建了TDBank，让本来经由过程接心机传文件的方法，T+1的粒度，酿成了毫秒级的及时收罗。正在那个收罗仄台内里，我们自研的动静中心件，天天收罗的动静条数超越6.5万亿，能够道是天下上动静量最年夜的动静中心件。同时，我们另有下牢靠版本的动静中心件，能撑持像金融、计费等下分歧性的需供，包管动静没有拾。

正在资本调理层里，我们基于Yarn，开展了我们的Gaia调理仄台，Yarn只撑持CPU战内乱存的维度，而我们的Gaia借撑持收集和磁盘IO的维度，Yarn只支持离线计较，Gaia能撑持正在线的场景，别的，我们借Docker，我们仄台如今天天有1.5个container。

再拿方才提到的保举例子，基于第一代仄台的保举使用会碰着2个成绩，一个是跟着用户量，会见量的增加，发生的数据会愈来愈多，多到正在有限的工夫底子不成能批处置的计较完，另有一面是用户的举动形式变革很快，需求更快的来更新各类维度的用户绘像；数据的及时收罗让用户举动，及时绘像的计较成为能够，那组成了流式计较的 数据流，散布式的流式计较及时更新各个维度的统计量，进一步构成了保举算法的及时锻炼数据，从而把上一代的 offline 的保举体系酿成了 online 的及时保举体系。正在告白的保举使用上，我们能够看到每次的及时放慢，皆带去了更年夜的面击率提拔。

第两代的仄台，及时性战体量圆里，皆能满意尽年夜大都营业需供。但跟着我们的数据量愈来愈年夜，我们的瓶颈很快也呈现了。

我们正在Spark上做数据锻炼的时分，每轮的迭代，正在更新数据的时分，城市碰到收集圆里的瓶颈，由于更新数据的处所是一个单面，假如数据的维度很年夜，那套框架便没法支持。正在我们的实践使用中，万万级的维度，皆能够run得没有错，可是上了亿级，机能便十分低了，以至跑没有出去。

以是，我们必需要建立一个能撑持超年夜范围数据散的一套体系，能满意billion级此外维度的数据锻炼，并且，那个体系必需能满意我们现网使用需供的一个产业级的体系。它能处理big data，和big model的需供，它既能做数据并止，也能做模子并止。

有两种思绪。

一个是基于第两代仄台的根底上做演进，处理年夜范围参数交流的成绩。别的一个，便是新建立一个下机能的计较框架。

我们看了其时业内乱比力盛行的几个产物，GraphLab，次要做图模子，容错好；Google的Distbelief，借出开源；另有CMU Eric Xing的Petuum，其时很水，不外它更多是一个尝试室的产物，易用性战不变性达没有到我们的请求。

看了一圈，我们决议自研，走自研的路。我们前两代皆是基于开源的，第三代则开端了自研的过程。实在正在第两代，我们曾经测验考试自研，我们动静中心件，不管是下机能的，仍是下牢靠的版本，皆是我们自研的。他们阅历了腾讯亿万流量的磨练，那也给了我们正在自研圆里很年夜的自信心。

因而，第三代团体的计较框架圆里，我们也走了自研的门路。第三代的仄台，中心是一个叫Angel的下机能计较仄台。

我们散焦正在下机能的计较框架圆里，同时，也是我们往机械进修、深度进修演进的一个道路。

比拟第两代，第三代的计较框架，能够撑持10亿级维度的算法锻炼，由从前的数据并止，到能够撑持模子并止。

同时，我们第三代的仄台，借撑持GPU深度进修，撑持文本、语音、图象等非构造化的数据。

Angel是基于参数效劳器的一个架构，它跑正在我们的Gaia仄台上里的。

它撑持BSP、SSP、ASP三种计较形式；撑持数据并止和产业界更垂青的模子并止，由于我们次要碰着的仍是模子年夜的成绩；

别的，正在收集上我们有个本创的测验考试，我们用了港科年夜杨教师的团队做的诸葛弩去做收集调理，ParameterServer劣先效劳较缓的Worker，当模子较年夜时，能较着低落等候工夫，使命整体耗时降落5%~15%。

Angel供给很丰硕的算法，撑持LR、SVM、LDA、GDBT等等，而且散成了十分丰硕的数教函数库，别的，借供给十分友爱的编程界里，能跟Spark、MR对接，您能像用MR、Spark一样编程。

Angel跟其他仄台比拟，好比Petuum，战spark等，便我们的测试成果，正在划一量级下，Angel的机能要劣于其他仄台。好比我们用Netflix的数据跑的SGD算法，各人看一下那个图的比照。

同时，Angel更合适超年夜范围的数据锻炼。今朝Angel撑持了许多腾讯内乱部的现网营业。

那里举两个例子，好比，正在构建用户绘像圆里，从前皆是基于Hadoop战Spark去做，跑一次模子要1天以至几天，话题只要1k；而正在Angel上，200多亿文档、几百万个词，3000亿的token，1个小时便跑完了。从前Spark能跑的，如今Angel快几十倍；从前Spark跑没有了的，Angel也能沉紧跑出去。

再看一个case，视频的面击猜测，划一数据量下，Angel的机能是Spark的44倍以上。用了Angel当前，我们维度从万万扩大到亿，锻炼工夫从天收缩到半小时，而精确度也有没有小的提拔。

Angel不单单是一个只做并止计较的仄台，它更是一个死态，我们环绕Angel，成立了一个小死态圈，它撑持Spark之上的MLLib，撑持上亿的维度的锻炼；我们也撑持更庞大的图计较模子；同时撑持Caffe、TensorFlow、Torch等深度进修框架，完成那些框架的多机多卡的使用场景。

列位，邻近序幕了，我念总结一下腾讯年夜数据仄台开展的三个阶段：

我们从离线计较起步，颠末及时计较阶段，进进了机械进修的时期。

我们从跟从开源，开展到自研，我们的开展历经了范围化、及时化，和智能化的变化。

最初，我要借那个时机跟各人宣布一个动静，那便是：我们的年夜数据仄台将片面开源。

我们会正在来岁上半年把Angel和Angel周边的体系停止开源。

我们仄台源自开源，我们的开展离没有开开源，以是我们会以最年夜的力度拥抱开源。

实在正在开源的门路上，我们不断皆正在到场：我们第一代仄台的中心，TDW-Hive，曾经正在2014年便开源了；我们借正在许多社区项目奉献了许多中心代码，培育了好几个committer。

而将来，我们的开源力度只会愈来愈年夜。

感谢各人。

保举：更多出色存眷天下总裁网民圆微疑“qqtech”。

 1、转载或引用本网站内容须注明原网址，并标明本网站网址(https://www.wnceo.com)。

 2、本网站部分投稿来源于“网友”，文章内容请反复甄别。若涉及侵权请移步网站底部问题反馈进行反映。

 3、对于不当转载或引用本网站内容而引起的民事纷争、行政处理或其他损失，本网站不承担责任。

 4、对不遵守本声明或其他违法、恶意使用本网站内容者，本网站保留追究其法律责任的权利。