您所在的位置: 首页 > 新闻资讯 > 业界动态

大数据时代工程师如何应对–今日头条走进硅谷技术讲座

时间:2016-02-26 编辑:robin 阅读:1 次

 

作者:董老师

2月2号晚上,旅美科技协会硅谷分会邀请到今日头条技术副总裁杨震原先生做客硅谷,聊一聊他眼中的大数据和数据背后的故事。他介绍工程师在大数据时代,应如何拥抱变革、改变思路。诠释头条等都是如何根据各种收到的数据进行调整产品的。在数据越来越多、硬件进步速度减慢、应用越来越多的情况下如何应对。

本文由 董飞 老师翻译并投稿至36大数据,转载必须获得原文作者、译者和本站的同意。拒绝任何不标明作者和出处的转载。

进入董飞先生 在36大数据的专栏>>>

今日头条是什么?

下面就是杨先生的演讲实录:

大数据下记录“样本=总体”

先给大家讲网上段子。我们把大数据比作什么呢?高中生的初夜!问问大家,有谁的初夜是在高中的呢?凡是举手的人都有做大数据的潜力,现在每个人都在讨论大数据,就像高中生都在讨论性, 你做过吗?没有人做过,每个人都以为自己做过,每个人都声称自己做成, 这是一个很有意思的事情,用这个来比喻大数据非常的恰当。

 

其实从一点就能感知大数据在身边,我们每个人都在使用手机,手机上的传感器是越来越多,也越来越快,除了录拍照,医疗的传感器加入后就可以知道你的心跳、地理位置等都会被记录下来。

 

而我们要把以前没有办法记录的数据都要记录下来,以前无法分析的数据都要去进行分析。比如大家的点击行为,所有的交互行为,所有行为的时长,都记录下来。之前采样的目的就是用最少的数据得到最多的信息。当我们可以获得海量数据的时候,它就没有什么意义了。数据处理技术已经发生了翻天覆地的改变,但我们的方法和思维却没有跟上这种改变。 但是在很多领域,从收集部分数据到收集尽可能多的数据的转变已经发生了。如果可能的话,我们会收集所有的数据,即“样本=总体”。

再给大家举一个例子,这是一个按钮平均触摸的时间分布,差不多是在44-112毫秒,每个按钮触摸时间是不一样的,大家觉得这个信息有用吗?也许没有什么用,但有一个研究机构表明, 从一个用户接触的时间和面积的分布,我们可以推断用户按这个按钮时的情况。 比如说一篇文章放了一个按钮,通过这个按钮的行为就知道有多少人是喜欢还是讨厌,像这样的记录很多人是之前没有想过的。

还有个美国的研究机构实验,通过手指来按压摄像头,就是把手机做在线的课程,手机的背后都有LED灯,把灯打开之后用手指遮挡住摄像头和灯可以记录你的心跳,甚至知道血液颜色的变化,间接获得心跳图。这样就可以知道学生是否在看这个图,是不是感兴趣还是开小差。

大数据的收益

回到今日头条,对于阅读行为,我们以前会记录每篇文章在头条阅读的时间,而现在我们换 一种记录方法去看某一页停了多少秒,又停留了多少秒,我们会把这个序列记录下来,可以推断这个用户是否读懂这个文章 。这些行为的记录都是非常有价值的,在新的时代大家要去知道以前不能够记录的东西,没有用的东西,当这些都记录下来,未来某一天都会很有用的。

我们的分析的方法发生了变化,主要两方面因素, 第一,产品应用越来越广泛了,有场景能够去用到这些数据;第二,我们分析数据的方法也越来越多 。举例:搜索展示量与点击数是千亿量级的,在早期大家怎么样来用?就是要点击调权,如果说一个问题点击的次数很高就往前排,当分析方法没有那么进步的时候我们就用这种方法来做,这个方法有局限性,对于这一块有效,但是对于频次低的就没有效了。

现在随着神经网络算法发展,系统可以去训练100亿、甚至1000亿的用户浏览、点击行为数据,去主动学习用户查询与文章题目的内在关联,我们取得的收益是什么呢?整个团队34%的收益来自与这个项目,这是非常重大的改进,就是通过了计算方法的变化,使得我们能够去分析这么大规模的数据。

数据爆炸和硬件红利结束

再举一个今日头条阅读时长变化的数据,我们为什么可以改进阅读时长呢?我们通过数据的分析,把用户的行为数据全部都记录下来了,我们知道用户点了什么内容,将用户的行为和行为特征进行组合,最后仅30天的数据就达到了1.5PB,这样的数据对今日头条来说需要大量计算资源才能够处理。

通过充分的对数据的使用提高了用户的使用时长,更多的数据、更多的分析方法和应用的领域,这些就构成了大数据时代。

 

我们来看一下系统的硬件在最近几年的变化。2005年到2015年CPU在计算性能的提升区域,从2010年开始性能提升的曲线没有那么的高了。单靠CPU能耗比的提升速度是在显著衰减的,所以说摩尔定律已经宣告失效了,工程师依靠硬件红利的时代已经结束了。

 

如何迎接大数据挑战?

数据越来越多,应用越来越多,硬件进步的趋势减慢,这就构成了大数据时代工程师面临的挑战。如何面对?

我的应对思路是,工程师要变成一个个全栈研发,要通过更加广泛的学习,成为全栈研发才是未来的解决之道。当局部可以大幅度的改进时,更细的分工才会显示出优势,否则只有全栈综合考量才能找到突破点。

成为全栈研发的学习建议

在之前IT时代,有人去做CPU,有人去做UI的改进,大家的分工非常的细,比如说像以前做手机,从硬件,芯片,操作系统,交互,应用每一个都要去关注和打磨,这种很细的分工还能前进是因为每一块都有大幅提升空间。而现在CPU过一年就淘汰了,手机一年已经更新换代了,如果我们还是保持更细的分工不能够把握整体提高,这要求我们必须要不断学习才能够带来突破。

从CPU指令集到操作系统,从Hadoop到统计原理,从机器学习到产品应用,只有通过学习才能够找到突破点。下面举三个例子来详细说明。

(一)系统工程和细节的交叉点

第一个例子,先介绍背景:今日内容推荐很重要的一部分就是针对你可能感兴趣的候选集进行排序,这部分核心就是建模,将用户各种组合偏好记录下来。哪些keyword表达了该用户的特点。

头条的推荐算法分两层。最上面一层,一个大的推荐模型,就是说模型做决策依据的维度,包括性别、年龄、兴趣等都是维度,我们有数百亿特征,涵盖你能想到的一切可以帮助做判断的信息,这个还在不断的增加,还有一层就是推荐召回模型。

那如何解决特征爆炸的问题。这个问题在机器学习领域解决思路有多种,比如通过Sample数据,1 可以L1正则,2 稀疏化特征,3 特征过滤,4 Hash,5 做16 bit的压缩。

这里讲特征过滤怎么做:我们有3T的Uniq Key,任务就是去统计并过滤掉频次在8次以下的Key。很直观的方法就是使用Hadoop去掉低频的,因为你偶尔看到一个词,大量的都是低频的,而劣势就是无法流式计算,当把这个做完,就超过了模型的时间。

我们来看第二个方案,内存的HASH表,当走过一遍数据,维护一个内容的表。每次去查一下,如果说出来6次了,现在第7次了,我们把超过了7次的全部都统计下来,其他的都扔掉,这里有一个就是规模问题,一个HASH的结构,一个Key要占用40 bytes,40 bytes会有指针消耗和对齐问题。如果我们有200台机器,单机需要600G的内存,现在很多的机器都不支持这个内存,那么怎么样来做?

方案三是谷歌在用的一个方法,使用的是Bloom Counter,不要求完全精准过滤。其实就是用多bit的Bloom Filter,我们又叫做Counting Filters。频次是小于等于7,需要3bit,在冲突率约1.5%的情况下,需要6次探测,单bit bloom filter大约是8.66bit。但我不喜欢Bloom Counter 这个结构,因为它对CPU非常不友好,大范围随机访问,远远大于真正计算的时间。有没有更好的做法呢?

 

还有叫做双盲交叉验证。它是说在评估一项数据的时候,我可以把一部分样本抽样,让其他人再评估一下。根据抽样数据评估的一致性来判断该评估的可靠性怎么样,比如你审一些黄色反动的文章,机器做得再好,必须有人来把关。