大数据

上次在华盛顿同一位“知情人”聊了半小时的斯诺登，我感到不安...

大数据的陷阱   胡泳 郝亚洲   李娜再度夺得大满贯，超越了张德培的华人大满贯纪录，非举国体制下的奇迹造就了举国的愉悦。在总结李娜成功因素的时候，也再次看到了这样的言论，“是大数据起到了重要的作用”。早在 2013 年美网期间，就有媒体说大数据深度介入赛事、颠覆体育的时代来临了。但在仔细看过了相关材料后，我们发现，大数据的作用仅仅是囿于赛事的外围，比如观众体验；并不能够轻易得出大数据在提升球员自身比赛能力方面会发挥显著效果的结论。这次李娜夺冠，最靠谱的解释就是李娜在卡洛斯的帮助下提大大提升了心理层面的战斗力。可以说在技术层面领先的前提下，李娜在整场比赛中很好地克服了节奏的问题，也就是说她具备了一颗冠军的心脏。 而目前所说的大数据，无非是告诉球员一些不算具体的技术指标。在个人竞技比赛中，高手之间心理素质的较量远远重要于技术的比拼，否则也不会有“爆冷”一说。可以说，体育比赛的最大魅力就在于那些无法预知的“黑天鹅”。   2012 年 9 月 6 日，代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。当时， IBM 公司在综合了美网过去 8 年的全部比赛数据之后，为参赛球员制定了“ Keys to the match ”的比赛制胜策略。李娜一方获得赢球的关键包括 3 个指标： 1 、一发得分率超过 69% ； 2 、 4-9 拍相持中得分利率要超过 48% ； 3 、发球局 30-30 或 40-40 时得分率要超过 67% 。 比赛结果是，李娜溃败。比赛结束后， IBM 高调地宣布李娜仅仅完成了三项制胜策略中的一项，而小威廉姆斯则完成了自己三项制胜策略中的两项。 于是，很多人就顺着 IBM 的思路去问，李娜为什么不照着 IBM 的策略去打球？ 美国著名的博客纳特 · 西尔弗在《信号与噪音》中提出了一个命题，数据究竟是对于我们的未来有所帮助的信号，还是毫无意义的噪音。西尔弗成名于奥巴马选举期间。当时，奥巴马和罗姆尼的选战正在胶着，人们都看不出来谁有可能获胜。西尔弗用棒球的统计方法得出结论，奥巴马必胜。这一准确预测让他名声大噪。但是，西尔弗很快就开始反思，利用大数据获得成功预测的案例远没有失败的多。为何？ 为什么 911 的时候，美国政府会忽视将要有恐怖袭击的信息，就像当年的珍珠港事件一样？为什么握有大量数据的经济学家预测不出来经济危机？为什么美国职业棒球大联盟中，球探依然无法被数据所取代？ 西尔弗在书中写到：“自从有了印刷机，我们的世界已经经历太多。信息不再那么稀有，我们拥有的信息太多，甚至多到无从下手，但是用的信息却寥寥无几。我们主观地、有选择地看待信息，但对信息的曲解却关注不够。我们以为自己需要信息，但其实我们真正需要的是知识。” 西尔弗的话已经说得很清楚，人的主观愿望是决定看到信号还是听到噪音的关键因素。当美国情报部门收到种种美国即将遭到恐怖袭击的信号时，他们并没有采用相关性思维将其联系起来。 2010 年，一位民主党议员给西尔弗打电话，让他告之自己能否保住席位。西尔弗说你有 99% 的机会，你应该把自己的竞选基金捐献给民主党相对弱势的地区，可是，这位议员并不愿意为了 1% 的风险去帮助别的议员。 当当事人的主观愿望不积极的时候，大数据对他们来说不过是噪音而已。同样，数据也会因为主观意愿具有欺骗性。《赌神》中，周润发扮演的赌神一直有一个转戒指的习惯。对手通过观看大量的录像发现了这一动作，并认定当赌神转动戒指的时候，就是他出千的时机。结果，在一场生死之战中，赌神欺骗了所有人。他在转动戒指后并没有出千，结果导致对手崩溃。如果按照今天的观点来看，对手在进行数据分析的时候，过于强调了直接的因果性，模型中缺少了变量。这个最大的变量就是当事人的心理状态。 这也是西尔弗一再强调的。西尔弗是美国本土知名的棒球统计专家，他打造的 PECOTA 系统被认为是最权威的棒球比赛统计工具。就在《点球成金》一书在美国大红大紫之后，球探这个职业一度陷入低谷，各个球队都疯狂地迷恋上了数据。然而，西尔弗认为事实证明，球探最后还是击败了数据。 数据系统的判断依赖的是历史数据，而球探除了依赖历史之外，还要依赖于现场判断。西尔弗举了红袜队明星佩德罗亚的例子。他说数据系统告诉自己，佩德罗亚会是很有潜力的新星。事情的发展也如他所料，但是当西尔弗靠近佩德罗亚的时候，才发现，佩德罗亚坚定的信念和专注力才是决定他在场上可以出色发挥的关键。而这两点，都是数据系统无法感知的。 说回到 IBM 为大满贯球员打造的制胜策略上。在和几位国内资深的网球评论员交流之后，发现大家对这个所谓的大数据系统除了觉得好玩之外，并没有实用的价值。首先，这套系统不能预测。其次，这种依赖于历史数据得出来的结论，早已被球员的教练团队烂熟于胸。对于李娜来说，教练员的任务不是把这些数据告诉她以便进行针对性训练，而是侧重于心理辅导。 而且，若要 IBM 为李娜设定的三个指标都达标的话，需要两大因素支持。首先是李娜的临场心理状态。打球不比下棋，想到的可能做不到。其次，在于对手的压迫程度。面对小威这样的力量型选手时，李娜的发挥空间会被大大压缩。而这两大因素又是紧密联系在一起的。 我们很多时候都会被误导，认为大数据的作用是让历史告诉未来。不然。甚至在网球这样的领域里，历史数据常常会成为陷阱。大数据之大，一方面在于原始数据库的规模之大，更在于实时流动量之大、数据来源之大。就像西尔弗所言，一个好的棒球预测系统必须具备三大要素：考虑球员表现的外在因素；区别看待运气和技术因素；了解球员的表现和年龄变化之间的关系。 有意思的是，在另一场女子网球比赛中，一位球员做到了 IBM 为其制定的三项指标中的两个，她却失败了。胜利的一方，只完成了一个指标。