< 信号与噪声 > 读书笔记

“预测”在日常生活、科学研究、商业投资中扮演着至关重要的作用。

成功的预测可以为社会或者个人带来巨大的收益,但十分困难;而失败的预测则有可能带来巨大的损失。

2008 年美国的金融危机使我们认识到了预测错误导致的严重后果,对于房地产泡沫的错误预测导致美国乃至世界经济遭遇重创。

“大数据”时代,基于数据进行预测似乎更加容易,但作者的观点是,客观事实是恒量,数据在快速累积,信息越多,则噪声越多。

如何在浩如烟海的数据中排除噪声寻找真正的信号?难。

我们无法在预测中排除主观认知的干扰

狐狸型专家的经验越丰富,其预测就越准确;刺猬型专家经常将真相与其个人价值观混为一谈,带有偏见地审视新的数据和证据,不尊重客观事实。

作者认为成功预测的几个原则:

  1. 成功的预测必须使用概率的方法思考问题:承认不确定性和复杂性
  2. 预测不应该是一成不变的,需要利用信息不断更新
  3. 在不同的信息中寻求共识:信息的整合

经济学预测的困难性:

贝叶斯定理:后验 = 先验 x 似然

正确认识“先验”:


ch1 预测失败的灾难性后果(2008年金融危机)

预测之所以重要,因为它连接着主观世界与客观现实。

失败的预测通常有很多共同点,即我们只关注那些符合我们对这个世界的期许的信息,而不在乎真实性。

对威胁到自己的风险,人类拥有一种超凡的能力,就是对其视而不见,好像看不见风险,风险就会自动消失一样。

恐惧与贪婪也是最重要的反馈之一。有些投资者谨慎小心,有些则敢于冒险,这样市场才能平衡:如果股价因为公司的财政状况恶化出现下跌,胆小的投资者就会纷纷抛售,而贪婪的股民则会乘机抄底。 然而,贪婪和恐惧是两个非常不稳定的因素,只有两者保持平衡,经济才能顺利发展。若贪婪在经济体系中占上风,就会产生经济泡沫;若恐惧因素压过贪婪,经济又会陷入恐慌。

2008年金融危机,也许白宫犯下的更不可宽恕的错误是,他们做出这样一个看似很精确的预测,却没有告诉人们这个预测也有可能会出错。

在信息时代我们面临的一个重大挑战,就是全球的知识总量在增加,而我们实际掌握的知识和自认为掌握的知识之间的鸿沟却越来越宽。

美国次贷危机中的预测失败,还款能力有保证的美国人可以正常申请到利息较低的购房贷款,而还款能力不确定的客户向金融机构申请房贷时(所谓的次级贷款),会支付更高的利息,金融机构会视乎客户的评测结果决定是否放贷,因为 08年之前美国房价持续增长,违约者很少 ,评测团队错误的得出即便单个客户还款能力不确定但不存在批量违约的结论,并 对这些次贷客户给以很高的信用评级 ,银行为了利润也忽视了这些客户还款能力的不确定性,为这些次贷客户大量输出资本投资到房地产,同时金融机构普遍对经济盲目乐观而负债经营,后来 房价下跌出现批量违约 ,银行收房也卖不出去,亏损影响被负债放大后进一步引起多家金融机构破产。

房地产市场只是整个金融市场的一小部分,然而经济学家没有将家庭以及金融机构的负债或者说财务杠杆考虑进来。 财务杠杆就是负债经营 。比如买房时,实际 300 万的房子,首付支付了 30 万,那么当房产价格上涨 10% 时,买房者就以 30 万的本金赚得了 30 万,实现了 100% 的投资收益率;然而当房价下跌 10% 时,买房者则亏掉了 30 万的本金,卖掉房子还清贷款就一无所有了。实际上,在当时,家庭购房的杠杆已经有 50 倍之多,这意味着房价下跌 2% 就足以使这些家庭倾家荡产,而雷曼兄弟破产时,也有 33 倍的杠杆。高杠杆极大地放大了房价下跌对家庭和金融机构的影响,许多家庭以及如雷曼兄弟这样的金融机构不得不面临破产。

在预测时人们总是无法躲过主观因素的影响,预测基于对客观世界的假设,然而 假设很多时候是主观的 ,此时如果只关注那些符合我们对这个世界预期的信息,那么几乎必然会导致预测的失误。

失败的预测都是“非样本预测”。e.g. 一个驾龄长达 30 年的司机,在之前的 20000 次出行过程中,只碰到了两次轻微刮擦的交通事故。然而有一天,这位心情不好的司机在公司的年会上喝了几杯酒。这位司机从历史的 20000 次出行的经验中总结出,他遇到车祸的概率只有万分之一,而且是轻微事故,所以这次开车回家也是安全的。在这里,这位司机就遇到了非样本预测的问题:虽然之前的 20000 次出行都没有碰到什么重大的交通事故,然而之前的 20000 次驾驶中 并没有酒驾的经历 ,因而 实际可以用于这次车祸预测的样本为零

回到 2008 年金融危机,房价大幅下跌放在过去 20 年的历史数据中属于非样本事件,因而使用历史数据在这种情况下进行预测就非常有问题了。

ch2 美国政治选举预测,狐狸和刺猬,谁更聪明?

作者更认同狐狸型专家。

ch3 棒球比赛预测,球探和数据怪才

如何从不同维度评估球员潜力,信息,特征。

再优秀的系统也会出错。

ch4 天气预测,蝴蝶效应与混沌理论

初始状态的轻微变化会逐渐增大从而大幅的影响最终结果。

天气预报说有 60% 的概率下雨,你会怎么做?还要考虑天气预报本身的准确性。

拉普拉斯妖,拉普拉斯恶魔:认为这个世界是彻底服从因果律的,如果人们找到了这种规律就可以预测一切。

测不准原理:一个运动粒子的位置和它的动量不可被同时确定。

ch5 地震预测

地震学的“圣杯”是否存在?

目前对地震还没有特别准确的预测模型。

ch6 经济预测

经济规律十分复杂,很多统计数据呈现的特征只是相关而不是因果。

经济预测和人的行为是互相影响的。

ch7 传染病预测

预测本身也会影响人们的行为,模型难以反映真实情况。

ch8 赌徒的预测

成功的赌客绝对不会认为有“稳赚不赔”。

贝叶斯定理 P(A|B) = P(A) * (P(B|A) / P(B))

P(A):先验概率

P(A|B):后验概率

P(B|A) / P(B):似然(likelihood)

贝叶斯定理的思想:利用新的信息不断更新自己的预测结果。

ch9 人机博弈

在确定性的问题上,计算机比人有优势。

我们应当关注预测在现实生活中的实际表现,而不是只满足其在数据模型中的表现。

ch10 扑克牌游戏

帕累托曲线,二八法则。

新手入门时,投入少量努力就可以获得较大进步,但要继续成长为高手则需要投入大量资源。

把几件最基本的事情做好会有很大帮助。

ch11 股票市场

“市场规律”和“贝叶斯定律”之间的共通之处:根据新的买入卖出调整心理预期从而影响交易价格。

股市上噪音很大,庄家能得到更多数据,同时也能凭借资本引起更大的冲击,而非理性交易者的存在让价格泡沫不可避免,所以单纯的追涨杀跌并不能保证预期获利。

若想要做出更准确的预测,必须承认我们的判断都是不可靠的。

过去的表现不能代表未来的结果。

有效市场假说。投资者不一定都是理性的。

技术分析不一定是合理的。区分“相关”和“因果”。

ch12 温室效应:未来10年全球气温是会上升还是下降?

以概率性思维来看待所有科学假说,对有极强、极明确的因果关系支撑的假说抱有更大信心。

允许多样性的模型非常重要,因为没有模型是完美的,每种模型都存在错误、漏洞。

ch13 恐怖主义:比 911 事件更严重的恐怖袭击事件还会发生吗?

信号无处不在,但人们往往在事后才发现它们。

重要的是从杂乱的信号中分离出有用信息的分析能力。

你不知道的不代表不会发生。


结束语

在现实世界里,不确定性会被误认为是不自信的表现。

使用贝叶斯定理主张的概率思维的好处是让我们认识到:

  1. 预测只是开始,需要不断修正;
  2. 我们可以通过不断识别新的信号来改进预测。

知道自己的观点源于何处。人都是有“初始观点”的,很难做到没有预设观点,说自己没有偏见反而是一种偏见。

在不断地试错中进步。在大量预测的前提下不断修正,而不是寄希望于一次就正确。

培养对可预测性的认知能力。保持谦卑,我们的预测往往是比实际情况要乐观的,风险无处不在。