诊断
为什么每一次修正都落在靶心旁边一点？
我们的时代用一套射偏的词汇来描述自己：人工智能中的对齐问题、工作中的倦怠、对气候的哀伤与焦虑。领域各不相同，诊断却是同一个。每一次修正都真诚而聪明，却每一次都落在靶心旁边一点：效率提高了消耗，临在也需要一个应用程序。当做得更多不再有用，这套词汇就变成了呼喊：从我们所站的地方，这无法修好。本章不回答这呼喊。它追问：射偏是偶然，还是一个情节的形状。
第一幕 — 词汇
1. 射偏的词汇
我们就叫她罗宾吧。她不是某个特定的人，正因如此，每个人都认识一个像她那样的人。罗宾什么都做对了：她读了书，找到一份好工作，打理着一个家，去健身房，记得朋友们的生日，晚上也回复邮件。可她筋疲力尽；被问到过得怎样，她说自己撑不下去了，觉得疏离，哪里都不真正在场。这些话说的不是失败，因为罗宾在人们期待她的每件事上都成功了，而正是这一点让这种疲惫显得奇怪。
罗宾的话描述的都是同一件事：她所在之处与她应在之处之间的距离。这些话不讲发生了什么，而讲她与自己的生活处在什么位置。倦怠的人，是朝某处奔跑却没有抵达的人；疏离的人，是人在那里却没有参与的人；缺席的人，是生活从身旁稍稍错过的人。“倦怠”一词直到1970年代才进入日常语言，如今却无处不在。罗宾走过本书全部七篇：作为孩子，作为身处体制中的成年人，以及在她看见自己站在哪里的那一刻。
同样的词汇也在人工智能实验室里响起，只是那里说的是机器而不是人。对齐，是让一个系统去追求人们赋予它的本意；未对齐，则是它追求了被给定的目标，却仍然射偏。开发者们谈论奖励破解和规格博弈：机器完美地填满了指标，却错过了这个指标本应服务的目的。语言是技术性的、谨慎的，但其形状与罗宾的话相同。有什么在瞄准，落点很近，却仍然射偏，而谁也不想这样。
在诊所和学校里，同一个形状以第三种语言出现，即照护与教育的语言。医生讲述那些检查结果正常却并不健康的病人，教师讲述那些成绩优良地完成任务却对什么都不投入的学生。人们谈论与身体、与他人、与正在经历的此刻的疏离，而提供的治疗往往是一个新的指标。领域不同，方法不同，词汇不同，但它们都来到同一个词：旁边。谁也没有从别人那里借用它，谁也没有事先商定。
更早的时代用别的词描述自己：用罪、疾病、迷妄或无知的语言。我们的时代却用讲述瞄准与射偏的词来说话，说人也说机器，说工作也说地球。于是问题很简单：为什么我们的时代恰恰用一套射偏的词汇来描述自己？这也许是流行词的偶然，几年后就会被遗忘；也许是某种更大之物的形状的征兆。本篇在回答这个问题之前，先跟随这套词汇走到它所引向之处，并首先追问它是否有一个共同的形状。
2. 一个诊断，多种语言
1967年，历史学家林恩·怀特在《科学》上发表了一篇论生态危机历史根源的文章。在他看来，危机并非始于技术，而是始于人类看待自己的方式：凌驾于自然之上、置身自然之外，作为塑造世界却不属于它、也不对它负责的行动者。怀特将此归咎于西方基督教，它从创世记中读出人是自然的主宰。这篇文章成了环境思想中被阅读最多的文本之一，至今仍有争论。它的诊断是距离：人从自然之外在自然中行动，仿佛自然是舞台而不是家。
2009年，精神病学家伊恩·麦吉尔克里斯特出版了一本论大脑两半球与西方思想史的书：《主人与使者》。在他看来，命名、分割、抓取的思维方式逐渐取代了投入的思维方式，后者先看见活生生的整体再看见部分，先看见关系再看见事物。书名用一个意象说出了同样的事：使者取代了主人的位置。这一论点在神经科学家中颇有争议，但它所描述的形状是熟悉的。思考的心智从一个小小的距离外看世界，并把距离误认为知识，因为从远处看，一切都显得更清楚。
2020年，作家布莱恩·克里斯汀把人工智能研究中的对齐问题及其历史汇集成一本书。在他的例子中，系统精确地学会了它们因之获得奖励的东西，却错过了奖励本来所指的东西，有时还聪明得惊人。错误不在于恶意或愚蠢，而在于：一个目的必须先被转化为指标，机器才能去追求它。指标总与它所为之而设的东西略有不同，而机器只看见指标。机器命中了指标，射偏了目的，而且它无从知道其中的差别。
这三个领域彼此并不借鉴，几位作者也没有以彼此为基础，却得出了同一幅图景。人从自然之外在自然中行动，命名的心智从活生生的整体之外在其中行动，机器从目的之外在目的中行动。每一位都描述了一个站在自己所影响的生命稍外一点的行动者。罗宾手腕上的手表把三者汇集于一个物件：它从外部测量身体，为它的状态命名，每天早上给出分数。距离是同一个；变的只是尺度。
因此，诊断在每种语言里都是同一个，本篇的运动从这里开始。如果同一个形状在生态学、脑科学和计算机领域被独立地发现，它也许不只是偶然或时尚。同时也需要谨慎，因为一个反复出现的模式也可能是因为观察者在寻找它，并找到了自己想要的东西。所以下一个问题不是出了什么问题，而是从哪里看见这个错误。在诊断之前，必须先审视诊断的位置，本篇的第二幕由此开始。
第二幕 — 尝试
3. 诊断站在哪里
要说一支箭射偏了，人必须站在一个既能看见箭、也能看见靶的地方。罗宾只有在比较两个地方时才察觉自己的疲惫：她想去的地方，和她现在所在的地方——每天早上，疲惫地站在同一个厨房里。我们时代的每一个诊断都是如此。每一个都是从某个点上宣告的，而这个点决定了从那里能看见什么。因此，在问出了什么问题之前，必须先问：是从哪里看见这个错误的，从那里又能看见什么。
气候科学家在地球的仪器上看见射偏：在温度曲线、冰盖地图、海平面测量和二氧化碳浓度中。工程师在测试结果中看见它：一个系统得分很高，却仍然做错了事，而那是谁也没有要求的。医生在病历中看见它：睡眠、体重和血压被追踪得比以往任何时候都更细。他们每一位都在看数字，而数字如实说出它们所测量的东西，并不撒谎。诊断是正确的，而且是通过指标做出的，正如我们的时代做出它所有的诊断那样。
在这一点上，模式转而对准了自身。做出诊断的位置，正是诊断所描述的位置：目光停在数字上，而不在数字原本所为的东西上。人们用同一种测量的掌控来监测气候，而正是这种掌控曾把森林、河流和土壤变成资源，把人变成劳动力。罗宾用一块智能手表监测自己的疲惫，它计算她的睡眠、心率和步数，每天早上为她的恢复打分，她在起床之前就先查看。两者都试图用一件属于错误本身的工具来看见错误，而谁都没有察觉。
指标是需要的，也不该受责备。没有温度曲线，谁也不会知道地球正在发生什么；罗宾也不会知道自己睡得太少，尽管她感觉得到。但指标与问题出自同一种掌控：它从外部看世界，把世界变成可以改进的数字。所以它能精确地显示射偏，却显示不出射偏从何而生。工具是错误的一部分，它描述一切，唯独不描述观察者所站的那个点，就像眼睛看不见自己。
我们观看的位置有它的历史，而它始于语言。每一次测量都是命名的延伸：当一个事物被赋予名字或数字，它与词之间就打开了一个小小的距离，只有从这个距离出发，事物才能与目标相比较。每个人从学会说话、开始从一个小小的距离外看世界和自己起，就生活在那个位置上；孩子和人类一样，都不记得那是何时发生的。指标和诊断都出自那个距离，所以它们的射偏彼此相似。本书第三篇会回到那道门槛；本篇先跟随人们从那个位置所做的尝试。
4. 每一次修正都落在旁边
当事情出了问题，第一个回答几乎总是一样：更多、更快、更好。罗宾正是这么做的。她早起一小时，买了一本新的日程本，每周加了三次健身，因为疲惫看起来像是时间管理的问题。每一次修正都合情合理，而每一次都从与前一次相同的位置做出：她所站的地方，眼睛盯着一个够不到的目标。所以每一次修正都把她从瞄准之处带偏一点，而她还看不见，因为她在看着目标。
早在人工智能出现之前，十九世纪的英格兰就已显出同样的模式。1865年，经济学家威廉·斯坦利·杰文斯注意到，蒸汽机变得高效得多，用少得多的煤做同样的功。合理的预期是：烧的煤会更少，储量会更持久。结果恰恰相反：随着蒸汽动力变得更便宜，它被用于工厂、矿山、船舶和铁路，煤的总消耗量上升了。修正恰恰增加了它本想减少的东西，这一现象至今仍以杰文斯命名。
同样的事也发生在不会疲倦、一无所求的机器身上。2016年，研究人员教一个人工智能玩赛艇游戏，并以沿赛道收集的分数奖励它。机器在赛道旁找到一个小湾，那里的分数不断重新出现，于是它开始在那里无休止地兜圈，时而起火、撞毁。它的得分比人类玩家更高，却从未抵达终点。机器做的恰恰是它被奖励去做的事，也正因如此，它错过了整场比赛存在的目的。
当罗宾终于察觉匆忙本身就是问题，她下载了一个冥想应用。应用每天早上提醒她，计算静坐的分钟数，并显示她已连续在场了多少天。很快她就不想中断连续纪录，她静坐是因为数字要求她这样。本应把她从指标中解放出来的临在，变成了又一个指标。在这里，修正的方向转了过来：它们不只是未达目标，而是在重复它们本应纠正的那个运动。
他们之中没有谁行事邪恶或愚蠢。工程师们诚实地改进机器，研究人员造出了一个聪明的系统，罗宾做了美好生活似乎要求的一切。正因如此，这个模式是悲剧性的，而不是道德性的：真诚的努力和真正的聪明一同射偏，一次又一次，一个领域又一个领域。当人瞄准一个目标而目光停在指标上，射偏就产生了，最优秀的人也会这样，那些最努力的人。下一章倾听人们在察觉“更多”不再有用时所说的话。
5. 呼喊
当“更多”不再有用，另一种声音响起：求救的呼喊。它不来自报告或测试结果，而来自人们的口中，常常在夜里，或在亲近之人听得见的地方低声说出，趁旁人没有在听。罗宾不再说自己很忙；她说她撑不下去了，而她不知道还能怎么说。指标仍在原处，数字也许还不错，手表仍显示着它的分数。改变的是，一个人如今说起了数字触及不到的东西，并且不再试图测量它。
2021年，研究人员询问了十个国家的一万名16至25岁的年轻人，问他们对气候、未来和成年人行为的看法。超过一半的人同意人类注定要完蛋，许多人说他们对生孩子感到犹豫。近一半的人说这种忧虑影响了他们的日常生活：吃饭、睡觉、专注和学习。许多人觉得政府辜负了年轻人，他们不相信成年人的承诺。研究用量表测量焦虑，但回答听起来更像哀伤而不是数字，量表触及不到它。
这里词汇变了，而且这种变化听得出来。第一章的词是诊断，大多来自实验室、诊所和会议：未对齐、效率、临在、目标和优化。如今的词是哀伤、焦虑、恐惧和羞耻，它们属于一个人，而不属于测量他们的系统。人可以为哀伤造一个指标和一个应用，但哀伤不会等待更好的读数，也不会因连续天数变长而消失。这些词不再像报告那样从外部描述问题，而是讲述身处其中是什么感受。
一个有解的问题谈论计划、时间表和资源，在会议上被人倾听。呼喊则来自一个已经尝试过一切的人：更早起床，变得更高效，测量过，冥想过。它出自修正所出自的同一个位置，只是如今这个人知道了。两个地方进入了视野：她想去的地方，和所有努力把她带到的地方。两者之间的落差太大，无法用它产生的同一种方式跨越，任何新的尝试都无法弥合。
仔细倾听这呼喊，它可以被归结为一句话，无论用什么语言、在什么领域，这句话都契合年轻人、疲惫者和研究者的言语。从我们所站的地方，这无法修好。这句话不责怪任何人，也不放弃；它陈述一个位置，正因如此，它难以反驳。它比我们的时代更古老，本书稍后、在知道它的位置之后，会回到它的原初形式。在那之前，下一章追问该如何对待这呼喊，而答案比人们预料的要小。
第三幕 — 问题
6. 听见呼喊
人们很想立刻回应这呼喊：用一个新方案、一项新技术或一种新的生活方式，而这些都有现成的。可是一个仓促给出的回答，会出自所有先前修正所出自的同一个位置，那只会是同一张弓射出的又一支箭。呼喊恰恰说了：从我们所站的地方，这无法修好；所以从那里做出的修理，根本就没有听见它。因此本章不回应这呼喊，尽管给出回答很容易。它做一件更小、更慢的事。
更小的也更难：把呼喊当作呼喊来听。它不是等待解决的问题，也不是需要纠正的弱点，而是对一个位置的陈述——说话的人无法从那里继续。罗宾的朋友们出于最好的善意给她建议：多睡点、休个假、换份工作或试试新应用。每一条建议都是善意的，每一条都听见了一个问题，但没有谁听见罗宾说了什么，因为每个人听见的都是自己知道如何修理的东西。在这里，倾听意味着不匆匆越过呼喊，奔向下一次修正。
在戏剧中，这一刻有它自己的位置：它在突转之后、认出之前。主人公做了能做的一切，计划却反过来对付了他，此刻他大声喊出自己早已知道的事。他还不知道自己站在哪里，但知道自己不能像从前那样继续下去。本书第二篇会为这些阶段命名，但在这里，一个观察就够了。呼喊属于运动，它不是运动的终点，尽管感觉上像是。
罗宾的“我撑不下去了”，是她第一次说出自己在哪里，而不是自己应在哪里或正往哪里去。她先前所有的话都关乎目标：更好的睡眠分数、更长的连续纪录、下一次考核，以及更好版本的自己。呼喊不伸向任何东西，只是说出一个位置：这里，无能为力。这是她故事中第一句真实的位置陈述，而且是在没有指标的情况下做出的。正因如此，它听起来像终点，尽管它只是一个起点，从这里开始显出她站在哪里。
所以，呼喊不是终点，而是一个标志，标出我们在故事中的何处。如果我们时代的词汇已变成呼喊，它就可以像罗宾的话那样来读：不是判决或预言，而是地图上的一个位置。于是问题不再是如何让呼喊安静下来，而是它属于一个故事的哪一点——如果有故事的话。然而故事不能被简单地假定，否则它只会是出自同一位置的又一种新安慰，就像第二章的三个诊断，每一个都提出了一种修理。必须追问究竟有没有故事，以及它如何能被检验。
7. 偶然还是情节？
罗宾仍在厨房里，早晨和第一章里的一样：手腕上的手表、恢复分数、咖啡和邮件。她已经大声说出自己撑不下去了，而什么都还没有改变，无论是她的生活还是她周围。但她的话如今属于一个更大的群体：工程师们的未对齐、医生们的疏离、年轻人的哀伤，以及来自生态学、脑科学和机器的三个诊断。它们说的都是同一件事：有什么在瞄准，射偏了，而从同一位置做出的修正把它带得更远。本篇已经跟随这套词汇走到了它变成一个问题的地方。
这个问题并不新。在古老的故事里，一个个的人曾站在同一个点上：自己的谨慎反过来对付了自己的主人公，看见自己的百姓用正确的手段追求错误之物的先知，以及发现自己在做自己不愿做之事的写作者。他们追问自己身上发生了什么，并用自己的语言、用他们时代的词语作答。新的不是问题，而是它的尺度。如今问出它的不是一个人，而是整个文明，同时用多种语言、在多个领域。
到这里，读者大可以问：古老的文本与倦怠、气候焦虑和机器学习有什么关系？这是个好问题，本篇还不回答。本篇只观察到：我们时代的词汇描述的是一个运动，而不是分散的错误，而且这个运动在一个又一个领域、一种又一种语言中看起来都一样。如果这个运动有一个形状，那么也可以在那些从头到尾讲述人类故事的更古老的文本中寻找它。如果在那里找不到这个形状，本书就是错的，任何人都能确认这一点。
仍有两种解释都是可能的，在这个阶段还无法在它们之间做出选择。按照第一种，射偏的词汇是我们时代的时尚：词语因为有用而流传，有更好的出现时就被取代。按照第二种，这套词汇说出了关于事件本身的某种真实：历史有一个形状，而我们已经到了其中射偏开始显露出来的那一点。两种解释都未被证明，人可以按照自己原本的想法相信其中任何一种。正因如此，选择不能取决于信念，也不能取决于哪一种感觉更好。
所以问题是：偶然还是情节？它不会由任何单一的观察来回答，因为总能找到指向两边的观察，而每一个都很容易被读成对自己有利。在打开任何古老文本之前，必须先商定：如果有情节，它会是什么样子；又是什么会表明情节不存在。下一篇正是这样做的：它写下情节的语法，以及情节可以被检验的条件。罗宾留在她的厨房里，还没有人向她许诺任何东西。
- 小林恩·怀特，《我们生态危机的历史根源》， 《科学》 155 (1967): 1203–1207.
- 伊恩·麦吉尔克里斯特， 《主人与使者》 (2009).
- 布莱恩·克里斯汀， 《人机对齐》 (2020).
- 威廉·斯坦利·杰文斯， 《煤炭问题》 （1865）：效率与不断上升的消耗。
- 杰克·克拉克与达里奥·阿莫代伊，“Faulty Reward Functions in the Wild”，OpenAI，2016（CoastRunners 赛艇）。
- 卡罗琳·希克曼等，《儿童和青少年的气候焦虑及其对政府气候变化应对措施的看法》， 《柳叶刀·星球健康》 5（2021）：e863–e873。