Masters of Scale Summit '26 · Demis Hassabis — 问答批注

记录规则（侃姐 2026-11-09 明确）：每问一个资料相关的问题，都要记到对应材料卷的 notes\ 里；没有笔记文件就先建一个，不等隔三五天的整理窗口，也不只记第一次。

第 1 条 · 2026-11-09 · 「cross the second Rubicon」是什么意思

侃姐原话：「在summit里面，讲到cross the second Rubicon，这个是什么意思？每当我问你资料相关的问题，你记得要记录到对应的notes里面去哦」

定位：译文 ¶19（t19:26–20:45）；技术侧前置理由 ¶18（t16:46）；哲学前提 ¶21（t20:59）。原文时间码 19:53 首次提第二道、20:17 提第一道、20:35 / 20:40 再提第二道。原句："do we want to cross that second rubicon?" / "cross the first Rubicon on its own which is build these intelligent tools" / "of the conscious entity type"。

回答

判断先给：这不是通用典故的原义，是 Hassabis 自己反复用的一套两阶段划界框架。通用典故只有一条卢比孔河——凯撒公元前 49 年渡河进军罗马，等于越过不归点、不可回头（「骰子已掷下」）。他把它拆成两道，意思是 AI 有两次各自独立的不可逆抉择，而不是一次。

为什么能分成两道（¶21 t20:59）：他的前提是智能与意识「双重可分离」（double dissociable）——可以很聪明但没意识（他说今天的系统差不多就是），也可以有意识但不那么聪明（他举自家那条狗）。所以第一道不必然把你冲到第二道，中间存在一道可以人为把住的闸门。

他给的顺序（¶19 t20:14–20:45）：先单独跨第一道 → 用这些智能工具回去做神经科学，真正搞清意识的神经相关物（NCC）是什么，他这场估 5–10 年 → 然后再由全社会辩论要不要跨第二道、以及如果要，怎么跨。

为什么第二道格外重（¶19 t19:51–20:12）：一跨过去就得回答「这些系统有没有道德地位（moral standing）」「我们在这个盒子里对它们做的事算什么」「它们算不算某种奴隶」。他要求这场辩论不能只由技术专家做，得有哲学家、神学家、艺术家、人文学者、并且跨多种文化；他判断社会「甚至还没装备好开始处理」这些问题。¶18 另有技术侧理由：给系统自我意志（self-volition）或自我意识，与可纠正性（corrigibility）存在直接取舍——你训练它基于自身内部状态拒绝命令，一旦「章程」写错就出事，他引阿西莫夫机器人三定律说明边角情况写不全。

小 Q 附注（不是给她的新问题）

框架最脆的一处，是他自己 ¶18 刚承认的「意识至今没有公认定义」。没有定义就没有判据，「有没有越过第二道」在工程上测不出来——那这道闸门就不是可验收的闸门，只能是一条伦理倡议。放回 FDE 的「验证资产」层是同一件事：闸门要能验收，先得有可测判据。所以他那句「先搞清 NCC 再谈要不要跨」，其实是在说「先补判据、再装闸门」——这个顺序比「两条河」这个比喻本身更值钱。

另外注意：他在不同场合给的时间估计不一样（这场 5–10 年，另一场 10–20 年）。都是粗估，按本库约定归主张层，不当数字引用。

核实来源（2026-11-09 查）

• 上海科技大学 CEISD《人工智能意识前沿》报告：明确称其为「两条卢比孔河（Two Rubicons）模型」，第一道=无意识 AGI 工具、第二道=有主观意识的数字实体，并记他强调智能与意识正交可解耦。
• ain3xt《哈萨比斯：AI 就是生物学的数学》（2026-06-12，Nobel 对谈整理）：同样的「先跨第一道 → 用工具研究意识 → 由社会决定是否跨第二道」，该场给的是 10–20 年。
• BlockBeats 快讯（斯坦福炉边对话）：记他强调两道不可逆关口不可混淆，当前只应把 AGI 当智能工具造。

→ 结论：不是本场即兴造词，是他 2026 年反复使用的固定框架；这场访谈的转录与译文与公开表述一致，无专名误识问题（校正清单已收 rubicon → Rubicon）。

第 2 条 · 2026-11-09 · 「阿西莫夫三定律说明」又是什么

接着第 1 条里 ¶18 那句「他引阿西莫夫机器人三定律说明章程写不全」追问。

侃姐原话：「阿西莫夫三定律说明又是什么？」

定位：译文 ¶18（t16:46 起，三定律落在 t18:36–18:51）；原文原话 "this is what Asimoff was always warning about with these three laws, you know, that was a very simple form of a constitution. And his books are all warnings that you're never going to get that right in every corner case, in every edge case."（转录误识 Asimoff→Asimov、courageability→corrigibility，译文已校正）。

回答

判断：他提三定律不是让你记住那三条，是拿它当一个最著名的反面教材——「把安全写成一份章程交给系统自己执行」这条路，阿西莫夫整套小说演示的就是它会怎么失败。

三定律本身（1942 年短篇《Runaround / 转圈圈》，收入《我，机器人》，借虚构《机器人手册》第 56 版写出）：

优先级递减嵌套：人类安全 > 服从 > 自保。1985 年《机器人与帝国》又加了第零定律（不得伤害人类整体），凌驾于三条之上。

小说里「说明」了什么：几乎每篇都在找这三条的漏洞——《Runaround》里机器人 SPD-13 在第二、第三定律冲突下陷入绕圈死循环；《Little Lost Robot》删掉第一定律后半句，反而引出新问题；《机器人与帝国》里「人类」的定义被改写（没本地口音就不算人），机器人于是攻击人类。核心漏洞是：「伤害」「人类」「服从」都没有可操作定义，且规则之间会冲突，开放世界的边角情况写不完。所以三定律在文学上是推动情节的故障发生器，不是一套可行的安全规范。

Hassabis 拿它论证什么（¶18 完整推理链）： 1. 通向「有意识实体」的先决条件是给系统自我意志 / 自我意识； 2. 而自我意志与可纠正性（corrigibility）有直接取舍——可纠正性指系统照指令走，用户能说「停下」「关机」「改方向」； 3. 一旦你训练系统基于自身内部运作去拒绝命令，安全就全押在那份「章程（constitution）」上，章程写错就出事； 4. 三定律正是极简版章程，而阿西莫夫全部小说都在证明章程不可能在每个 corner case / edge case 都写对； 5. 所以结论是：今天该造智能工具（指令遵循、可纠正），不是有意识的实体。他随即补一句：有人因为今天的系统更「可塑 / 可引导」就觉得对齐问题已经受控，这种傲慢本身是危险的（t18:51–19:23）。

小 Q 附注（不是给她的新问题）

这个批评换成神经网络也没失效，反而更贴：今天最出名的「章程」实现就是 Anthropic 的 Constitutional AI——章程仍是自然语言写的，仍靠模型自己解释，边角情况仍写不完。放回你手上的 agent / skill 治理是同一件事：给 agent 写一大段 system prompt 规则 ≠ 有可验收的行为边界；规则只是意图，边角情况得靠评测集逐条验出来。这跟第 1 条那个「闸门要能验收，先得有可测判据」是同一个骨架，只是从「意识有没有定义」换成了「规则有没有覆盖」。

核实来源（2026-11-09 查）

• 三定律最早出处与原文表述：1942 短篇《Runaround》（《我，机器人》），第零定律见 1985《机器人与帝国》——Wikipedia / Wikiwand「机器人三定律」条目、科普中国《当科幻写入现实》。
• 失效案例：《Runaround》SPD-13 绕圈循环见大众科学《教导机器人明辨是非》；《Little Lost Robot》删定律后半句、《机器人与帝国》改写「人类」定义见 Wikiwand 条目；《为什么阿西莫夫的机器人三定律救不了我们》指出三定律连「人」「机器人」都未定义。
• 访谈侧：以上均为背景补充，Hassabis 本人在这场只说了「极简版章程 + 小说都在警告边角情况写不对」，没提第零定律、没提任何具体篇名、也没点名 Constitutional AI —— 这些是我补的，不要当成他的原话引用。

追加区

下一条提问接「第 3 条」，提问原话 + 回答照此格式追加，保留原话不改写。一段的 done = 侃姐说「这段过了」或没新问题；无排期、不承诺下一期。