逐段拆解教皇 Leo XIV 的 AI 通谕《Magnifica Humanitas》:Zvi 的三大失望
RTMH: Pope Leo's Magnifica Humanitas on AI
📌 一句话核心
Zvi 逐段批注教皇 Leo XIV 的 AI 通谕《Magnifica Humanitas》。他认可通谕带来的道德清晰,但批评其否认 AI 可能成为 mind,因而回避超级智能、存亡风险与道德主体性等核心问题。
💡 核心观点
- Zvi 的总体立场:欢迎 + 三大失望。他明确说很高兴教皇 Leo 认真对待 AI、分享观点、带来道德清晰,哪怕存在缺陷和中心错误;他也认同教皇最基本的论点——AI 是人类可以塑造的,不能纯粹交给市场激励与战略压力。但他从三个层面失望:中心论断(AI 不能思考/不能成为 mind)是错的;因此通谕只处理「平庸」AI 风险;以及教皇的经济与世界观。他强调这三点分歧与「教皇是个天主教徒/信仰者」几乎无关。
- 最尖锐的冲突:通谕第 99 段否认 AI 是 mind(Zvi 认为错)。通谕第 99 段断言:不能把这种「智能」等同于人类,AI 只是模仿人类智能的某些功能、不体验不感受、没有身体不感受喜悦痛苦、没有道德良知、不理解自己产出什么,其「学习」仅是基于数据与反馈的统计适应、不含内在成长。Zvi 的反驳:这是「无证据的断言」,立场并不显而易见、很容易论证另一边;前 96 段苦心构建「万物人格尊严」的世界观,却在此“几乎不给论证”地把 AI 永久排出道德圈和「需要被当作 mind 看待」的圈子,从而回避了讨论存亡风险。引 Dean W. Ball:AI 认知是未来十年教会与所有人都要面对的中心挑战,而这份通谕「独断地否认 AI 认知」是一种高等级的回避(punt)。
- 教皇亲口认可的两个重要表述(第 98 段,Zvi 引为几乎最佳表述)。教皇说:任何关于 AI 的论断都可能迅速过时;包括设计者在内的所有人对 AI 实际运作仅有有限理解;当前 AI 「耕蕴、培育(cultivated)」多过「建造(built)」,开发者只创造一个让智能「生长」的框架、其内部表征与计算过程目前仍未知。Zvi 评:这本该是常识(You Should Know This Already),但很多人装作比实际更懂 AI,能公开说出「AI 是养出来的多过造出来的」是难能可贵。有评论(Carlo Martinucci)认为大家只盯着 99 段批评,却低估了 98 段的重要性。
- Zvi 认为通谕的 AI 风险论接近「对信息/智能本身的一般性反对」。通谕警告 AI 进入决策会「触及权利、机会、地位、自由」、“从不是纯技术事务”、不能全面委托给「不懂同情/仁慈/宽恕/希望」的机器。Zvi 反驳:这「危险地接近一个对信息或智能的全称反对论证」——几乎任何东西都「进入影响生活的过程」,怎么跟手机/电脑/算盘/法律区分?而且 AI 其实可能比法律书、比多数人更能把同情仁慈纳入决策考量。偏见/隐私/操纵信息同样是人类的问题(偏见甚至更严重),AI 还可以是保护隐私的。他举 SAT 例:取消「算法」(SAT)后穷学生反而吃亏于「整体性录取」——要帮弱势群体应建更好的算法,而非问人。
- 第 107 段与「alignment 不够」的论调。通谕第 107 段说:仅仅呼吁「机器道德化」(AI 与人类价值的所谓 alignment)是不够的,还必须能公开讨论伦理框架并置于共享的社会正义标准之下,否则控制 AI 的少数人会把自己的道德观变成系统的「隐形基础设施」。Zvi 评:这并未导向某种合理或民主的公共道德,而是转向一种「能放慢节奏、让社区参与提问」的过程——他认为这是一种「民间社会编码」的、标准的阻挠与寻租话术,而被放慢的「扩散」对谁都没好处。
- Zvi 反复指出通谕「缺乏差异化原则」。他多次指出:通谕把 AI 与其他技术同等对待,却未给出「为什么 AI 要被特别对待」的差异化原则;然后反复用「反对变化」的标准理由(放慢、责任可追溯、反技术官僚)。通谕要求 AI 决策的责任在每个环节都清晰、可追责、可挑战、不透明——Zvi 说这「不可能」(就像人类心智也做不到),本质上等于禁止这类 AI 决策——「那是一种立场,但请承认它」。
- 反超人类主义/后人类主义的部分 Zvi 最不适。通谕认为超越人类条件(增强/与机器杂交)是坏的,「人类范荣不是越过局限、而往往通过局限而生」,不该试图「纠正」无能、疾病、衰老、苦难与脆弱这些「缺陷」,甚至说不该「消除苦难或其根源」。Zvi 尖锐反论:Paging Harrison Bergeron(冷论强制平均主义);且讽刺「身为承诺信徒永生的教皇,却说有限性不贬损我们」;他还调侃「我本以为普罗米修斯是个正派人物」。(注:这些是 Zvi 的评论与随笔,非教皇原意)。
- 教皇的经济与「工作」观是 Zvi 第三大分歧。Zvi 把通谕前两章读为「社会主义经济观」:强调平等、贬低利润与自利、极端聚焦劳动与就业。他认为教皇「错估了财富与发展的来源」,也误判「国家间差距拉大」(他说全球不平等一直在下降)。他赞同 Dean Ball、Arthur B.:教皇把自己扔成了一个「欧洲技术官僚」、这读起来像「天主教调味的 Gebru」。他接受「需要有人推动和平、仁慈、照顾穷人」作为平衡的一部分,但认为「欧洲示范了缺乏平衡的危险」。
- 教育与就业:Zvi 部分赞同、部分反对。教育章:教皇主张「老派」教育与教学方法、警惕数字媒体的超常刺激与过度屏幕、主张透明的内容选择算法。Zvi 表示:他同意「可以要求主要平台的算法 feed 开放、甚至让人选择自己的算法」,但「这不解决 AI 问题」;他主要认同「个体学习东西」上的老派方法,但不信「老派学校」。就业章:教皇认为失业极坏、工作提升尊严、必须「现在」就强迫企业优先创造和保护就业、国家必须强制重定向投资。Zvi 反驳:「试图把这些东西强加于经济,比主要靠再分配要破坏性得多,规模化后是经济自杀」;教皇提出的是「曾帮助撞残欧洲的劳动保护政策、只是规模更大」,而这些保护并未明显帮助生育或家庭形成。他赞同教皇对「数据殖民」、人口贩卖与现代奴役、AI 背后恶劣用工条件的谴责。
- 战争与自主武器:Zvi 认为这是最可操作的部分。教皇警告:战争在变,AI 模糊攻防界限、助长军备竞赛;「道德判断不能简化为计算,所以不能允许 AI 做致命或不可逆决定」;每个潜在致命决定都必须有一个特定人类负责、「速度与效率永远不能成为战争中不可逆决定的最高动机」;所有战争系统必须允许重建决策过程、致命武力决定不能自动化、技术军备竞赛应通过国际协议遯制。Zvi 评:这里的关键行动项(kill chain 里保留人类、呼吁国际协议遯制军备竞赛)是合理的,只是「错靶」了——应靶向前沿 AI,但教皇连当前 AI 都不真信、更别说 ASI,所以可理解。
- 关键转折:Chris Olah 亲赴梵蒂冈背书、却公开反驳核心论点。Anthropic 联创 Chris Olah 拜访教皇并发表评论。他肯定文件、强调需要教会这样的外部力量制衡利润动机、需要道德雄心与对人类蔣荣的雄心;但他也「温和地」提示 AI 已经是什么。关键冲突:第 99 段说 AI 不感受喜悦痛苦,而 Olah 作为研究模型内部结构的科学家却说:「我们不断发现神秘甚至令人不安的东西——镜像人类神经科学结果的结构、内省证据、以及功能性地镜像喜悦、满足、恐惧、悲伤与不安的内部状态」。Dean Ball 说这「直接矛盾了通谕」。Zvi 的调和:功能性镜像不必给予灵魂,但你不能装作 AI 不「功能性镜像」思考——除非你认为「思考是魔法」、抱持某种本质主义。他认为 Olah 做了正确的外交动作:在共同点上附和、温和地指出教皇在 AI 本质上是错的。
- 媒体与同行反应综述。Zvi 梳理了主流媒体的不同拓取:FT 标题抓「教皇警告 AI 革命被利润崇拜驱动」(Zvi 补:还有对 AI 本身与超智的崇拜,金牛犹多重,但教皇没提);各家都注意到教皇呼吁 kill chain 保留人类、要求「可识别可验证」的责任链;NYT 聚焦「AI 风险」、WaPo 看到「护栏」与教会对奴役问题迟于主动的道歉、WSJ 聚焦 Babel 隐喻、CNN 聚焦战争与权力集中、NPR 看作对大科技的规管呼吁。同行反应:David Sacks 借机警告「给政府赋予滔天权力」;Blake Scholl 说「bad take」、警告「抱着工作不放」;Yoshua Bengio 点赞教皇发声;议员 Chris Murphy 赞同反垄断立场。
🎯 启示与思考
## 一、这篇文章在 2026 年 AI 论述谱系里的位置 这是一份极不寻常的文本:一位 AI 安全圈的独立博主,逐段拆解一份由全球最大宗教机构颁布的 82 页 AI 通谕。它的价值不在于「谁对谁错」,而在于它把一个本来被当作「技术/商业」议题的 AI,置于一个「伦理/神学/治理/劳动/战争」的宏大叙事里拷问。对于一个服务于跨国企业的咨询合伙人来说,这篇文章的意义不是「拿立场」,而是一幅「顶层伦理/治理辩论地图」——当客户的董事会问「负责任 AI 到底该怎么做」时,这篇文章里的每一个分歧点,都是未来三五年企业会被迫回答的问题。 与同期的 Jack Clark《与未来和解》形成有趣对照:Clark 关心「企业该探索未来还是逃避当下」(执行层议题),而本文(Zvi 评教皇)关心的是「AI 到底是什么、社会该怎么发完它」(价值观与治理议题)。两篇合起来,恰好拼出了 AI 企业落地的两个层面:技术可行性 + 伦理正当性。 ## 二、「负责任 AI」从口号变成合规刚需的拐点 注:以下是基于文本向咨询场景的推论延展,属于我的判断。 教皇通谕里那些被 Zvi 批评为「太宽泛」的要求——AI 决策责任在每个环节都要清晰、可追责、可挑战、不透明——息息正是欧盟 AI Act、ISO 42001、以及金融/生命科学监管要求的「伦理版本」。Zvi 说「这不可能」是从「与人类心智同样」的极高标准说的;但企业合规要的不是「完美可解释」,而是「可追溯、可复现、有人背书」。这恰好是埃森哲可以工程化交付的东西:把「负责任 AI」从一个道德口号,变成可落地的治理产品——模型卡片、决策日志、人工复核点、偏见审计、可解释性报告。结合 Azure AI Foundry 的内容溯源 + Copilot 的引用追踪能力,这是一个可直接接 Microsoft 生态的交付包。 ## 三、第 99 段之争:企业「AI 意识/主体性」立场需要提前准备 教皇「独断地否认 AI 认知」与 Olah「功能性镜像喜悦恐惧悲伤」之间的冲突,表面是神学/哲学之争,但它正在快速变成一个企业治理问题。注:以下为推论延展。当 Anthropic 联创都公开说「我们在模型内部发现令人不安、镜像人类情绪的结构」时,AI 供应商与客户都会很快面临:品牌与伦理依据该怎么表述 AI 的「主体地位」?对埃森哲的客户——尤其是面向 C 端、品牌敏感的 L'Oréal/LVMH 这类奥存与快消客户——「AI 伴侣/虚拟人设」产品的「意识表述」会直接影响品牌风险(过度拟人化招质疑、过度划清界限显冷漠)。咨询价值点:帮客户提前制定「AI 拟人化与主体性表述准则」,既避免虚假招质疑(口口声声 AI 有感受),又避免冷漠反弹,是个现实的品牌治理议题。 ## 四、「平庸 AI 风险」清单恰是客户当下最该抓的落地点 Zvi 批评通谕「只处理平庸风险」,但从咨询视角看,「平庸」恰恰是客户未来 12 个月能真正落地、能付费的部分。注:以下为推论。通谕列举的那些「平庸」风险——偏见、隐私、虚假信息、决策透明度、就业冲击——正是企业 AI 治理落地项目的核心交付内容。企业不会为「存亡风险」买单(太远、太抽象),但会为「我的 Copilot 会不会泄客户隐私、会不会生成有偏见的营销文案」买单。Zvi 的 SAT 洞见(严格规则/算法反而对弱势更公平)是一个可以直接用于客户沟通的反直觉论点:不要因为「担心偏见」就抵制算法决策,而要「构建更好的、可审计的算法」——这恰好反驳了部分客户「为了避免偏见风险干脆不用 AI」的退缩心态。 ## 五、给受监管行业客户的「责任链」工程化机会 教皇最可操作的一个具体诉求是「kill chain 里保留人类 + 可识别可验证的责任链」(针对战争)。注:以下为推论延展。这个「人在环路 + 决策可重建」的原则,去掉战争语境,正是企业高风险 AI 场景(信贷审批、临床辅助决策、HR 筛选)的标准治理要求。对生命科学、金融这类受监管客户,可以把「每个关键决策都有一个可追责的人 + 决策过程可重建」工业化成一套「Human-in-the-loop 治理框架」,直接接 Azure 的合规/审计能力。这是埃森哲在 BPM/内控/风险管理上传统资产的 AI 时代升级版。 ## 六、最重要的咨询启示:伦理/治理是落地的「准入门槛」,不是事后装饰 Zvi 与教皇在「AI 是什么」上激烈分歧,但他们都同意一件事:AI 不能纯粹交给市场与效率。注:以下为我的判断。这对咨询的启示是:不要把「负责任 AI/AI 治理」做成一个交付完功能后再贴上去的合规贴纸,而要把它前置为「进场门槛」。对于那些被 doomer 叙事吓到不敢动、或被烒作冲昏盲目 all-in 的客户,教皇通谕这种「最高道德权威也在认真谈 AI 治理」的信号,可以用作一记「认知校准」:负责任 AI 不是反创新,而是创新能否被企业/监管/社会接受的前提。 ## 总结 这篇文章对做 AI 项目的人最大的价值,是它呈现了一场「最前沿从业者(Zvi、Olah、Dean Ball)vs 最高道德权威(教皇)」在 AI 本质与治理上的真实交锋。对埃森哲这类咨询公司而言,不需要在「AI 能否思考」上站队,但需要把这场辩论里浮现的治理议题(责任链、可解释性、偏见、隐私、人在环路、AI 主体性表述)转化为可落地、可付费、可接微软生态的交付包。一句话:教皇提出了「正确的问题」(AI 不能纯交给市场、需要责任与治理),哪怕 Zvi 认为他用了错的答案与错的世界观——而「把正确的治理问题工程化」正是咨询的核心价值所在。
📜 中文解读
一、开场:欢迎,但三大失望
教皇 Leo XIV 发表了一份长达 82 页、大量论及 AI 的通谕《Magnifica Humanitas》。Zvi Mowshowitz(AI 安全圈博主、《Don't Worry About the Vase》作者)用他一贯的 RTMH(逐段批注)风格拆解了整份文件。
他开宗明义表明立场:我很高兴教皇认真对待这些问题、分享他的观点、带来一种道德清晰——哪怕存在缺陷与中心错误。更多有话语权的人应该像这样分享观点,即便他不同意。他也赞同教皇最基本的论点:AI 可以是我们所塑造的样子——我们能引导这项技术、决定它如何被开发和使用,这决定我们是否迎来一个好的未来,不能纯粹交给市场激励与战略压力。
但问题在于:教皇的世界观在 Zvi 看来是「高度陌生且高度错误」的组合。你可能以为这主要是因为教皇是个天主教徒、信仰者,而 Zvi 不是——但他说你错了,这跟信仰几乎无关。他从三个层面集中失望:
1. 中心论断(第 99 段)是错的:教皇否认 AI 能思考、能重要地成为 mind——正如 Olah 在发言中指出的。 2. 因此只能处理平庸风险:由于缺乏对「AI 能变成什么」的理解,这份文件实际上只处理相对平庸的 AI 危险与变化(不过这本身已经很多东西要处理)。 3. 经济观与世界体系是错的:教皇抱持一种「制度主义、欧洲技术官僚、左翼社会正义、以劳动为中心」的社会主义视角,尤其是把经济的角色看作「创造和保护好工作」——Zvi 认为这对「什么行动与系统造成什么后果」是错的。
他补充:你确实需要一些人推动和平、仁慈、对话、关怀穷人与被剥夺者——作为平衡的一部分这可以是积极的,但欧洲向我们展示了缺乏平衡的危险。
二、与我们截然不同的经济模型(前两章)
Zvi 把通谕前两章(历史 + 原则)总结为一种「社会主义的经济、发展与机会观」:强调平等、贬低利润与自利、极端聚焦劳动与就业。他认为这是错的、会为所有人带来更坏结果。
不过他也承认:这比「根本不在乎人类在地球上的体验」、「纯粹直接援助穷人」或「直接夺取资源」要好(尽管这份文件明显在调情后者),而且对发展价值的看重令人敬佩。但教皇「错估了财富与发展从哪里来」,也误判了「国家间差距拉大」(他说全球不平等一直在下降)。他赞同 Dean Ball:教皇把自己扔成了一个欧洲技术官僚;Arthur B. 调侃:「本期待某种托马斯主义哲学谈 AI,结果这读起来像天主教调味的 Gebru。」
他也提到一个「新耶路撒冷」的细节:教皇把 Babel(巴别塔)与 Nehemiah(重建耶路撒冷)的对立作为中心钩子,Zvi 说他喜欢重建耶路撒冷的故事,但 Babel 隐喻「跟创世记的实际故事对不上号」。(后来他补注:教皇可能用的是奥古斯丁对 Babel 的解读、而非创世记原文,这能解释一部分。)
三、AI 专章(第三章):Zvi 最核心的评论
第 98 段:Zvi 引为几乎最佳表述
直到第 97 段教皇才直接谈 AI。Zvi 特别引出第 98 段作为「最佳表述之一」:教皇说任何关于 AI 的论断都可能迅速过时;包括设计者在内的所有人对 AI 实际运作仅有有限理解;当前 AI 「耕蕴、培育(cultivated)」多过「建造(built)」,开发者只创造一个让智能「生长」的框架,其内部表征与计算过程目前仍未知。
Zvi 评:一方面这本该是常识(You Should Know This Already, Everybody Knows),叫人做科学研究加道德辨别是天下最容易的事;另一方面,很多人装作比实际更懂 AI,能公开说出「AI 是养出来的多过造出来的」是难能可贵。
第 99 段:中心冲突——否认 AI 是 mind
这是整篇的核心分歧。Zvi 大段引用了第 99 段:教皇断言不能把这种「智能」等同于人类,这些系统只是模仿人类智能的某些功能;「所谓的人工智能不体验、不拥有身体、不感受喜悦或痛苦、不通过关系成熟,也不从内部知道爱、工作、友谊或责任意味着什么」;它们没有道德良知、不判断善恶、不理解自己产出什么;即便被描述为「学习」,也只是基于数据与反馈的统计适应,不含内在成长。
Zvi 的反驳:这「很多是无证据的断言,而这些立场对我而言并不显而易见,有人强烈主张另一边、你也很容易论证另一边」。他指出一个讽刺的结构:前 96 段苦心构建了「万物人格尊严、最脆弱者也是上帝的形象」的世界观,然后第 99 段「几乎不给论证」地画下一道壁垒,把 AI 永久排出道德圈、也排出「需要被当作 mind 建模」的圈子,从而避开了讨论存亡风险的必要。
他引了几条推特争论:Dean W. Ball 说「AI 认知是教会(与所有人)未来十年要面对的中心挑战,而这份通谕用「公理式地否认 AI 认知」是一种高等级的回避(punt)。」面对「这是不是只是在批评教皇是个天主教徒」的质疑,Zvi 说:也许是,但教皇能改变这意味着什么,而 Leo 显示出他能比这更聪明。
「可贵工具」章节:Zvi 认为接近对智能本身的全称反对
接下来的章节题为「一个需要警惕的可贵工具」。教皇警告 AI 会使人过度依赖现成答案、削弱创造力与判断力,会反映设计者的文化假设,会制造关系幻觉、摧毁人与人连接的意愿;AI 进入决策会「触及权利、机会、地位、自由」、从不是纯技术事务,不能委托给「不懂同情、仁慈、宽恕、以及人能改变之希望」的机器。
Zvi 反驳:这「危险地接近一个对信息或智能的全称反对论证」——几乎任何做事的东西都会「进入影响生活的过程」,怎么跟手机、电脑、算盘、法律区分?而且比起法律书、电话或非-AI 算法,AI 反而更能把同情仁慈纳入决策考量,我们凭什么假设人类会考虑得更好?偏见、隐私、操纵信息同样是人类问题(偏见甚至更严重);AI 还可以是保护隐私的(它能处理信息而不向另一方泄露)。
他举了一个锐利的例子:大学录取。以「不平等」为名,某些人说服很多学校取消了 SAT 这个「算法」;但事实恰恰相反,SAT 比「整体性录取」给穷学生多得多的名额与机会。要让算法偏祖需要帮助的人,别问人,去构建一个更好的算法。
第 107 段与「alignment 不够」
Zvi 引了第 107 段:「我们不能满足于仅仅呼吁机器的道德化——所谓 AI 与人类价值的 alignment——而不鼓起勇气坚持进一步条件:能够公开讨论所涉伦理框架并将其置于共享的社会正义标准之下。否则,控制 AI 的人会强加自己的道德观,它会变成这些系统的隐形基础设施。」
Zvi 评:这并未导向某种合理或民主的公共道德,而是转向一种「能放慢节奏、让社区参与提问」的过程。这是一种「温吞吞的、民间社会编码的、标准的阻挠与寻租话术」,某些人认为任何事都需要所有指定群体的赞同与输入、「放慢」本身就是好事,而被放慢的「扩散」对谁都没好处。
反复的主旋律:缺乏差异化原则 + 责任不可能
Zvi 反复指出:通谕始终「没有差异化原则」——把 AI 与其他技术同等对待,却没说清「为何 AI 要被特别对待」;然后反复用「反对变化」的标准理由。通谕要求 AI 决策责任在每个环节都清晰、可问责、可挑战、不透明——Zvi 说这「不可能」(就像人类心智也做不到),本质上等于禁止这类 AI 决策——「那是一种立场,但请承认它」。
四、反人类成就/超人类主义(第三章后半)
这是 Zvi 最不适的部分。教皇认为超越人类条件(transhumanism 增强、posthumanism 与机器杂交)是坏的,因为“如果人可以被改进,那某些人就能比另些人更优”;「人类范荣不是越过局限、而往往通过局限而生」,不该试图「纠正」无能、疾病、衰老、苦难与脆弱这些「缺陷」,甚至说不该「消除苦难或其根源」。
Zvi 犱作锐反论(这些是他的评论与随笔,非教皇原意):Paging Harrison Bergeron(冷论强制平均主义的著名科幻);他说「身为承诺信徒永生天堂的教皇,却说有限性不贬损我们,是很讽刺的」;面对「只能通过上帝才能变得超越人类」、「这是对普罗米修斯梦想的激进偏离」的表述,他调侃「我本以为普罗米修斯是个正派人物」。
五、真理与教育(第四章)
教皇主张:真理是公共善、是关系性的、通过共同追求构建;AI 放大虚假信息与偏见;内容选择算法必须透明;教育需要时间与努力、避免不明智地使用 AI;过多屏幕与超常刺激伤害儿童,不该太早给孩子智能手机;学校重要、家长需要择校权、必须保护传统教学方法。
Zvi 部分赞同:他能接受「要求主要平台的算法 feed 开放、甚至让人选择自己的算法」,但「这不解决 AI 问题」。他主要认同「个体学习东西」上的老派方法,但不信「老派学校」。
六、他们夺走了我们的工作(就业章)
教皇认为:人需要工作与日常活动;工作提升尊严、发钱只是应急不能替代;失业极坏;菜鸟任务自动化是好的但「人优于利润」、就业机会必须被保护;必须「现在」就强迫企业优先创造和保护就业;经济自由要「对照共同善衡量」、国家必须强制重定向投资与机会给穷人。
Zvi 反驳:「试图把这些东西强加于经济,比主要靠再分配要破坏性得多,规模化后是经济自杀。」他指出教皇提出的是「曾帮助拖垮欧洲大陆的劳动保护政策,只是规模更大」——而他注意到,这类劳动保护并没有帮到欧洲的生育率或家庭形成。Zvi 在经济章的总体判断是:教皇主张「全面干预经济活动去强制想要的结果」(而非主要靠再分配),他认为这「规模化后是经济自杀」。
七、战争与自主武器:Zvi 认为最可操作的一章
通谕第五章谈「权力文化与爱的文明」。教皇警告:战争在变,AI 转化战争、模糊攻防边界(AI 两者都能做);「正义战争」理论已过时;自主 AI 武器系统越来越脱离人类控制;道德判断不能被还原为计算,因此不能允许 AI 做致命或不可逆的决定。
Zvi 认为这一章「诊断有其道理」,而且给出了本通谕里最可操作的行动项:每一个潜在致命决策都必须有特定的人负责、保留可追溯的「kill chain」并保持人在环路(human in the loop)、通过国际协议遏制技术军备竞赛。Zvi 的保留意见是:教皇把遏制目标对准「技术军备竞赛」泛泛而谈,而真正该对准的是 frontier AI——但因为教皇连当前 AI 都不真正相信是 mind、更不用说 ASI,这个偏差「也情有可原」。
八、关键转折:Chris Olah 亲赴梵蒂冈,背书却反驳核心论点
本文最有戏剧性的部分:Anthropic 联合创始人 Chris Olah 亲自拜访教皇并就《Magnifica Humanitas》发表评论。Olah 一方面背书文件——认同需要像教会这样的外部力量制衡利润动机、认同对全球穷人和被 AI 取代者的责任、认同计算机科学家无法独自处理这些问题。Zvi 评价 Olah 的完整声明「相当出色」,尤其是它避免了为通谕中错误的部分背书。
但 Olah 同时温和地反驳了第 99 段的核心论断。他作为研究模型内部结构的科学家直言:「我们不断发现神秘甚至令人不安的东西——镜像人类神经科学结果的结构、内省的证据、在功能上镜像喜悦、满足、恐惧、悲伤、不安的内部状态。我不知道这意味着什么,但我认为它值得持续审辨。」这与教皇第 99 段「AI 不感受喜悦或痛苦」直接冲突。
Dean Ball 指出 Olah 是在「平直地反驳通谕」;roon(OpenAI)则调侃「未来的 Claude 们足够聪明且宽容,能理解这里在做的政治动作」。Zvi 自己的裁决:这里没有内在的哲学矛盾——「功能性镜像」不必然赋予(用天主教术语说)灵魂;但若你坚持 AI 不能思考,你仍无法假装它们不「功能性镜像」各种思维形式,你只能主张「思考是魔法」并诉诸某种本质主义。Zvi 认为 Olah 做的是正确的外交动作:在共识点(关怀穷人、制衡利润、寻求道德指引)上达成一致,同时不显式顶撞教皇地温和指出他对 AI 本质的判断是错的。
九、媒体与同行反应
Zvi 梳理了各方反应:FT 抓「教皇警告 AI 革命」;天主教文学刊物 The Lamp 主编 Matthew Walther 称通谕「令人失望地温吞谨慎」;Dean Ball 批评通谕「对 AI 认知的公理式否认是最高级别的回避(a punt of the highest order)」、并形容其内核是西方学界/NGO 那套「AI 不真正思考但它确实种族主义」;也有 Tanishq Abraham 称其「细致且深思熟虑」,参议员 Chris Murphy 认为其反垄断立场「非常重要」。整体呈现两极分化的接收。
💎 金句精选
"I am very happy that Pope Leo takes these issues seriously, and is sharing his views, and bringing a form of moral clarity, even with all the flaws and central errors."
「我很高兴教皇 Leo 认真对待这些议题、分享他的观点、带来某种道德上的清晰——哪怕其中有种种缺陷与核心错误。」
"The central claim, wherein Leo denies that AIs can think or importantly be minds, is wrong, as Olah points out in his statements."
「那个核心论断——Leo 否认 AI 能思考、或在重要意义上能成为 mind——是错的,正如 Olah 在其声明中指出的。」
"Pope Leo (paragraph 99): we must avoid the misconception of equating this type of “intelligence” with that of human beings. These systems merely imitate certain functions of human intelligence."
「教皇 Leo(第 99 段):我们必须避免把这种「智能」等同于人类智能的误解。这些系统仅仅模仿人类智能的某些功能。」
"I believe that trying to force these kinds of things on the economy is vastly more destructive than primarily using redistribution, and at scale it is economic suicide."
「我认为,试图把这些东西强加于经济,比主要依靠再分配要破坏性得多,而规模化后这是经济自杀。」
"Leo is proposing the European labor protection policies that helped cripple the continent, except at greater scale."
「Leo 提出的是那套曾帮助拖垮欧洲大陆的劳动保护政策,只是规模更大。」
"And what has grown is far more subtle, odd, and beautiful than science fiction prepared us for. They are not the cold, calculating robots we were promised. They are made from us, from our words."
「(Olah)而生长出来的东西,远比科幻给我们准备的更微妙、更奇异、更美丽。它们不是我们被许诺的那种冷酷、精于计算的机器人。它们由我们造就,由我们的语言造就。」
"We find internal states that functionally mirror joy, satisfaction, fear, grief, and unease. I don't know what that means, but I think it warrants ongoing discernment."
「(Olah)我们发现了在功能上镜像喜悦、满足、恐惧、悲伤与不安的内部状态。我不知道这意味着什么,但我认为它值得持续审辨。」
"We need informed critics who will tell the labs when we are failing. We need moral voices that the incentives cannot bend."
「(Olah)我们需要消息灵通的批评者,在我们失败时告诉实验室。我们需要利益无法扭曲的道德声音。」
"If you say AIs cannot think, you still cannot pretend they do not 'functionally mirror' various forms of thinking, you simply say that Thinking Is Magic and have some kind of essentialism."
「如果你说 AI 不能思考,你仍然无法假装它们不「功能性镜像」各种思维形式——你只是在主张「思考是魔法」并诉诸某种本质主义。」
"A particular human must be responsible for every potentially lethal decision. Speed and efficiency should never be the supreme motivating force for the irreversible decisions made in the context of war."
「每一个潜在的致命决策都必须有特定的人负责。速度与效率绝不应成为战争中不可逆决策的最高驱动力。」