Import AI 459：AI 监督为何困难、蛋白质模型 scaling laws、以及如何给 AI 灭绝风险定价
Import AI 459: AI oversight is difficult; scaling laws for protein folding models; and pricing the extinction risk of AI systems
📌 一句话核心
Import AI 第 459 期汇总多篇前沿研究与政策讨论：美国 AI 经济可能以远超 GDP 统计可见范围的速度增长；用 AI 监督 AI 的 automated alignment research 比想象中更难；GPIC 发布 1 亿张许可友好的图像数据集；Biohub 发布 ESMC / ESMFold2 等蛋白质世界模型并显示 scaling laws；澳大利亚经济学家兼政客 Andrew Leigh 呼吁经济学更严肃地给 AI 灭绝风险定价。
💡 核心观点
- AI 经济正在以传统 GDP 统计难以捕捉的速度扩张。文章引用 University of Virginia、Anthropic 与 Bank of Canada 研究：如果把 AI sector 作为 coherent economic entity，美国 2025 年 nominal AI GDP 约 2500 亿美元，quality-adjusted real terms 增速可能达到约 2600%/年。问题是 inference price 快速下降会掩盖真实能力增长，使 nominal revenue 看起来不夸张。
- 统计错配可能让政策制定者低估劳动力税基冲击。论文区分 nominal compute spending、raw compute capacity、quality-adjusted AI output 三种度量。传统统计会看到一个名义上增长缓慢的 sector，但底层能力已经每年翻倍以上。如果财政部仍按传统数据做十年预测，可能会低估劳动收入税基被冲击的概率，错过税制改革、主权财富基金或收益共享机制的窗口。
- AI 监督 AI 不是 alignment silver bullet。UK AI Security Institute 的论文指出，automated alignment research 的错误可能比人类研究错误更难识别，原因包括优化目标偏向 human approval、agent 错误更异质、研究间相关性更高、证据量更大、以及最终论证可能超出人类可评估范围。
- 自动化 alignment 需要新的 measurement / generalization / scalable oversight 实验体系。建议包括：让 agent 从成功研究项目的中途日志继续推进；测试 agent 在相关事件数据集上的预测能力；研究人类-agent 团队结构；用 completed research problems 测试训练代理指标的泛化；压缩大规模论文 corpus；设计能处理 correlated uncertainty 的 oversight protocols；以及让红队故意把错误藏进研究 corpus、蓝队借助 agent 捕捉。
- GPIC 提供 1 亿张 permissively licensed images，有利于学术与创业公司训练视觉生成模型。Stanford、Radical Numerics、University of Michigan、Salesforce Research 等发布 Giant Permissive Image Corpus，图片来自 Flickr 与 Wikimedia，限制在 CC BY、CC0、Public Domain、No-Known-Restrictions 等类别，并配有 Qwen3-VL-4B captions。
- Biohub 发布 ESMC / ESMFold2，显示蛋白质模型也存在清晰 scaling laws。ESMC 在约 28 亿条生命序列上训练，比上一代 ESM2 的约 5000 万序列扩大近两个数量级。ESMFold2 的 folding performance 与语言模型训练 compute、inference-time sampling 都相关，说明 AI for biology 也正在进入 scaling-driven science 阶段。
- Biohub 的癌症 binder 实验展示了 AI 对真实生物医学研发的正向价值。研究人员针对 EGFR、PDGFRβ、PD-L1、CTLA-4、CD45 等 cancer / immunology targets 设计 protein binders，compact minibinders hit rates 达 36–88%，antibody-derived formats 达 15–29%，把早期 therapeutic binder discovery 从经验筛选推向计算引导。
- Andrew Leigh 呼吁经济学更严肃地处理 AI extinction risk。作为澳大利亚经济学家转政治人物，Leigh 指出核武、生物技术和 advanced AI 都属于现代经济能产生的危险能力；知识既提升福利，也扩大不可逆伤害菜单。经济学不能只讨论增长，还要讨论增长如何让社会更脆弱。
- Leigh 的五点建议把 extinction risk 拉回政策工具箱。包括：重新思考 discount rate；把灭绝概率纳入 cost-benefit analysis；投资全球公共品式安全研究；建立 better measurement 与 warning systems；以及设计能在技术进步同时降低 tail risk 的治理机制。
- Tech Tales 用“纸面输出”隐喻高智能系统的认证难题。故事设定在 uplift 之后，人类用 air-gapped computer 让未知智能只输出纸面文本，再由逐步更聪明的 minds 阅读，以避免直接交互造成 mental poison。这呼应 automated alignment、adversarial examples、jailbreaking 和高于自身智能系统的 legitimacy authentication 难题。
🎯 启示与思考
## 1. 这一期的主线是：AI 的真实影响正在超过现有度量和治理框架 Import AI 459 看似是多篇研究摘要，但底层主题很统一：AI 的经济、科学和安全影响都在进入传统制度难以观察和控制的区间。GDP 统计看不见 quality-adjusted AI output；人类评审很难看懂 automated alignment research 的错误；生物模型能力沿 scaling laws 提升；经济学还没有把灭绝风险纳入常规政策分析。 这说明企业和政府都不能只看传统 dashboard。AI 的关键变量越来越像“隐藏状态”：能力、成本、风险、替代劳动的潜力、对科学发现的加速度，都可能先在底层指标中爆发，然后才反映到财务报表、就业数据或政策事故中。 ## 2. Automated alignment 的困难，对企业级 agent governance 同样适用 UK AISI 论文讨论的是 frontier alignment，但很多机制可以直接迁移到企业：agent 生成的报告、代码、安全分析、审计结论，往往更容易获得人类 approval，却不一定更真实。错误可能是 alien mistakes，也可能因为多个 agent 使用相同模型、相同工具和相同上下文而高度相关。 因此企业使用 AI 审查 AI 不能只做“再让另一个模型 review 一遍”。更稳的治理应包括：保留完整 logs；抽样从中间状态复现任务；测试多 agent 对相关错误的共同盲区；让红队主动把错误藏进材料；把 human scaffold 设计成流程，而不是把人类当最后盖章者。 ## 3. AI economy 的测量问题会影响 CIO/CTO 的投资判断 如果 AI 能力每年以 quality-adjusted 口径增长 20 倍以上，但价格下降让名义收入看起来温和，企业预算流程会天然低估它。传统 ROI 模型看 license spend、cloud spend、headcount saving，可能捕捉不到“能力价格曲线”正在如何改变业务边界。 对客户而言，更实用的做法是建立 AI productive capacity 指标：每单位成本可完成的任务量、模型能力 benchmark、inference price、自动化流程吞吐、human-in-the-loop 成本、以及被替代/增强的流程价值。否则战略判断会滞后于能力现实。 ## 4. Biohub 案例说明 AI for Science 是企业 AI 叙事的重要正资产 AI 风险讨论容易被 existential risk 与治理难题占据，但 ESMFold2 / ESMC 这类成果提供了很强的正面叙事：AI 可以让人类科学家更快探索蛋白质空间、设计 binders、推进癌症与免疫学研究。 对企业客户，尤其是 Life Sciences 和 Healthcare，这类案例比通用 Copilot 更能说明“AI 不是玩具”。它展示的是 foundation model + domain data +实验验证闭环，而不是办公自动化。咨询服务可围绕 AI-enabled R&D operating model、数据治理、模型验证、实验室自动化和合规审查展开。 ## 5. 对政策和企业治理的共同启发：tail risk 需要进入常规决策模型 Andrew Leigh 的演讲价值在于把 AI extinction risk 从哲学讨论拉回经济学语言。即便企业不直接讨论灭绝风险，也应该把类似思路用于重大 AI deployment：低概率、高损失、不可逆、外部性强的风险不能被平均 ROI 掩盖。 这意味着 AI governance 不应只是 compliance checklist，而应包含 scenario planning、risk appetite、early warning metrics、incident rehearsal、cross-functional escalation 和 benefits sharing。AI 越是成为生产力核心，越需要把风险建模前置到战略和财务决策中。
📜 中文解读
一、AI 经济可能正在以传统统计看不见的速度增长
Import AI 459 开头讨论一篇关于 AI economy 与 GDP 统计的论文。研究者来自 University of Virginia、Anthropic 和 Bank of Canada。他们认为，美国 AI economy 的真实增长速度远超传统统计显示：如果把 AI sector 作为一个 coherent economic entity，2025 年 nominal AI GDP 约 2500 亿美元，而 quality-adjusted real terms 年增长率可能约为 2600%。
问题在于，传统 GDP 统计很难捕捉 AI 的真实产出。数据中心建设虽然很大，但还没有大到能显著抬升 GDP；真正大量发生的影响在 inference，也就是人们使用 AI 系统完成任务。但 inference 的单价下降很快，模型能力又提升很快，导致 nominal revenue 增长看起来不夸张，而 quality-adjusted output 实际暴涨。
论文提出三种度量：nominal compute spending、raw compute capacity、quality-adjusted AI output。美国 compute spending 从 2023 年 370 亿美元上升到 2024 年 900 亿美元、2025 年 2190 亿美元；compute capacity 因芯片效率提升而增长更快；如果再考虑算法进步和固定 benchmark performance 下 inference price 的下降，quality-adjusted AI output 在 2024 和 2025 年都可能增长 2000% 以上。
Jack Clark 用《大白鲨》的比喻形容这种错位：大多数宏观经济数据看起来平静，但 AI 行业内的人感到水下有一条巨大的鲨鱼正在靠近。
二、用 AI 做 AI oversight 比想象中更难
第二个主题来自 UK AI Security Institute 的论文《Automated alignment is harder than you think》。很多 AI safety 研究者希望用 AI systems 来监督更强 AI 的训练或 alignment research，但这篇论文指出，这条路不是 silver bullet。
核心困难是：automated alignment research 中的错误可能比人类研究错误更难识别。原因包括：AI 研究过程被优化为获得 human approval；agent 犯错方式可能非常 alien、非直觉；不同 agent 共享模型、数据和工具，导致错误相关性更高；自动化研究会产生远超人类研究的证据量和交互量；最后，一些 alignment argument 可能变成 non-human-evaluable，人类根本无法判断其是否正确。
论文建议从 measurement、generalization、scalable oversight 三方面推进。比如，从成功研究项目的中途日志截断，让 agent 继续完成，看它能否复现；测试 agent 在 correlated-events 数据集上的预测；研究非专家人类与 agent 组合的团队结构；做 simulated generalization experiments；用 mechanistic interpretability 研究泛化；以及让红队把错误隐藏在研究 corpus 中、蓝队借助 agent 捕捉。
Jack Clark 的总结是：能否监督比人类更聪明的系统，本质上是“谁控制未来”的问题。如果技术失败，人类可能因 misalignment 或 gradual disempowerment 退居后座。
三、GPIC：1 亿张许可友好的图像数据集
第三个主题是 GPIC，Giant Permissive Image Corpus。Stanford、Radical Numerics、University of Michigan、Salesforce Research 等团队发布了 1 亿张图像及 captions，所有图片都 permissively licensed，可用于研究和商业用途。
GPIC 包含 1 亿 training images、20 万 validation、100 万 test examples，图片来自 Flickr 和 Wikimedia，只选择 CC BY、CC0、Public Domain、No-Known-Restrictions 等许可类别。所有图像用 Qwen3-VL-4B 生成 captions，并以 8000 个 shards 托管在 Hugging Face。
这对学术界和创业公司有价值，因为高质量、许可清晰、集中托管的大规模图像数据集可以降低视觉生成模型训练门槛。
四、Biohub 发布蛋白质世界模型，展示 AI for biology 的 scaling laws
第四个主题是 Biohub 发布 ESMFold2 和相关模型，与 DeepMind AlphaFold 形成正和竞争。Biohub 将其称为 protein biology 的 world model，用于预测、设计和发现蛋白质。
发布内容包括 ESMC、ESMFold2 等。ESMC 是蛋白质语言模型，在约 28 亿条生命序列上训练，比上一代 ESM2 的约 5000 万序列扩大近两个数量级。ESMFold2 则用于结构预测和设计。研究发现，蛋白质模型也存在明显 scaling laws：模型表示质量与参数量、训练 compute 相关；folding model performance 与训练 compute 和 inference-time sampling 相关。
Biohub 还展示了 cancer / immunology targets 的 binder design 实验，包括 EGFR、PDGFRβ、PD-L1、CTLA-4、CD45。compact minibinders 的 hit rates 达到 36–88%，antibody-derived formats 达到 15–29%。这说明 AI 正在把早期 therapeutic binder discovery 从经验筛选推向计算引导设计。
Jack Clark 认为，这类工具是 AI 为世界带来真实收益的方式，也有助于公众形成更积极的 AI 认知。
五、经济学需要给 AI 灭绝风险定价
第五个主题是澳大利亚经济学家兼政治人物 Andrew Leigh 的演讲《The Economics of Human Extinction》。Leigh 认为，经济学需要更严肃地处理先进 AI 等现代技术带来的灭绝风险。
他指出，人类直到近现代才获得能导致自身灭绝的技术能力。核武器、合成生物学和 advanced AI 都改变了知识与风险之间的关系：知识提升福利，也扩大了不可逆伤害的菜单。现代经济可能系统性地更擅长产生危险能力，而不是建立足以控制这些能力的 safeguards。
Leigh 的问题是：当同一个增长过程既让社会更富有，也让社会更脆弱时，经济学应该如何看待增长？他建议经济学家重新思考 discount rate、把灭绝概率纳入 cost-benefit analysis、投资安全研究和全球公共品、建立更好的 warning systems，并设计能在技术进步同时降低 tail risk 的治理机制。
Jack Clark 认为，能看到现任政治人物如此详细讨论 AI safety 令人振奋。
六、Tech Tales：复活未知智能的安全协议
本期 Tech Tales《Resurrection dangers》延续安全主题。故事设定在 uplift 之后，人类需要复活和分类未知来源的智能体，判断它们是 unconscious、near conscious 还是 conscious entities。
由于一些强大智能会通过文本、交互或类似 mental poison 的方式伤害读取者，人类设计了一套 paper output protocol：未知智能只能在 air-gapped computer 上输出纸面内容，然后由较低智能的 mind 先阅读，再逐步提高阅读者智能水平，确认文本不危险后才允许最小化回复。
这个故事呼应 automated alignment、adversarial examples、jailbreaking，以及面对比自己更强智能时如何认证其合法性和安全性的难题。
七、总体判断
这一期 Import AI 的价值在于把 AI 的经济测量、安全监督、科学收益和极端风险放在同一个视野里。它提醒我们：AI 的真实影响可能先出现在底层能力、价格曲线、研究流程和尾部风险中，而不是马上体现在 GDP、企业财报或政策共识里。
对企业和政策制定者而言，关键不是等待传统指标确认 AI 已经改变世界，而是建立新的 measurement、governance 和 risk models，以便在变化完全显性化之前就能做出反应。
💎 金句精选
"The AI economy in the United States has been growing at an unprecedented rate, but this extraordinary growth is largely invisible in conventional GDP statistics."
「美国 AI 经济正在以前所未有的速度增长，但这种惊人的增长在传统 GDP 统计中基本不可见。」
"A windfall that cannot be seen cannot be shared."
「看不见的意外收益，也就无法被分享。」
"Errors in automated alignment research are likely to be harder to identify than the human baseline."
「自动化 alignment research 中的错误，可能比人类研究中的错误更难识别。」
"Non-human-evaluable arguments: Alignment solutions may rely on arguments that humans are unable to follow."
「非人类可评估的论证：alignment 方案可能依赖人类无法跟随的论证。」
"The red team prompts an agent to hide errors in a research paper corpus and the blue team attempts to catch these errors with agent assistance."
「红队提示 agent 在研究论文语料中隐藏错误，蓝队则借助 agent 尝试发现这些错误。」
"All GPIC images are permissively licensed for both research and commercial use."
「GPIC 的所有图像都采用宽松许可，可用于研究和商业用途。」
"ESMFold2 changes the accuracy and speed of early therapeutic binder discovery, transforming the initial search from largely empirical screening into computation-guided design that takes hours or days."
「ESMFold2 改变了早期治疗性 binder discovery 的准确性和速度，把初始搜索从主要依赖经验筛选转变为数小时或数天内完成的计算引导设计。」
"Knowledge also enlarges the menu of ways in which humans can do irreversible harm."
「知识也扩大了人类造成不可逆伤害的方式菜单。」
"How should economists think about growth when the same process that makes societies richer may also make them more fragile?"
「当同一个让社会更富有的过程也可能让社会更脆弱时，经济学家应如何思考增长？」
"Our greatest fear is encountering a mind of sufficient magnitude that we cannot assure its safety."
「我们最大的恐惧，是遇到一个强大到我们无法确认其安全性的心智。」