AGI最值得担心的不是“AI替代工作”：而是人把选择权也外包了
AH-0104不是行业报告，而是一篇完整的近未来小说。 故事里的陆潮生活在一个被高度优化的社会：路线被系统规划，工作被AI压缩成“人类监督”，关系由匹配算法计算，生活中的摩擦被一点点消掉。他偶然走进一条系统不太照顾的旧巷，认识修旧机器的苏栀。一个炒菜机器人会多放半勺盐；她故意不把这个bug修掉，因为修掉以后，它就和所有标准化的新机器一样了。 这不是现实事实，也不是AGI预测。 它真正有价值的，是作
AGI最值得担心的不是“AI替代工作”：而是人把选择权也外包了
AH-0104不是行业报告，而是一篇完整的近未来小说。
故事里的陆潮生活在一个被高度优化的社会：路线被系统规划，工作被AI压缩成“人类监督”，关系由匹配算法计算，生活中的摩擦被一点点消掉。他偶然走进一条系统不太照顾的旧巷，认识修旧机器的苏栀。一个炒菜机器人会多放半勺盐；她故意不把这个bug修掉，因为修掉以后，它就和所有标准化的新机器一样了。
这不是现实事实，也不是AGI预测。
它真正有价值的，是作为一个Scenario Stress Test：
> 如果AI真的越来越懂我们、越来越会替我们优化，我们准备把哪些选择权交出去？
小说不能当预测，但可以当产品审稿人
科幻最容易被误用成两种东西。
第一种是“未来一定会这样”。
第二种是“反AI情绪”。
AH-0104都不适合这么处理。
更好的读法是：把小说里的极端情境当作测试用例。
就像做软件要压测，做AI产品也可以问：
- 如果推荐准确率越来越高，用户还能不能拒绝？
- 如果AI总能给出“更优方案”，手动选择会不会越来越困难？
- 如果人类只负责最后点一下确认，这还算实质监督吗？
- 如果个性化越来越深，用户有没有办法退出被画像的自己？
- 如果系统永远替你规避犯错，人的学习从哪里发生？
- 能看懂AI做了什么；
- 有足够时间质疑；
- 可以拒绝；
- 拒绝不会造成不合理惩罚；
- 能选择替代路径；
- 决策有记录；
- 人不是只负责承担AI错误的责任。
工作：Human-in-the-loop最怕变成“盖章人”
故事里最刺眼的一层，不是“AI抢走工作”。
而是人的岗位还在，但工作内容只剩确认。
这种风险在现实AI治理里也有对应概念：human oversight不只是屏幕上留一个“Approve”按钮。
NIST AI RMF Playbook强调，组织需要明确人机配置中的角色、责任和监督，并定义谁在操作、谁在监督、出现风险时谁负责。
这给产品一个非常实际的检查：
有人在环，不等于人在控制
一个有效的人工环节至少应该具备：
如果系统已经把所有信息、选项和节奏都设计成“只能点同意”，那个人虽然形式上还在，实质上已经失去作用。
推荐：准确率越高，越需要保留“非最优选项”
推荐系统天然追求更高点击、更高匹配、更低摩擦。
但人生不是所有问题都适合优化成一个目标函数。
例如：
“最快到家”可以很清楚。
“最适合的伴侣”就不是。
“最可能稳定的职业”也不是。
“最能让我快乐的人生”更不是。
当系统把复杂价值压成单一分数时，它会隐藏一个关键问题：
> 谁定义了“好”？
用户自己？
平台？
广告主？
雇主？
保险公司？
过去的行为数据？
个性化的另一面：过去的你可能变成未来的牢笼
一个越来越懂你的系统会越来越擅长预测：
你爱看什么。
你会买什么。
你会和谁聊得来。
你什么时候会放弃。
个性化确实减少摩擦。
但如果系统永远用过去行为预测未来，它也可能降低探索。
一个人本来可能因为偶然、失败、误打误撞，发现新的兴趣、关系和身份。
如果所有“低概率选择”都被系统悄悄过滤掉，生活会更顺，也可能更窄。
所以个性化产品应该有：
Explore Mode 允许刻意跳出既有偏好。
Why This 解释为什么推荐。
Not For Me 纠正画像。
Reset / Delete 删除旧偏好。
Manual Path 不经过推荐直接选择。
摩擦不是越少越好
互联网产品把“friction”当坏词很久了。
注册少一步更好。
付款少一步更好。
找路少一步更好。
这在很多任务上没错。
但有些摩擦本身就是价值的一部分。
写作里的停顿。
学习里的试错。
关系里的误解和修复。
职业选择里的犹豫。
手工劳动里的笨拙。
不是所有摩擦都值得保留，但也不能默认都该消失。
我把它叫做：
Meaningful Friction
判断标准不是“麻烦不麻烦”，而是：
这个摩擦是否帮助用户理解、选择、学习、承担、形成记忆？
爱情：匹配分数不能替代关系生成
小说里最强的隐喻之一，是算法越来越擅长告诉两个人“你们很合适”。
可真正的关系不是预测结果。
它包含：
- 对方没有被数据记录的部分；
- 双方一起创造的新习惯；
- 冲突；
- 改变；
- 不可量化的时刻；
- 选择继续或离开的自由。
算法可以帮助相遇。
不能替双方证明“这就是正确的人”。
同样的边界也适用于招聘、教育、信用、健康和职业推荐。
网站资产：Human Agency Scenario Lab
本批实际生成 human_agency_scenario_lab.html。
你选择一个场景：
- 工作；
- 恋爱/社交；
- 学习；
- 健康；
- 内容推荐；
- 消费。
然后检查：
Decision Delegation 决定被AI代替到什么程度？
Refusal 能不能说不？
Explanation 用户知道为什么吗？
Reversibility 错了能不能撤回？
Manual Alternative 有没有不用AI的路径？
Human Oversight 人是在判断，还是盖章？
Data Exit 能不能删掉画像？
Meaningful Friction 系统删掉的摩擦里，有没有原本帮助学习和选择的东西？
真正的“人类中心”不是保留一个人工按钮
而是保留：
选择权。
反悔权。
退出权。
解释权。
改变自己的权利。
AH-0104最值得保留的，不是它对AGI时代的具体想象。
而是它提出了一个产品问题：
> 如果一个系统越来越擅长替我选择，我怎样确保自己仍然有机会成为一个它没有预测到的人？