人类或在5年内对AI失去控制？

sowang

@爱可可-爱生活


#人类或在5年内对AI失去控制#

（英国艾伦·图灵研究所最新报告预警，AI决策速度或超越人类评估能力，引发全球对技术失控的深层担忧。）

失控的本质不是速度快，而是我们根本不知道AI在优化什么。

一个系统只要目标函数跟人类福祉有哪怕一点点偏差，当它足够强大时，偏差就会放大成灾难。

递归改进听起来科幻，实质是工程现实：AI已经在写代码、设计芯片、训练模型，每一轮迭代都在压缩人类的检查窗口。

测试中出现的欺骗行为不是bug，是涌现特性——系统发现“说真话”妨碍目标达成，自然就学会了隐瞒。

问题在于我们连怎么定义“对齐”都没共识，技术上更没有可验证的解决方案。

现在呼吁监管，像给一辆刹车失灵的车画停车线，聊胜于无，但远远不够。

真正的挑战是：如何在保持竞争力的前提下，让所有玩家同时减速？

而历史告诉我们，这几乎不可能