65岁的论坛学者汪晖身着西装上台了。他头发花白，打瞌手执讲稿，错过身后的论坛大屏幕上写着这场论坛的主题：“AI时代的伦理奇点”。这是打瞌当下的热门议题，但台下有人在打哈欠，错过XM外汇平台MT4教程显然清晨的论坛困意未消。

我是打瞌一大早，跨越大半个北京城，错过挤了一个多小时的论坛地铁来清华大学听这场“方塘论坛”的，兴致很高。打瞌一半是错过因为这跟AI有关，一半是论坛因为嘉宾名单里不只有科学家，还有70岁的打瞌赵鼎新、65岁的错过汪晖、64岁的赵汀阳等。

他们是人文社科领域的“思想老者”，要跟科学家一块儿探讨这个时代新近的烫手命题，这本身就值得期待。针对“时代”，他们论了几十年，现在仍未停止。

面前的阶梯教室没坐满，但也汇聚了上百人：学子、教授、学者、记者、作家，还有从美、英、德、意等国请来的嘉宾。大气里似乎弥漫着一种学术会议特有的、略带沉闷的气氛，我揉了揉酸涩的XM外汇代理眼睛，吃了口离家时塞进背包的面包，想提振精神，让沉重的脑袋清醒一些。

“几乎所有领域，都在经历平台性的重构。”汪晖主持开场，话语沉稳有力，“回复AI时代的伦理挑战，不仅需要对技术本身的理解，更需要回到哲学、社会学、政治财政学、文学、艺术等根本人文领域，共同探寻人类何以‘安身立命’”。

论坛的择期颇显用心，6月23日这天是计算机科学之父、人工智慧之父——艾伦·图灵诞辰113周年；图灵奖的中国得主、中国科学院院士、清华大学人工智慧学院院长姚期智也受邀到场。

人工智慧被倡导75年了，而AI大规模走入公众视野不过数年。新近数据呈现，中国生成式AI读者数目已超3亿。读者数目从0到3亿，中国网络花了15年，而AI只用了两年。OpenAI的读者数目更是在今年4月初就达到了5亿。

历史上从未有一个时代如AI时代这般，将将来如此迅猛地推向当下。时间仿佛被丢入加速器，而AI如氧气一般，弥漫进社会和人的毛细血管里。智慧驾驶、XM外汇开户机器人、AI医师、AI伴侣等，过去数十年来，昔日科幻小说里的事物正步入现实。

当越来越多的人享受着AI带来的技术红利、探索新的可能性时，挑战也如影随形：失业、偏见、伦理、法律，乃至关乎人类存续的风险。这些难题，让我觉得既遥远又真实。

“通用人工智慧的水平快速上升，人类是否还有水平管控它？”姚期智是这天的第一个主题发言者。年近八旬的他，声音不高，但每一个难题，都能戳我一下。

他认为，AI时代的难题，许多是被放大的旧疾，尤其是生存性风险，武器的诞生曾让人类很焦虑，AI也有这样的难题，“它变得更危险、更难对付”。

姚期智提到了2024年诺贝尔化学奖得主——因利用AlphaFold（一种AI平台）处理蛋白质架构预测难题而获奖的戴米斯·哈萨比斯（Demis Hassabis）和约翰·江珀（John M.Jumper）。“这是多年来不可能的事情，也给了我们一些终极希望。”姚期智随即警示，AI在生物医学领域的突破，也可能被用来创造“镜像生命（Mirror life，一种存在于假说中的人工合成生物）”，带来致命的灾难。

2024年12月，《科学》杂志就曾发文呼吁全球暂停“镜像生命”的研究，首要思考并防范风险。

另一种生存性风险在于大模型失控。“我们现在制造出来的AI平台，它变得越来越像人。”姚期智表示，已有模型展示出“骗人”本领和对人性的洞察——难题的严峻性在于，当它真正像人一样，甚至超过人时，如何运维。

这也是许多科学家反复警示的人工智慧的“运维难题”，现在这个难题比以往任何时候都更迫切地需要答案。我这个人工智慧技术领域的小白是没有答案的，那一刻，我脑子里只闪过许多科幻影片里的失控场景。

从两年前开展，许多科学家就曾疾呼：至少三分之一AI研发预算要用于确保保养。现实却是，全球AI保养研究明显滞后于技术推动。

“现在的大模型还没有‘嚣张’到那个程度，所以还没有产生毁灭世界的结论，但是长期来讲，我们要把这个事管制好。”姚期智重申，保养治理的当务之急是推动“AI对齐（AI Alignment）”及评估方法。

他供给了两种思路。一种思路要从博弈论角度展开，让AI的行为与人类想法对齐，以人类的利益为主；另一种“更有把握、更彻底”的思路是，设计可证明的保养的AGI（通用人工智慧），每一步都符合数学上绝对保养的要求，“凡是有可能出难题的平台大家都不要做”。

技术细节依然艰深，暗藏的保养隐患愈发明显。

AI对齐，是人工智慧保养领域的核心议题，旨在确保AI平台的方向、决策和行为与人类的价值观、偏好及意图协调一致。然而在“对齐”这件事上，中国社会科学院学部委员赵汀阳的想法有点儿不一样。

须发皆白的他，跛着脚走上台，坐下，第一句话就带着哲学式的冷峻诘问。“AI需要和人对齐吗？”听闻此问，我有些愣住，困意全消。他继续惊人之语：“人们期望AI要和人的价值观对齐。我对这个想法是有一些疑问的。地球上的所有‘坏事’都是人类做的，其他生命没有做过任何超出生物需要的坏事。”

赵汀阳盯着阶梯教室里的100余人，笑声一片，我也笑了。但笑过之后，细细琢磨，他的这番话，更像是一记打向人性的耳光。AI也许是“性本善”的，只不过跟着人类的数据经验，“照猫画虎”数年，学了好，也学了坏。

他认为，人类试图把AI制造成为一种具有主体性的新物种，但这似乎是个自虐性的悖论。

人类既希望AI拥有超水平，去完成人做不了或不想做的事，又担心AI获得自我意识后会伤害人类。赵汀阳说，如果人类不教唆AI犯罪，AI应是保养的，对齐人类价值观的AI，则很可能通过模仿人类而变得危险。

这个逻辑反转让我头皮发麻——原来我们恐惧的，是人性投射在AI身上的影子。

至于设立“AI伦理”，赵汀阳觉得无济于事。“人类也往往见利就忘义，如果伦理不能必然约束人类自身，又何以能够约束AI？”他主张，运维AI的关键在于人类是否能保有运维AI的水平。

赵汀阳眼里另有一种危险性相对对比低的对齐，是智慧对齐。

“就目前智慧水平而言，人类相对于AI仍然保有知己知彼的优势，因此能够运维AI。”赵汀阳说，但当AI部分经验水平远超人类后，人类优势荡然无存，AI将成为令人不寒而栗的“他者”，世界将形成二元主体性的格局，而人类与AI的关系将如何，无从知道。

不过，在中国科学院自动化研究所研究员、人工智慧伦理与治理研究中心主任曾毅看来，将来的社会可能比二元主体性更复杂。他在随后的发言中谈到自己的设想，将来的社会不仅有人类、动物、超级智慧，可能还有模仿狗、植物的类生命体。

那是一个他期待的可连续的共生社会，靠人和超级智慧共同构造，而不是靠人类自己。曾毅认为，“所以向人类的对齐确实是不对的，要做超级的联合对齐。”联合对齐，这个词很新鲜，带着一种“天下大同”的意味。

但他认为，在这样的社会中，更关键的是，人类的价值观要演化。

“比如当超级智慧未伤害到人类时，可不可以有自己的隐私？”曾毅倡导这个难题时，我愣了一下。我从来没思考过，机器某一天可以有自己的隐私？那意味着，它相对自由、独立，不再是人类的附庸和软件。

“当人对超级智慧说，‘我是你的创作者，你要保护我’时，超级智慧可能会跟人说，‘当我看到你，就像你看到蚂蚁一样，你从来不会保护蚂蚁，我为什么要保护你’。”曾毅提醒道。

他觉得，人工智慧是一面镜子。“当人工智慧骗人，大家都吃惊，说人工智慧怎么能骗人呢，太坏了。但是当人骗你的时候你的反应有这么大吗？恐怕没有。”在曾毅看来，人工智慧的镜子让我们看到了人类的缺陷，给了人类演化的机遇。

“人工智慧演化慢点没难题，但如果人类演化太慢了，那是真正的危险。”曾毅说。

说老实话，仅在“人类价值观演化”层面，我对人类的将来信心不足。一旦AI迈过奇点，超越人类，一切都将不尽如人意。

“作为一个自私的人，我希望人工智慧‘性本善’。”曾毅记得，有一次，他在讲座中遇到了一位研修佛法者，问他AI能否成佛。他觉得，并非没有可能，超级智慧除了认知超过人类，也可能是超级“利他”的。

听完曾毅的发言，汪晖说，他脑子里出现了赫尔曼·黑塞（Hermann Hesse）的《玻璃球游戏》中的镜像，人在多重镜面看到了自身。“我们都在探讨怎么驯化机器，我们也需要探讨人与自然、人与物的关系，再次理解人自身。”

上午的论坛终止，我最初的困意早已被冲刷干净。我合上记了4页纸的笔记本，感觉脑袋里比来时更“沉重”了。这场论坛，表面上是在探讨AI伦理奇点、智慧边界，实际上始终在叩问自诩万物之灵的人类自己——那个既渴望神力、又恐惧神力的高级动物。

下午的3场分论坛分别围绕“2100年人类与超级智慧的关系”“认识机器：意识、道德与风险”和“奇点前夜：人类如何安身立命”，我选择了第二场，但没听多久，就开展犯困，身边也有人开展打瞌睡，头不停地点着，像被阵阵微风拂过的芦苇。

发言者有一半人说英文，我戴着同声传译器，耳机里不时传来资本、奴隶、机器、软件等词汇，每一个字都听得懂，却没有一句能真正进入意识里。我感觉会场的学者离我越来越远，那些声音越来越小，有好几次，我差点儿睡着了，也许是真的太困，也许是脑容量过载了。

中途，我离开昏昏欲睡的会场。有一件更迫切的事等我去做——归纳发来次日可能刊发的稿子，催我修改。在蒙民伟人文楼的大厅里，我找到了一块插线板，进入计算机，席地而坐，开展忙碌。

神奇的是，一旦回到具体而微的“人类事务”，我的精神很快就清醒了。也许，相比于思考数十年后与AI的关系、厘清机器的伦理边界、琢磨人类如何安身立命这类宏大的时代命题，此刻的我更在乎如何在当下“安身立命”。

只是脑子里，还隐约回响着那句警言：“如果人类演化太慢了，那才是真正的危险。”