科技日报记者 付丽丽 实习记者 裴宸纬

人工智能正在扩展人类想象力的画布。

(资料图)

“想象一下，未来十年，人工通用智能系统（简称AGI）几乎在每一个领域都超过了人类的专业知识，该系统最终可能超过所有大型公司的总体生产力。这将提高每一个人的生活水平，但同时，我们必须共同管理其可能带来的风险。”6月10日，在2023北京智源大会-AI安全与对齐论坛上，OpenAI联合创始人萨姆·奥特曼（Sam Altman）在其主题演讲中如是说。

奥特曼直言，AGI是一项关乎全球的技术，不计后果地开发和部署所带来的事故成本将影响到每一个人。“超强人工智能”在十年内就会出现，现在，尽管这项技术仍处于早期，但在全球范围内建立合作的标准和框架是必要的。奥特曼呼吁，人类需要为AI构筑“安全护栏”，使之更好地服务人类。

智源研究院院长、北京大学计算机学院教授黄铁军也表示，今年，一批大模型问世，人工智能出现了六七十年来里程碑式的新特性——涌现性，即能够产生预料之外的新能力，这也引发了新的担忧。

人们担心，由于AI会涌现出各种各样预料之外的可能，因此很难对其进行监管。“这是一个巨大挑战。”黄铁军坦言，“但这并不意味着人们无法对AI进行管理。”他表示，人类和AI相似，同样也是不可预测的智能系统。实践证明，伦理、法律法规等方式很好地为人类树立了规范。如何管理一个创造性极强的系统，社会学、历史学等学科都能提供很好的借鉴意义。

技术层面，奥特曼介绍，OpenAI正在推进对齐研究，让AGI与人类价值观保持一致并遵循人类意图。“我们应该在促进和引导AI对齐和安全研究方向进行投资。”奥特曼说。

未来的AGI系统或许具有10万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。

奥特曼也表示，对数据集参数极其庞大的大模型而言，很难以人力的方式逐一让AI与人类价值观“对齐”。为此，可使用一种名为“可拓展监督”的方式。“我们可以尝试使用AI系统来协助人类监督其他AI系统。”他说，这种方式的最终目标，是训练AI系统来帮助人类进行对齐研究。

同时，还要加强合作。奥特曼认为，随着越来越强大的人工智能系统的出现，全球合作变得前所未有的重要。首先，在技术研发过程中建立平等、统一的国际规范和标准，以便所有国家都能使用AGI；其次，通过国际合作，以可验证的方式，建立全球对日益强大的人工智能系统安全开发的信任体系。

做到上述两点并不容易，需要国际科技界的通力合作，特别是在推动建立提高人工智能系统安全技术进步方面的透明度和知识共享的机制方面。当研究人员发现新出现的安全问题时，应及时分享他们的见解，以实现利益的最大化。“我们需要认真思考，如何在尊重和保护知识产权的同时，鼓励这样的规范。这可以为深化合作打开新的大门。”奥特曼说。

“中国拥有世界上一些最优秀的AI系统。”奥特曼表示，“真诚希望中国和美国的研究人员能对AI领域的国际合作作出贡献。”