中国日报5月10日电（记者 张之豪）第十二届吴文俊人工智能科学技术奖颁奖典礼暨2022中国人工智能产业年会——人工智能大模型的伦理与治理论坛于5月7日下午在苏州召开。该论坛由中国科学院自动化研究所人工智能伦理与治理中心主任曾毅研究员和中国社会科学院哲学所科技哲学研究室主任段伟文研究员共同组织并主持。

论坛邀请了香港科技大学电子与计算机工程系冯雁(Pascale Fung)教授、复旦大学应用伦理学研究中心主任王国豫教授、香港中文大学蒙美玲(Helen Meng)教授、瑞莱智慧RealAI首席执行官田天、蚂蚁集团AI风险管理负责人杨舟、商汤科技人工智能伦理与治理研究主任胡正坤、腾讯研究院高级研究员曹建峰、阿里达摩院安全合规负责人李娅莉等学术界与产业界的专家进行深度互动，聚焦人工智能大模型伦理治理问题展开研讨。

首先，会议主席曾毅研究员介绍了人工智能大模型需要伦理治理的重要原因：人工智能大模型被构建，并作为一种社会服务提供后，潜在风险很快就变成实存的风险，反作用于我们的社会。对于人工智能的伦理和安全，以往总是用一种反应式的方式，而不是用一种主动的方式，所以我们遇到了很多人工智能大模型带来的社会问题。其次，曾毅介绍了本次论坛目的，即通过中国学术界和产业界深度互动，面对人工智能大模型已出现的问题达成共识，推进伦理安全治理的落地。同时，中国人工智能大模型发展不仅跟民众息息相关，也跟中国人工智能大模型未来如何走出去，以及全世界人工智能发展息息相关。

论坛总共分为两个阶段，第一个阶段由受邀学术界和产业界的专家阐述对人工智能大模型伦理安全治理体会。第二个阶段围绕近期人工智能大模型发生的伦理安全案例进行交互式讨论，提出观点。

论坛开始后，中国社会科学院哲学所科技哲学研究室主任、研究员段伟文教授作了题为"对话式人工智能与人类思维的机器驯化"的演讲。一方面指出传统的语言学观点强调对话式人工智能只是机器，既不具备人类思维，也无法理解语言背后的事实，需要警惕资本将人类与语言模型区别混淆所带来的危险；另一方面介绍了以Christopher Manning为代表所提出的分布式的语义理论。区别于传统的语言学观点，语词不一定要完全去指称真实的世界，而是通过与其他语词的关联性，从整体的角度来被理解和把握，大语言模型正是这样来确定语义。

段伟文指出，将语言放在关联性的向量空间中进行语义的理解，会反过来改变人类，驯化人类的思维。对话式大语言模型的出现，一方面它能通过类人的表达能力，干涉甚至管理人类的日常事务，限制人类在社会中用第一人称来表达自己判断的权利；另一方面，大语言模型将会用人类所熟悉的话语告诉我们什么该做什么不该做，进而对人类进行思维驯化。面对机器对人类的驯化，段伟文认为核心的应对方式，一是加强交互沟通，包括人与人、人与机器，不仅要了解人类怎么去修机器，也要研究机器如何来修理人类；二是寻找更好的隐喻，因为人类不仅要批判性地理解世界，还要超越自己对世界批判的局限性，走向更符合人类福祉的未来。

香港科技大学冯雁教授以"伦理、治理和负责任的人工智能—东西方比较"为题，从国际视野和技术实践的角度回应人工智能伦理与治理面临的问题。通过介绍自己组织并参与国际峰会经历和经验，冯雁基于已有的ChatGPT大模型，以"负责任地设计和发布生成性AI模型"为关键词，从技术人员的角度论述了"是什么"和"怎么做"的问题。ChatGPT最初只作为科研项目发布，但通过加入人机交互界面，迅速变成网红产品。其爆红带来的伦理问题也是始料未及，这也给生成性AI的管理问题提出挑战。

冯雁指出，基于各国不同的治理方式，我们需要全世界性的、开放式科研环境，让各个国家、公司、学术机构和各位科学家以个人身份参加开放性的科学共研。只有真正的开源，才能共同理解大模型存在的问题和产生的根源，才能更好地进行管理。此外，冯雁提出未来科学家们可以开发能够量化大模型的测试工具。作为技术人员，不仅要考虑技术怎么去做的问题，更要考虑为什么要做的问题。因此，对于生成性AI未来科研的方向，冯雁认为大模型标志着人工智能发展的转折点，研究人员需要进一步了解这些大模型为何具备这种类人思考的能力。

在题为《从人工智能大模型伦理到有道德的人工智能》的报告中，中科院自动化所曾毅研究员介绍，技术与伦理的互动确保中国新一代人工智能的稳健发展。人工智能学科在诞生之初就面临安全与伦理问题，如果人工智能大模型没有伦理安全框架约束，风险将难以估量。比如，没有进行价值观校准的大模型在进行涉及道德两难决策时并没有人类的迟疑，显现出显著的数据偏见。对于中国在人工智能大模型方面的进展，曾毅认为，中国的人工智能大模型能够公开发布、开源开放是非常重要的，是中国人工智能大模型对世界的贡献，伦理安全方面应做出更具代表性的进展从而实现人工智能大模型的善用善治。

曾毅认为，人工智能的大模型，特别是广泛应用于对话的生成式大模型最重要的问题是混淆了人类与人工智能之间的界限，目前的人工智能没有自我，对话模型不应声称"我以为"。现在的人工智能大模型还不具备心智能力，建构有道德的、合乎伦理的人工智能需要人类以及其他行动者的互动。由于人工智能大模型在伦理与安全方面的潜在风险已经以难以预期的方式迅速转化为实存风险，暂停超越GPT-4能力的人工智能大模型研发很有必要。暂停人工智能大模型实验的目的不是停止技术的发展，而是尽可能护航大模型的伦理安全。因此，从技术手段去落地人工智能大模型伦理安全框架很有必要。

为此，曾毅团队打造了"智善人工智能伦理安全平台体系"，体系中已发布的包括"智善共济"链接人工智能原则平台、"智善思齐"人工智能治理公共服务平台、"智善如流"人工智能社会伦理道德规范数据集与知识库、"智善观行"人工智能大模型伦理安全观测站。曾毅介绍到，通过"智善共济"链接人工智能原则平台的分析，发现各国人工智能伦理原则呈现出多样性，但更多的是共性。曾毅认为，人工智能大模型应该均衡助力可持续发展的不同目标，而不应当只关注具有显著经济效益的目标。

曾毅介绍到其团队的最终的目标是实现"上善若水"的人工智能，认为超级智能的利他之心和共情能力也应该是"超级"的。关于人与未来超级智能如何和谐共生，曾毅展示了其牵头发布的《自然生命与人工智能生命共生的原则》，认为人类不能停留在要求通用人工智能和超级智能怎么做的层面，还要反思人类应该怎么去做以及双方应当共同遵守的原则。

对于建构"上善若水"式人工智能，曾毅认为通过类脑人工智能在科学技术层面是有希望的，困难可能在于人类需要做出的改变。从要求人工智能大模型合乎伦理，到真正构建有道德的人工智能，通用人工智能和超级智能的伦理安全问题要从当下开始应对，作及时、长远的关注和未雨绸缪的准备。

复旦大学王国豫教授在《通用模型的中介性及其伦理意蕴》报告中认为，ChatGPT等生成式模型可以广泛应用于不同的场景，连接不同的需求。目前的大模型主要应用在自然语言处理和计算机视觉领域，一个是教人工智能要说人话，一个是教人工智能自己看世界。

通用模型具有涌现性和同质性特征，在系统层面会面临算法、数据以及算力方面的伦理挑战，在社会层面会面临科学研究、经济与政治、存在论方面的伦理挑战。

从技术哲学的视角看，通用模型的伦理挑战与模型的中介性相关，模型的中介性对社会生活产生了很大的影响。作为一种技术中介，通用模型可以调节人类认识和解释世界的过程。

从治理视角看，目前的具体措施包括开展通用模型社会与伦理风险的前沿研究、将伦理的相关成果转化为技术工具、建立模型发布、使用、改进、审查等全流程管理机制。

面对现阶段应对措施的局限性，王国豫认为应该从三个因素对建立开放式、全流程、价值嵌入的伦理工具做了展望：一是在充分伦理评估方面，要秉持开放的态度，充分评估数据和模型的伦理影响和风险点；二是在纳入伦理考量方面，从全流程的视角出发，将伦理考量纳入通用模型及其生态系统建设进程之中；三是探索伦理方法，充分探索"价值敏感设计"、"负责任创新"等伦理方法在通用模型语境下的可行性。

瑞莱智慧CEO田天的汇报题目为《大模型时代下的AI治理挑战及其应对》，从实践的角度探索了人工智能的一系列安全问题，包括相关人工智能规则的制定、推动人工智能安全落地以及针对大模型安全与治理方面的一些想法。田天介绍，从2015年至今，人工智能研究范式发生改变，大模型时代来临。

田天认为，大模型的安全性面临挑战。一是诱导攻击，通过构建虚拟角色、虚拟剧情、思维链引导等方式，使问询结果摆脱大模型内置安全设置，让模型抛开立场输出危险结果。二是混淆攻击，通过不同的逻辑混淆问答，使得大模型面对不同的指令时出现逻辑混乱，回答出错。三是模型攻击，通过对输入添加细微扰动构建对抗样本，使大模型判断出错，或通过数据投毒的方式，在模型中植入后门，在输入特定信息后触发干扰，导致模型输出错误。四是隐私数据泄露，利用公开网络环境下的数据进行模型训练，导致未经授权的攻击者访问到模型相关的隐私数据，导致隐私泄露。五是在模型使用方面，面临升级诈骗、网络攻击、虚假内容生成等安全挑战。六是算法偏见和歧视问题，主要是价值取向的问题。七是数字鸿沟、知识产权侵犯等社会性风险。

最后，田天介绍了尝试建构对生成式人工智能服务的安全评估能力方面的工作，通过建设安全评估系统来建构针对深度融合服务系统性的安全评估能力。评估维度主要涉及输入输出内容合规性的评估、检测训练运行数据有关的安全性、检查是否具备隐性标识及标识可用性、检测算法设计和生成内容是否符合伦理要求。在应对方案探索方面，田天介绍了RealAI发布的业内首个企业级人工智能安全平台RealSafe、深度合成音视频检测平台DeepReal以及AI合成文本检测工具。