近日，联合国教科文组织发布《在教育和研究中使用生成式人工智能的指南》（Guidance for generative AI in education and research）（以下简称《指南》）。《指南》是ChatGPT生成以来、用户突破100万时颁布的首份规范生成式人工智能相关内容和行为的指导性文件。《指南》在强调对生成内容进行人工审核、标识以及考虑伦理原则的基础上，从生成内容、政策法规、知识产权和数字鸿沟等六个层面分析了生成式人工智能可能带来的显性与隐性风险，并从政府、服务提供者、用户等层面提出具体举措防范其可能带来的风险。

    生成式人工智能的显性风险

    生成式人工智能并非新鲜事物，但是在其大规模应用于日常工作和学习之前，首先要明确这一技术本身可能带来的风险。

    输出内容脱离现实，信任赤字发生。生成式人工智能模型并不是通过对现实世界的观察和科学取证的方法来输出结果，因此其生成的文本准确性和真实性有待商榷。而且，智能模型本身不是建立在真正理解语言和现实社会的基础之上，其内容往往偏离人类社会的价值取向，容易产生误导性的术语和话语体系。如果阅读和使用相关内容的教师和学生对此不加思考和批判，而选择依赖和信任，就必然给知识、技能和价值的传承带来风险，进而导致信任赤字的发生。

    缺乏具体法规引导，监督监管乏力。技术立法往往落后于技术发展的步伐，缺少法规和条例的引导和规制，越来越多使用生成式人工智能的公司发现其系统运行的安全性受到了很大挑战。虽然人工智能的运用能够显著提高人们完成任务的能力，但是政府对许多提供生成式人工智能服务的公司监督监管政策法规与手段有限，随意获取和使用数据的行为泛滥，需要适当的立法来保护个人和机构的权利。《指南》指出，目前中国、欧盟国家和美国已出台政策法规，修订具体法律来规范生成式人工智能可能带来的风险。

    数据来源未获授权，侵犯知识产权。众所周知，生成式人工智能模型是由大量数据构建的，但这些数据是从互联网抓取的，其使用和传播往往没有获得数据和信息所有者的授权许可。如果运用未被授权的数据内容生成文本、图片等，就有可能被指控侵犯知识产权。学生和教师如果不加辨别地使用相关内容，也会被追溯相应的法律责任。因此，研究人员、教师和学习者不仅需要了解数据所有者的权利，而且也应该在使用生成式人工智能时提高知识产权保护意识。

    模糊真实与仿真界限，传播虚假信息。由于缺少严格的法规和有效的监督机制，生成式人工智能应用所输出的文本、图像和视频往往真伪难辨。在一定意义上，生成式人工智能模型使深度造假变得更加简捷容易，假新闻的制造成本也会更低。对于世界观和价值观仍处于形成时期的年轻人来说，如果急功近利又缺乏扎实、系统的知识体系和辨别信息真伪的能力，生成式人工智能工具和应用会给其发展带来巨大隐患与风险。因此，处于教育领域的研究人员、教师和学习者需要提高对生成式人工智能输出材料的真伪辨别能力。

    生成式人工智能的隐性风险

    生成式人工智能在带来显性风险的同时，由于技术本身的局限性，也会加深信息茧房、数字鸿沟等风险，加剧社会不公平现象。

    边缘化弱势群体，造成不均衡发展。生成式人工智能模型数据来源于互联网，如果互联网中某一话题或内容经常出现，就会传递给模型，这是主流或主导信息的信号，使其在输出结果时更倾向于重复这些话题和信息。这有可能限制和破坏不同意见与多元思想表达的有效发声。在缺乏数据的地区，网上关于该地区人群的内容相对有限，他们的声音往往不被听到或淹没在海量数据中，使其存在进一步被边缘化的隐性风险。为此，《指南》明确建议，各国政策制定者应意识到并采取行动，解决因使用、训练和控制通用模型的差距扩大而导致的不同人群和地区不平等加剧的问题。

    扩大贫困差距，加深数字鸿沟。生成式人工智能是一种新兴的人工智能技术，是传统人工智能架构的迭代创新，需要基于大量的数据与巨大的计算能力，这就意味着生成式人工智能只能在技术先进的国家和地区普及开来，并被少数经济体所掌控。数字贫困差距进一步扩大，科技弱势地区的话语权被忽视，其潜在的风险就是发达经济体的价值观广泛传播，数字鸿沟也会不可逆地加深。

    防范生成式人工智能风险的举措

    生成式人工智能的发生与发展，为人类生产生活尤其是教育的发展带来无限可能。有效防范生成式人工智能带来的风险，有助于我们充分发挥生成式人工智能的优势，更好地应用于生活和学习场景。

    提升外部监督监管的力度。离开外部持续有效监督的人工智能，不仅会给人类发展带来风险，而且会给教育造成无限裂痕。因此，《指南》指出，政府监管机构要通过政策立法对生成式人工智能的设计、演进进行有效引导、统筹管理。制定的政策框架需要与各国的立法和监管背景保持一致，并且要随人工智能技术更迭而更新，不断提高现有法规的适用度。在监管的同时给予人工智能创新的自由度，协同创造出更高质量的内容。

    强化生成式人工智能提供者的责任意识。提供生成式人工智能的公司要以负责任和合乎道德的态度，提供通用系统和应用程序以满足教学、学习和研究的需要。首先，要确保生成式人工智能提供商证明其模型和数据来源可信并遵守相关的知识产权法。其次，需要强力监管生成式人工智能输出带有歧视和偏见性的内容。最后，对于不可知生成式人工智能模型的内部运作过程，相关提供商需要给出合法解释，将其过程透明化。

    规范机构用户的内部评估。教育机构是人工智能的使用者，它们不仅需要对生成式人工智能工具进行监管和定期审计，保护用户数据和自动过滤不恰当的内容，需要关注生成式人工智能运用到教育领域对于学生创造力和批判性思维造成的长期影响，并予以评估和处理，还要对独立使用者设定最低年龄限制，如基于ChatGPT使用建议，将使用门槛的最低年龄设为13岁。

    引导个人用户自我约束。生成式人工智能工具目前被包括研究人员、教师和学生等在内的人群使用，但其从发生到广泛使用的过程是基于技术驱动而非需求驱动，这就使其缺少了伦理道德原则的考量，缺少用户在使用时要避免损害他人的声誉和合法权利的约束性建议。因此，个人用户要加强自我约束意识和行动，当发现某项非法的生成式人工智能程序时要及时向监管机构报告，保证人工智能合法合规地运用于社会。

    （作者单位系浙江师范大学教育学院，陈殿兵系该院副教授）