近日，美国OpenAI公司发布的首个视频生成模型“Sora”给国内外信息产业带来震撼影响，同时也引发了人们对生成式AI技术被用于深度伪造内容，可能加剧错误和虚假信息传播的担忧。在生成式AI技术迅速发展的当下，伪造视频、图片、语音用于不法目的的行为时有报道。已有多家媒体报道称，生成式AI技术已被用于深度伪造领域，并被用于误导选民、干扰选举、抹黑名人、造谣诽谤、电信诈骗、色情敲诈等不法行为中。

当前，国内外生成式AI技术快速发展，从事该领域研究、开发、应用的新生企业如雨后春笋般涌现，AI手机的开发更是如火如荼。需要看到的是，生成式AI技术的快速发展具有两面性。一方面是该技术有创造性，能为影视制作、文娱创作、游戏制作、音乐工业等提供全新生产力，促进文化产业繁荣发展；另一方面是该技术具有破坏性，能快速廉价地实现以假乱真、移花接木、无中生有等特定诉求，为不法分子大开方便之门。

如能有效限制生成式AI技术的破坏性，更能有利于生成式AI技术的创造性发挥，在保障这一新生事物行稳致远的同时，也能够使之成为国家经济增长中的新质生产力之一。为此，笔者建议从多个层次扎牢防范风险的篱笆。

在生成式AI大模型的开发过程中，监管机构应督促相关上市公司尽快设立两类审查制度，切实管控好底层代码和训练样本。

一类审查用于生成式AI大模型的底层代码。对于从事生成式AI大模型的开发型企业，应在内部建立起对底层代码审查制度，其底层代码对监管机构及内部审查机构透明化可查阅，鼓励头部开发企业在底层代码开源可见、主动对外披露方面多做工作。

一类审查用于生成式AI大模型的样本训练环节。对于从事生成式AI大模型的训练型企业，应在内部建立对训练样本审查制度，其训练样本的来源、脱敏、数据清洗等关键环节应设置检查点，从而避免敏感信息、个人信息被用于样本训练，进而生成深度伪造内容。

在生成式AI大模型的安装及应用过程中，应尽快建立实名认证制度和指令鉴别机制。

通过建立实名认证制度，可确保安装在个人计算机、服务器、手机、智能移动终端的生成式AI大模型客户端与用户实名捆绑，确定生成式AI大模型的指令发出人、指令接受人、内容流向清晰可见，在内容生成流程上实现可追溯、可监控、可预防。

通过建立指令鉴别机制，可在生成式AI大模型的客户端就及时拒绝并剔除非法指令，提前鉴别出有明显违法倾向性的提示词指令，从而预防生成式AI大模型被用于深度伪造的不法目的。

在生成式AI大模型的内容传播过程中，应建立标签提示机制。标签提示机制应安排在视频、图片、语音等关键位置上，提示受众注意相关内容由生成式AI提供，确保受众能分辨出生成式AI大模型的内容，以免出现视听混淆、错误理解等。

对于生成式AI大模型的开发企业、发布商、硬件生产商及主要受众群体应给予全面覆盖的警示教育。监管机构应警惕生成式AI技术被用于深度伪造内容后，产生“造谣、信谣、传谣”的连锁反应，在网络终端提前构建快速反应的舆情监控系统，确保实现“违法乱纪的勾当做不得，以假乱真的内容信不得，混淆黑白的消息传不得”的理念深入人心。

对于银行网点、快递收发、电商、短视频、直播等高频率内容传播环节，应督促相关上市公司按照分区负责、统一责任、统一管理的方式，安排专人宣讲防范手段、危害重点和典型案例，营造全民防范深度伪造的社会氛围。

（来源：证券日报）