1 引言

AIGC^[1]指利用人工智能技术自动生成包括文本、图像等内容，已迅速被应用到包括传媒、电商等多个领域^[2]。同时AI生成假新闻、名人图像伪造等现象暴露出信息安全风险，尤其是大量AI虚假评论有可能对舆论造成不良影响，不利于社会稳定。

2 AIGC技术和应用

AIGC可以追溯到1954年IBM的机器翻译系统，而为人所熟知是由于以 GPT3^[3]为基础的ChatGPT。

AIGC技术主要涉及包括循环神经网络（RNN）和生成对抗网络（GAN）等模型；具体应用包括文本、图像、语音等，相关内容概括为表1所示：

表1  AIGC技术和应用概览

3信息安全风险分析

AIGC近年来已有恶意使用的情况，典型案例比如AI生成视频应用DeepFake自2017年起就多次被用于制作名人色情假视频、政治宣传和假新闻，国内也发现有人用AI去克隆明星语音伪造歌曲，。除以上情形，更常见的AI生成虚假评论是通过AI制作大量带有正面或负面情绪的评论文案网络投放，隐蔽性强，危害性大，不仅影响电商、新闻媒体、社交平台等多个领域，而且存在以下信息安全风险：

1) 误导用户。AI虚假评论难以分辨，影响用户决策。以电商为例，有研究^[4]表明，消费者使用Yelp（类似于国内的大众点评）作为工具，会显著增加购买欲望或取消购买意图。

2) 信息泄露。AI模型均通过真实数据训练而成，生成内容可能导致原数据泄露。已有研究^[5]实现了对GPT2聊天机器人提取隐私训练数据。

3) 侵权违法。AI虚假负面评论侵犯相关品牌声誉，对新闻媒体则扭曲事实真相，抹黑政府形象；甚至违反法律，社交媒体有AI“水军”通过评论获取不当利益，传媒平台存在AI恶意造谣引发网络暴力等。

除此之外，大量AI虚假评论会扰乱正常网络秩序，引发舆论，造成更大的危害。

4 应对建议

AIGC属于较新的技术，应用也是跳跃式发展，相应的信息安全风险尚未引起注意，本文提出以下应对建议：

4.1 制度监管

类似于其他新兴技术，AIGC必须通过制度监管来予以规范。美国于2023年发布AIGC指引政策声明，收录于《联邦法规》。我国的《生成式人工智能服务管理办法》是中国第一个AIGC管理法规，于2023年4月11日向社会公开征求意见，。

但相对于AIGC狂飙式的发展速度，制度监管尚在起步阶段。本文建议：一是继续完善立法并制定相应的技术标准，从管理和引导两个角度发力。二是加强信息安全管理，从网络安全、数据安全等多个方面进行规范。三是建立AIGC应急机制。为防止大量虚假信息引发舆情，必须有应急处置流程，以避免严重社会影响。

4.2 技术手段

技术手段防御同样重要，业界目前主要采用检测识别等方法。本文在此基础上提出：一是写作方式判别，AI生成文案大多有固定模式，有迹可循；二是用户行为分析，AI虚假评论往往与正常用户行为不符，比如发表时间等特征；三是模型检测，生成文本与真实数据分布存在不同，特定模型经可识别出AI制作内容。

5 结论

AIGC应用前景广阔，未来有望极大提高生产效率，但AI生成虚假内容带来的信息安全风险应予以重视，利用监管和技术手段使其更好地服务社会。

参考文献

[1] Zhang C, Zhang C, Zheng S, et al. A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to GPT-5 All You Need?[J]. arXiv preprint arXiv:2303.11717, 2023.

[2] 中国信息通信研究院 , 京东探索研究院 . 人工智能生成内容（AIGC）白皮书 [R/OL].北京，2022. http://www.caict.ac.cn/sytj/ 202209/P020220913580752910299.pdf. 

[3] Brown T B ,  Mann B ,  Ryder N , et al. Language Models are Few-Shot Learners[J].  2020.

[4] Fogel J, Zachariah S. Intentions to use the yelp review website and purchase behavior after reading reviews[J]. Journal of theoretical and applied electronic commerce research, 2017, 12(1): 53-67.

[5] Carlini N, Tramer F, Wallace E, et al. Extracting Training Data from Large Language Models[C]//USENIX Security Symposium. 2021, 6.

一作简介： 姓名：杜林 （1989.9— ） 男， 汉族，籍贯：山西省高平市：户口天津市，本科，工程师，研究方向网络安全
二作简介： 姓名：许传淇(1993.2— ），女，汉族，籍贯：山东省日照市：户口天津市，研究生学历，高级工程师，研究方向信息安全