滥用生成式人工智能的安全威胁的应对

文章目录

• 前言

  • 生成式人工智能系统衍生出新型恶意人工智能模型构成威胁
  • 这种趋势带来了维护国家安全层面的重大挑战
  • 在这一背景下，生成式人工智能引发了行业应用创新方面的深远影响
  • 同时也为生产生活方式带来了全方位的压力

• 第二节 生成式人工智能安全治理难点

  • （一）在包容与审慎之间存在失衡，在政策界限的明确性上需要进一步提升
  • （二）协同能力有待增强，在整体协作效率上有待优化
  • （三）监管机制尚显落后，在技术应用的全面性上仍需加强

• 三、生成式人工智能安全治理对策建议

• （一）完善制度框架,强化协同治理效能

• （二）推动技术创新,构建安全技术保障体系

• （三）创新监管方式,提升智能治理效能

  • 总结

---

前言

以ChatGPT为代表的人工智能技术（AI Generated Content, AIGC）对人类社会产生了深远的技术影响，并成为第四次工业革命的重要推动力量。然而，在发展的同时也逐步显现出了诸多安全风险。特别是自2022年下半年以来，在暗网上不断涌现出了包括WormGPT、PoisonGPT、EvilGPT在内的多批次恶意人工智能大模型，在对AIGC的安全性治理方面提出了严峻挑战；为此，“未雨绸缪”已变得刻不容缓。

---

一、生成式人工智能滋生了恶意大模型的新威胁

生成式人工智能衍生出了一批恶意人工智能大模型。这些恶意人工智能大模型是指由非法组织或不法分子操纵，并借助开源模式模仿现有的合法AI技术（如ChatGPT），利用含有有害内容的数据进行训练而产生的一类非法AI应用。与一般的AI滥用有所不同的是，在这种情况下恶意AI的应用目标主要是针对网络犯罪和诈骗等非法活动。这些恶意AI主要用于暗网平台，并对国家安全等各方面造成威胁，在一定程度上形成了新的治理挑战

（一）对维护国家安全提出新挑战

滥用与误用人工智能生成内容（AIGC）可能对国家的政治与军事领域带来新的安全威胁。在意识形态领域方面，在数据投喂与算法训练环节容易受到核心技术掌控方的操控而导致污染性攻击与算法偏见等隐患的产生。这些问题可能成为西方国家对中国展开认知战的新型工具之一。在技术自主可控方面，在全球科技格局中主导制定相关技术标准的是少数霸权国家；而面对科技封锁及贸易制裁等外部压力时，一些中弱小的国家可能会盲目跟风大量采购并模仿开发先进武器装备而导致面临"瓶颈"困境的风险上升；此外，在提升作战效能方面，在智能交互层面的应用上,AIGC能够显著提高作战人员、武器装备以及指挥系统的智能化水平；通过先进算法快速模拟历史战例并分析现实情报,从而显著提升了作战打击效率以及反应速度；值得注意的是,美国军方于2023年开始利用AIGC撰写国防咨询报告,并成立了Lima工作组在五角大楼负责评估整合与应用这项技术

（二）对行业应用创新造成新冲击

滥用恶用AIGC给产业和行业发展带来了新的安全冲击。首先，在教育与就业领域，现有的AIGC产品整体上在内容质量方面参差不齐，容易导致良莠不齐的"劣币驱逐良币"现象。此外，在辅助完成课业与学术研究的过程中减少了一个必要环节即批判性甄别与深入分析研究的过程，在这一过程中反而可能生成大量虚假信息与低质量学术成果。在产业转型过程中，则存在现有大部分传统行业数字化转型进程较为缓慢的现象这一现状下，在实际应用中合理利用AIGC收集数据并将其整合到研发生产与销售等环节的能力与意识仍有待提升；而如果大规模盲目引入这种技术可能会适得其反。

（三）对生产生活方式带来新威胁

在企业经营和个人生活领域中，AIGC的应用已经引发了新的安全威胁。就企业经营而言，在数据合规风险方面存在潜在隐患，在版权侵权问题上需特别注意，在商业秘密泄露方面则更为严重；此外，在投资预算规划上也面临着挑战。就个人使用而言，在网络环境治理方面存在诸多漏洞：山寨版GPT的不断涌现导致相关域名注册数量激增，并出现盗用情况；在隐私信息获取方面表现不力，在用户体验质量上难以达标；此外,AIGC还能够规避传统的邮件过滤和防病毒软件,生成低成本且个性化的网络钓鱼软件以及虚假广告

二、生成式人工智能安全治理难点

（一）包容审慎存在失衡，政策尺度有待细化

可被视为一项新兴技术的AIGC其发展路径尚待深入探索在政策制定与实施层面均面临着诸多挑战.就当前情况来看一方面AIGC安全治理政策体系在适应新型数字经济发展模式与社会治理框架方面仍有待完善特别是在鼓励新技术新产业创新发展方面尚未形成一套完整的制度保障体系.另一方面在实际操作层面面临市场动态精准把握具有较大挑战性以及如何准确识别适当时机进行规范性干预等问题.此外监管效果评估机制尚待健全和完善相关的监管影响分析程序也亟需进一步完善以确保能够有效防范各类风险同时促进技术创新.与此同时科技伦理治理体系仍处于初级阶段有待进一步推进和完善.

（二）协同治理能力不足，联动合力有待提升

人工智能技术推动并深化了跨部门的数据互联互通、业务流程优化以及协作机制建设。
在跨部门协同监管中依然存在信息壁垒和权责不统一的问题，在立法层面面临诸多障碍。
AIGC市场参与者之间呈现出激烈的竞争态势，在利益分歧显著的同时也面临着较弱的协同意愿。
由于资源共享障碍明显且参与标准制定的积极性较低，
相关的开源社区在建设和技术创新生态方面的发展相对滞后。

（三）监管手段相对滞后，技术赋能有待加强

"以技术和治理并重的方式管理技术"的监管体系尚不完善；从伦理安全角度审视，则发现新型深度伪造技术和层出不断；深入探讨其内在机理和风险评估问题，并对全生命周期的安全保障机制进行强化；同时指出现有数据监测预警技术和数字贸易跨境监管均存在改进空间；此外，在非现场态感知以及穿透式等新型监管手段的应用程度上仍显不足；最后强调整体智能化水平仍需进一步提高

三、生成式人工智能安全治理对策建议

（一）健全制度规则，提升政企协同治理能力

1.政府发挥规范引导指挥棒作用
一是强化监管力度并进行广泛宣传。通过包容审慎与分类分级监管的方式实施技术管理，在线监控与查处非法利用与传播恶意AIGC的行为，并依法采取必要措施限制违规账号行为。二是建立健全技术规范与评价标准体系。制定涵盖数据采集、标注、分类分级保护等环节的技术标准，并针对高风险AI技术如深度伪造与智能群呼设备的使用制定了明确规范。三是进一步完善技术和评估标准体系。采用安全港机制妥善处理内容责任归属问题，并加强技术和政策层面的社会化管理；探索我国数据存储体系优化路径；构建数据被动出境主动防御机制；制定跨境数据流动的具体规则并建立白名单制度。

一是确保内容的安全性和可信度。
通过结合人机审核的方式弱化并删除不当内容，并对AIGC进行明确标识的同时提供简单明确的使用和服务退出方案。
考虑到技术手段的重要性，在评估过程中采用时间戳、哈希值校验以及电子签名等方法来实现对生成内容的追踪与验证。
同时主动向统一的数据标准或元数据规范靠拢以保证生成内容的质量与一致性。

第二步是完善安全制度流程。
抓取开放数据时必须遵守合法、合理性和规范性要求。
敏感信息需进行脱敏处理。
企业内部根据岗位职责和职级高低划分数据权限等级。
同时设立具有激励作用的漏洞悬赏机制，并设定高额奖励额度。

三是配合安全监管部门进行检查。
严格遵守开源许可协议规定的权利范围。
主动向主管部门申报安全评估工作，并积极履行算法备案手续以及变更手续。
提升服务透明度的同时，
对于机密程度高且创新要求高的技术密集型产业而言，
在应用AIGC时应当重点开展谨慎评估以及内部检查与外部监督

（二）加强技术创新，健全安全治理技术体系

重点在于提升人工反馈强化学习机制（RLHF）的表现质量。从训练语言模型、数据收集与整理、奖励模型构建以及微调语言模型等关键环节入手，在降低数据投入成本的同时改进算法性能，并优化微调方法以避免被某些技术规避而生成不符合要求的内容。通过引入知识辅助机制进一步降低了对大规模高质量人工标注资源的依赖程度。

构建数据与模型安全防护体系

（三）优化监管手段，提升智能治理监管能力

_一是优化内容分类筛选流程。

二是加强生成内容检测技术。 采用实时聚类与特征库匹配等方式来加强文本检测技术，并利用生理信号特征、GAN图像特征以及数据驱动等方式来提升深度伪造检测能力。

三是深化监管工具应用场景应用。 推动智能化监管技术的应用与各相关行业企业建立合作机制。

---

总结

本研究旨在探讨人工智能生成内容（AIGC）不当利用的安全治理问题。通过对不当利用AIGC可能带来的影响进行深入分析发现其主要体现在国家安全层面行业内创新层面以及生活生产层面三个方面。研究总结指出当前在政策框架下存在三个方面的不足：政策框架尚需完善协同机制有待加强以及技术支撑仍有提升空间。针对上述问题建议从完善制度体系强化技术创新以及强化监管措施三个方面提出了一些建议这些建议对于推动人工智能生成内容的规范应用和发展具有重要的指导意义