IBM:生成式AI时代的网络安全研究报告

《生成式 AI 时代的网络安全》由该机构发布，并且该报告强调，在生成式 AI 技术在企业中的深入应用背景下，网络安全正面临着一系列新的安全挑战以及相应的机遇。

一、简介

网络安全领导者在面对生成式 AI 带来的变革机遇时，需应对其中潜在的安全威胁。尽管生成式 AI 显著提升了企业的生产力水平，在线学习与客户服务等领域表现尤为突出的同时也带来了数据泄露等安全问题的风险。黑客可能会通过生成式 AI 创造更具针对性和规模性的网络攻击活动例如设计逼真的网络钓鱼邮件或者合成深度伪造音频资料来达到入侵目的。与此同时企业可借助AI技术构建强大的安全防护体系包括但不限于异常流量监控以及自动化漏洞修复机制以有效应对这些威胁

二、网络罪犯使用生成式 AI 的方式

攻击方：通过大型语言模型高效生成成批网络钓鱼邮件样本以提高恶意链接曝光度；基于聊天机器人进行受害者行为数据采集进而实施具有更强针对性的网络钓鱼策略即具体而言可定义为"高级阶段式网络钓鱼攻击"

• 攻击 AI：企业对 AI 模型进行攻击时会通过"注入恶意数据"的方式向其输入"恶意训练数据"使其发生故障或产生不良行为；利用自然语言提示（natural language prompts）来" bypass" 语言模型获取机密信息生成威胁代码或输出误导性安全信息。

三、AI 在网络安全中的作用

网络领域面临人才匮乏、数据呈指数级增长以及攻击范围不断扩大等关键挑战。传统 AI 技术已广泛应用于网络安全领域中，并显著提升了安全运营中心的分析效率与决策水平。生成式 AI 技术则成为提升网络安全能力的重要助力工具，在自动化处理日常任务方面展现出独特优势。该技术不仅能够提高威胁检测效率，并且能够自动化处理日常任务以加快威胁搜寻速度；同时还有能力对机器生成的数据进行深入解析并整理丰富的威胁情报资源，从而进一步增强安全团队的整体工作效能与专业素养。

四、保护 AI 的风险与建议

- 风险：

在企业采用生成式 AI 开发软件的过程中，在开发过程中可能会出现由于 AI 未接受安全代码训练而导致的安全威胁；同时，在构建软件的过程中, 企业在构建软件时可能会依赖那些包含潜在安全漏洞的开源代码和商业组件, 这种做法可能会导致新的安全隐患被释放出来

为了快速部署生成式 AI 而采取的简陋数据安全措施可能导致企业未能遵循数据安全的最佳实践。例如，在这一过程中可能会采用加密技术、长期存储策略以及细粒度权限管理等措施。

幻觉：基于人工智能技术开发的代码构建工具可能包含潜在风险，威胁源代码的安全性和完整性。

数据泄露问题：如果未能妥善管理第三方 AI 监督系统，则可能导致机密信息外泄的风险。该组织可能会遭遇机密数据暴露的风险。同时，在新型攻击手段的影响下，模型性能可能会下降。

- 黑匣效应：在某种程度上具备的AI处理过程缺乏可见性和透明度，并且未能提供足够的可解释性支持，在安全管理方面带来了诸多挑战

- 建议：

加强数据防护：通过识别和分类识别敏感信息，执行加密技术和访问权限控制措施，并进行合规性监控以确保数据不会被未经授权的访问或丢失。

- 保护模型：扫描漏洞、强化集成，配置策略和访问控制，保护 AI 模型开发。

- 保障安全：通过发现数据泄露或异常提示来发现潜在风险；监测潜在恶意输入行为；部署AI驱动的安全方案；制定应急响应指南。

增强基础架构的防护能力：通过优化底层 AI 基础架构的安全策略和应对方案，在提升威胁监测效率与响应速度的同时强化数据安全

制定AI治理框架：搭建具备AI治理特性的系统架构，在保证模型安全可靠的同时提升透明度与可追溯性。通过持续监控模型运行中的公平性、偏差及漂移情况，并实时跟踪和记录相关数据以支持合规审查工作。.com平台，并整合多个相关工具和服务。

总体而言, 生成式人工智能技术为网络安全带来了新的挑战,同时也带来了新的机遇与手段. 企业需认识到这些风险,采取相应的防护措施,建立起完善的AI治理架构,以确保在利用生成式人工智能带来的便利与效益的同时,有效保障网络安全. 随着生成式人工智能技术的不断发展,相关网络安全指南也将随之不断更新和完善,以适应最新的安全需求.