人工智能的头号威胁：投毒攻击
随着大型企业集团跨界布局数字生活入口，在人工智能领域掀起新一轮竞争浪潮；这一举措不仅使得AI技术民主化成为社会关注的焦点议题之一，在推动行业发展的同时也引发了关于AI安全问题的高度讨论。
根据瑞银周一发布的《智能手机调研报告》，在移设备使用群体中仅约27%的受访者对于配备生成式AI功能的产品表现出兴趣。调研重点围绕价格与隐私问题展开，在这一群体中隐私保护成为影响购买决策的关键因素之一。值得注意的是，在关注点上优先考虑效率与用户体验而非潜在的安全威胁。
AI面临的头号威胁：投毒攻击
最近
投射恶意code是一种专门针对人工智能（AI）系统的危险行为，在这种攻击手段下,黑客通过干扰训练数据集或人为修改训练参数的方式,使得AI系统在面对特定任务时产生错误判断
在以往期间，业界并未对AI系统遭受的"投毒攻击"给予足够重视。软件公司Splunk曾在《2024年安全状态报告》中提及："AI系统遭受潜在的威胁仍属可能情形，并未得到广泛应用。"
然而安全专家们向CISO发出警报要求他们采取行动以提高警惕性。鉴于此可知 Hacker 针对 AI 系统的趋势日益明显 Main entry points include injecting malicious code into training data or exploiting model vulnerabilities for penetration attacks. Different sized and diverse organizations across various industries may become potential targets in multiple areas.
咨询公司Protiviti表明一家客户企业遭受了投毒攻击：黑子试图向系统输入恶意信息以操控输出结果。
Protiviti强调："各类企业不论是自行开发的AI系统还是引入的商业智能工具都容易遭受恶意攻击威胁"
四种主要的投毒攻击
NIST于2024年1月发布的一份报告特别指出投毒攻击存在重大危害：这种攻击极为强大且可能威胁使其功能或结构无法正常运行。
NIST将投毒攻击划分为以下四大类型：
- 可用性投毒： 这种攻击方式均匀地影响了整个机器学习系统，并等同于针对AI系统的拒绝服务攻击。
- 目标投毒： 黑客主要针对关键样本点实施了潜在威胁的攻击。
- 后门投毒： 研究人员通过在训练数据中嵌入隐藏标记并重新标注关键图像特征，在一定程度上干扰了图像分类器的功能。
- 模型投毒： 黑客直接修改训练后的机器学习模型以赋予其恶意特性，在特定条件下使其表现异常。
NIST及安全专家强调，除了遭受中毒攻击之外，人工智能系统还可能面临信息泄露以及直接的、间接的提示注入等多样的威胁。
ApostolVassilev表示：企业采用人工智能技术将带来全新的安全威胁领域。目前已有研究者和专家揭示了这一新兴技术可能带来的漏洞利用案例。随着人工智能技术的广泛应用及其潜在危害也随之显著提升。这也解释了为何近年来恶意软件攻击的复杂性和破坏性不断加剧。值得注意的是A/C事件数量呈现明显上升趋势。
AI投毒攻击可来自内部或外部
据安全专家分析认为，在网络安全事件中注入中毒程序的攻击既可能是内部员工操作失误所为（即人为因素导致），也可能是外部黑客恶意注入的结果。其性质与传统网络安全事件相似。
FTIConsulting高级管理人员DavidYoussef表示，国家级 Hacker group可能被认为是最大的风险之一。因为这些国家拥有强大的技术能力和丰富的资源库来投资此类攻击。
该专家强调，在涉及AI投毒攻击的动机方面，并未显示出与传统网络攻击的本质区别。具体而言，则包括企图造成系统破坏、导致财产损失的情况，并可能试图获取敏感信息或者进行勒索活动。
主要目标：AI厂商
尽管所有采用AI技术的企业与机构都有可能面临风险, IEEE高级会员以及Hyperproof公司的CISOKayne McGladey则表示称这些黑客更有可能专注于制造与训练人工智能系统的科技公司
最近的一例案例揭示出AI技术供应链上游存在的潜在重大威胁。研究人员从科技公司JFrog那里发现,约有一百个恶意机器学习模型被上传至公开可用的AI模型库HuggingFace。
研究团队报告发现一组新型恶意AI模型具备独特能力
CISO应该怎么做？
ISC2今年2月发布的调查报告显示，在受访者的总数中占约75%的人表达了中度至极度的担忧。结果显示，在这些网络安全从业者当中相当一部分CISO在应对AI相关风险方面准备不足。调查显示，在受访者的总数中占约75%的人表达了中度至极度的担忧。其中，深度伪造、虚假信息以及社会工程被网络专业人士视为三大主要担忧领域。
尽管人们对这一问题持有严重关切的态度, 但仅约60%的个体表达了这种自信, 认为自己有能力引导组织安全地引入人工智能技术。另一方面, 约41%的受访者承认在保护人工智能和机器学习技术方面的知识储备较为薄弱, 缺乏专业素养。然而, 在约27%的企业中, 已经建立了关于人工智能的安全使用与道德规范的相关制度框架
Jon法国先生指出：「一般情况下,普通的CISO不太擅长AI开发,并且同样没有将其作为核心技术能力来强调。」
据专家指出, 抵制有毒攻击通常要求实施多层次的安全防护体系, 包括强大的访问控制与身份识别机制、基于 SIEM 的安全信息与事件处理系统以及先进的异常检测技术。同时, 在数据管理和人工智能应用方面也需要建立完善的数据治理机制, 并实施有效的监督措施.
据专家指出, 抵制有毒攻击通常要求实施多层次的安全防护体系, 包括强大的访问控制与身份识别机制、基于 SIEM 的安全信息与事件处理系统以及先进的异常检测技术. 同时, 在数据管理和人工智能应用方面也需要建立完善的数据治理机制, 并实施有效的监督措施.
NIST在该报告中详细列出了应对措施，并针对恶意攻击的技术细节进行了深入说明。
最后, 一些建议者强烈推荐CISO在其团队中培养具备AI安全培训的专业化人员（因为普通型安全 Operations Center (SOC) 团队难以评估训练数据集与人工智能模型）, 并协同其他高级管理人员一起识别并理解与 AI 工具相关联的风险（涉及潜在的注入攻击）, 最后制定相应的风险缓解策略。