使用secure AI提升客户体验
使用secure AI提升客户体验
关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， RocketLogic， Secure Ai， Customer Experience， Client-Facing Assistant， Data Security Controls， Responsible Ai Practices]
导读
生成式AI承诺带来行业革命，但安全采用至关重要。探索Rocket Mortgage如何利用亚马逊云科技的生成式AI服务，同时应对安全要求。了解他们如何提升客户服务、个性化客户体验并提高生产力，同时实施严格的数据保护和建立信任措施。深入了解Rocket Mortgage的策略和最佳实践，以释放生成式AI的潜力，以及生成式AI如何帮助他们实现“帮助每个人安家”的使命，同时优先考虑强大的安全性。通过学习这个开拓者的方法，安全地加速您自己的AI计划。
演讲精华
以下是小编为您整理的本次演讲的精华。
在不断演进的抵押贷款行业的格局中，家喻户晓的火箭抵押贷款公司着手通过战略性整合安全的人工智能(AI)技术来彻底革新客户体验。在前景广阔的5万亿美元市场机遇的推动下，火箭抵押贷款公司坚定不移地致力于“让每个人都拥有家园”，将其推向创新的前沿，利用AI为全美各地的客户提供个性化和便利的抵押贷款服务，无论他们的偏好或背景如何。
火箭抵押贷款公司的AI战略核心是三大突破性的应用案例，每一个都精心设计，旨在提升客户体验和优化运营效率。第一个应用案例是面向客户的24/7个性化AI助手，专门满足数百万客户的独特需求。这一尖端解决方案有望将潜在客户转化率提高33%，在每一个百分点都意味着数十亿美元收入的行业中，这一数字意义重大。
面向客户的助手并非一个单一实体，而是多个专门领域智能体的精心编排，每个智能体都对其专业领域有深入的理解。这种多智能体架构确保客户获得量身定制的帮助，同时与火箭抵押贷款公司现有的安全控制无缝集成，保护客户数据的完整性和机密性。
第二个应用案例是RocketLogic Synopsis，体现了火箭抵押贷款公司赋能团队成员和优化运营效率的决心。这套AI驱动的呼叫中心套件仅在今年上半年就节省了惊人的4万个团队成员工时，这一成就凸显了AI在简化流程和提高生产力方面的变革潜力。
RocketLogic Synopsis利用了一系列亚马逊云科技技术，包括Amazon Transcribe用于准确转录、Amazon Comprehend用于提取关键信息，以及Amazon QuickSight和Athena用于提供实时数据洞察。这些服务的协同组合使火箭抵押贷款公司的团队成员能够专注于他们最擅长的领域:提供富有同理心的问题解决和卓越的客户服务，而AI则负责繁琐的转录、总结和数据分析任务。
第三个应用案例是火箭导航仪，这是一个内部AI实验平台，让火箭抵押贷款公司的15，000多名团队成员能够安全、高效地探索和开发AI解决方案。该平台利用亚马逊云科技 AI Guardrails服务，确保遵守严格的安全协议，同时授予对内部数据源和应用程序的受控访问权限。
火箭导航仪的架构看似简单，但却非常有效。经过身份验证的团队成员可以访问导航仪API，该API协调各种大型语言模型(LLM)之间的交互，包括亚马逊云科技生态系统内外的模型。这种方法营造了一种实验环境，使团队成员能够在多个模型上测试和完善他们的AI解决方案，最终提供最有效和最安全的结果。
尽管AI的潜在好处是不可否认的，但火箭抵押贷款公司仍然清醒地意识到在高度监管的抵押贷款行业中维护客户信任的至关重要性。推动火箭抵押贷款公司AI战略的技术领导人Dan Vasquez强调了健全的数据安全控制、合规性、负责任的AI实践以及防范新兴威胁(如提示注入攻击)的重要性。
为了解决这些问题，火箭抵押贷款公司与其企业风险和信息安全团队建立了深度合作关系，确保这些关键利益相关者从一开始就参与评估和审查每一个新的AI应用案例和数据利用策略。这种协作方式彰显了火箭抵押贷款公司对负责任的AI实践的坚定承诺，在这种实践中，数据使用的道德影响以及不公平定位或差异化体验的潜在风险都会被仔细考虑和缓解。
亚马逊云科技高级安全解决方案工程师Jeremy Ware深入探讨了亚马逊云科技推荐的安全最佳实践和针对生成式AI应用程序的缓解技术。借鉴OWASP针对生成式AI漏洞的Top 10和亚马逊云科技范围矩阵等权威资源，Jeremy概述了一个全面的安全AI采用框架。
亚马逊云科技倡导的一项基本原则是为特定任务构建AI解决方案，采用多智能体模型方法。这一策略确保每个智能体都被限定在执行一组明确的操作，只能访问其指定任务所需的插件和数据源。通过划分职责，火箭抵押贷款公司可以降低意外数据访问或权限升级的风险。
此外，亚马逊云科技强调对特权操作保持人工监督的重要性，认识到虽然AI是一种强大的工具，但不应将其视为技术专家的替代品。相反，AI应该被用来增强和加速人类的决策过程，人类仍然要参与关键决策和行动。
为了加强AI应用程序的安全态势，亚马逊云科技建议使用像Amazon Bedrock这样的托管服务，它提供了内置的安全考虑，如提示注入保护和模型评估功能。此外，亚马逊云科技还倡导实施OWASP应用程序安全验证标准(ASVS)中概述的输入和输出净化技术，以缓解数据泄露和未经授权访问的风险。
亚马逊云科技安全最佳实践的一个关键方面是将LLM视为AI工作负载中不可信的实体。这种方法承认LLM固有的不可预测性和非确定性，需要采取严格的安全措施来防止意外或恶意行为。其中一项措施是使用分隔符，将可信和不可信的提示分开，使LLM能够区分和相应地处理这些提示。
净化用于检索增强生成(RAG)的训练数据和向量数据库是确保AI应用程序完整性和安全性的另一个关键步骤。火箭抵押贷款公司认识到限制对这些数据源的访问以及实施健全的认证机制来跟踪和验证模型训练和微调所使用数据的来源的重要性。
自动化在亚马逊云科技的安全最佳实践中发挥着关键作用，强调自动化安全评估和人工审查。这种方法确保及时发现并解决潜在的漏洞和偏离预期行为的情况，从而最大限度地降低数据泄露或意外后果的风险。
为了说明这些最佳实践的实际实施，Jeremy通过火箭抵押贷款公司的面向客户助手的架构和安全考虑进行了演示。这个用例体现了分层安全方法，包括JWT身份验证、分层授权检查、针对数据源的输出验证，以及持续渗透测试和人工审查等机制。
Jeremy演讲的关键要点强调了在AI生命周期中嵌入安全的重要性，培养开发人员、数据科学家和安全团队之间的共同责任感。此外，他还强调了承认LLM固有局限性并实施确定性安全控制以保护客户和客户数据的必要性。最重要的是，Jeremy强调，企业范围的治理和威胁建模不仅仅是建议，而是每个AI用例的必要要求，确保了一致和安全的结果。
总之，火箭抵押贷款公司利用安全的AI来提升客户体验的开拓性努力，成为创新和负责任AI采用的典范。通过遵循亚马逊云科技严格的安全最佳实践、持续的治理流程以及坚定不移地维护客户信任，火箭抵押贷款公司有望重新定义抵押贷款行业，为所有人带来个性化、便利和安全的金融服务，开启新时代。
下面是一些演讲现场的精彩瞬间：
火箭公司的使命是在整个房屋所有权旅程中为每个人提供帮助，从购买到再融资，满足不同的需求和偏好。
演讲者强调了Amazon Transcribe、QuickSight和Athena等各种服务的无缝集成，创建了一个强大的解决方案，用于分析对话并获得数据洞见。
亚马逊强调赋予员工安全、有保障地在日常工作中体验人工智能的重要性，而不是完全依赖自上而下的策略，以推动创新和采用。
演示了Navigator，一个具有类似于ChatGPT的用户界面的人工智能代理，展示了ChatRKT，这是一款旨在帮助技术团队更高效地访问文档和信息的应用程序。
强调评估用户输入并不盲目信任大型语言模型的输出的重要性，因为大型语言模型是非确定性的，可能会生成不准确或不安全的响应。
总结
在这场精彩的演讲中，来自亚马逊云科技的Dan Vasquez和Jeremy Ware分享了Rocket Mortgage如何利用安全的人工智能来提升客户体验的见解。这个故事通过以下几个关键点展开:
- Rocket Mortgage的使命是“让每个人都拥有家”，通过提供无缝的贷款体验，利用人工智能来提高效率和增强客户服务。他们的人工智能战略集中在三个关键用例上:面向客户的人工智能助手、名为RocketLogic Synopsis的呼叫中心套件以及名为Rocket Navigator的内部人工智能实验平台。
- 在高度监管的抵押贷款行业中，维护客户信任至关重要。Rocket实施了健全的数据安全控制措施，确保合规性，遵守负责任的人工智能实践，并减轻了诸如提示注入攻击等风险，以保护客户数据并提供公平、无偏见的体验。
- 亚马逊云科技提供了最佳实践和框架，如针对生成式人工智能漏洞的OWASP前10项、用于生成式人工智能的范围矩阵以及共享责任模型，帮助像Rocket这样的客户在整个人工智能生命周期中安全地构建和部署人工智能解决方案，同时解决潜在的威胁。
- 在结束时，演讲者强调了安全是每个人的责任的重要性，认识到大型语言模型可能会失败，需要适当的输出净化和确定性安全控制。企业范围内的治理和针对每个用例的威胁建模对于在人工智能部署中实现一致、安全的结果至关重要。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。