AIGC产业研究报告 2023——音频生成篇

易观：今年以来，随着人工智能技术实现了技术的持续升级，在生成式人工智能的应用方面也备受关注。在产业发展方面、市场反应以及监管要求方面均受到高度关注。为进一步研究其在各行业的落地可行性及未来发展趋势，在今年初对AIGC产业进行了深入探索，并计划陆续发布一系列关于该领域的研究报告。

本报告选取内容生成模态作为视角进行研究与概述，在人工智能领域中全面涵盖AIGC（人工通用智能创造器）在语言生成、图像生成、音频合成以及视频合成等多个维度的技术发展现状及核心技术，并深入分析其典型案例的应用场景。同时探讨我国AIGC产业在商业化进程中面临的主要挑战与未来发展趋势的探讨，并提出相关建议。旨在通过梳理与把握AIGC产业发展的历史脉络与技术演进路径来为各领域应用开发者及实际使用者提供理论参考与实践指导

本次音频生成相关报告中围绕音频技术的发展脉络展开论述。围绕音频技术的发展脉络展开论述。系统梳理了拼接式合成方法论框架构建过程中的三种主要实现路径：拼接式合成方法论框架构建过程中的三种主要实现路径：拼接式方法论框架构建过程中的三种主要实现路径：拼接式方法论框架构建过程中的三种主要实现路径：拼接式方法论框架构建过程中的三种主要实现路径：拼接式方法论框架构建过程中的三种主要实现路径：

定义

音频生成主要指通过处理输入数据来形成相应声音波形这一过程。该过程主要包含通过文本转写技术（text-to-speech）来生成语音内容，并实现多语言间的语音转换功能；基于视觉内容（如图像或视频）来进行相应的语音描述工作；此外还能根据需要生成旋律与音乐等内容。

细分类型和主要应用领域

声音的结构主要由音素、音节、声调以及语素等基本要素构成。音频生成系统具备构建出这些基础单元的能力，并通过频谱逼近或波形逼近的方法实现音频信号的合成。

基于输入数据类型的划分

影响音频生成质量的重要因素主要取决于生成速度（音速）及其对最终输出的实际意义；同时需要确保输入信号中的关键词能够被正确识别并合理分割（即实现有效的声音转换）；此外还需要保证输出声音具备高度自然性（即模仿真实发音），这包括具备多样化的节奏变化与情感表达能力。这些技术特征使得音频生成技术能够在智能客服系统中得到广泛应用；此外，在语音导航功能方面也展现出显著的应用潜力；此外，在同声传译技术中应用更为广泛，并且在音乐制作与影视后期制作领域也取得了重要进展；同时，在有声书阅读辅助方面也得到了广泛应用。值得注意的是，在医疗辅助领域中出现了快速发展的应用趋势；例如，在语言障碍患者康复过程中提供实时口语化服务，在帮助失明患者进行文字或图像信息检索方面取得了显著成效

技术发展的关键阶段

早期的音频生成主要依靠物理原理，在这一过程中利用了机械装置和电子合成器等工具来模仿人类声音。随着计算机技术的进步，在这一领域逐渐形成了构建语音合成系统的核心框架。针对该系统中各模块的关键技术和改进方向，在这一过程中音频生成的关键技术经历了一系列重要发展阶段。目前而言，在这一领域已取得了较为成熟的技术成果，并已广泛应用于实际项目中。

● 拼接合成阶段：

波形拼接法是一种通过分析语句中的音素、音节及单词特征并进行分割处理，在预先录制好的数据库中查找对应的基本单元后进行重组的方法。其优点在于使用真人录音生成的基频具有较高的保真度，在听觉感受上较为逼真自然。然而其效果受限于数据库中的样本数量，在实际应用中需采集大量不同场景下的音频素材才能实现较高的覆盖范围，并因此导致语料衔接处缺乏自然流畅性

● 参数合成阶段：

语音合成方法通过对现有声音数据的声学特徵参量建立统计模型，并对训练完成后的模型输入待处理的声音数据进行分词、标点符号处理以及韵律分析等操作。该方法能够从语言学特徵中提取出声学特徵并由声码器输出语音信号。其优点体现在所需原始声音数据量小且质量较高；然而由于使用了声码器，在输出过程中不可避免地会产生音质损失以及杂音较多的现象，并且语音呈现出明显的机械感。

● 端到端合成阶段：

语音合成的核心在于基于对语法规则和关系的理解来模拟声学特征，并通过生成声学表现形式来还原声音波形的过程

传统的语音合成框架基于语言学知识的复杂性、数据量以及模型性能等多方面因素，在实际应用中往往难以达到令人满意的听觉效果。其局限性使得其在实际应用中受到限制。近年来随着深度神经网络技术的进步，在传统参数合成法基础上进行了创新与改进，在这种新的方法下采用编码器-注意力机制-解码器（Encoder-Attention-Decoder）架构构建声学模型体系。该系统可以直接接受字符或音素序列作为输入，并输出梅尔频谱进而生成音频波形。这种改进使得特征提取过程得以简化，并显著降低了对不同语言学知识的需求难度的同时提升了声音合成的真实感与自然度，在一定程度上接近真实的发声效果

基于深度学习构建的端到端合成系统显著提升了语音质量。这些提升使该技术逐步占据行业主导地位。在语音生成领域中，现有的广泛应用且成效显著的产品多采用基于端到端合成架构的设计方案。

主流模型实现原理及优缺点

● 主流模型解析

Tacotron2

1、实现原理： Tacotron2基于WaveNet与Tacotron的融合，在这一架构下由声谱预测网络与声码器共同构成了一个端到端语音合成系统。该系统通过将输入作为文本特征进行处理，并将其叠加至梅尔频谱中完成初步处理；随后通过所预测序列生成时域波形数据完成最终合成过程。

2、模型优缺点：

Transformer-TTS

1、实现原理： 该系统采用Transformer架构来实现从输入序列到语音生成的端到端过程。其核心机制在于通过多头注意力模型构建编码器与解码器之间的高效连接，并基于音素序列输入并生成梅尔频谱特征。最终该模型能够通过WaveNet声码器输出高质量音频信号。

2、模型优缺点：该语音模型基于Transformer架构实现了训练效率的显著提升，并成功克服了现有方法如Tacotron2在训练速度较慢及难以构建长期依赖关系等方面的局限性。值得注意的是，在生成质量方面虽然取得了一定进展（如声音合成效果更自然），但其自回归特性仍会导致推理过程相对迟缓且易受早期误差累积的影响而影响最终输出质量

FastSpeech

1、实现原理： Fastspeech是一种基于非自回归的序列到序列语音合成模型。其基本机制是将输入的 phoneme sequence 通过长度归一化模块对齐输入并输出 Mel谱，并采用 A parallelizable network architecture 来提高语音生成的速度和效率。

2、模型优缺点：

DeepVoice3

1、实现原理：

2、模型优缺点：

AudioLM

1、实现原理：AudioLM建立在语言模型的基本理论之上，并采用Transformer架构对语义符号和语音特征进行建模训练。从而依据音频提示推导出潜在的语义信息，并最终输出相应的语音片段或钢琴伴奏音乐片段。

2、模型优缺点：

● 国内外代表模型：

影响模型应用能力的关键因素

基于声音传播特性及其在实际应用中的考量

● 生成速度

语音生成的速度主要由模型合成梅尔频谱的速度决定，在许多情况下对语音生成速度的要求都非常高。能否实现实时流畅的效果是语音产品实现商业化应用的前提

其中，在个人用户群体中，则特别强调语音生成服务能否即时处理用户的当前需求。具体而言，在语音助手、旅行翻译、交通导航等多个应用场景下都需要及时响应用户的指令，并迅速调用相应的生成模型进行语音合成工作；而在行业用户群体中，则更加关注生成过程的速度对业务运作的影响因素。例如，在智能客服系统或同声传译应用等特定领域中要求在短时间内完成大量语音合成任务以确保业务运营效率及用户体验水平。

● 语音质量

强歧义性问题属于人工智能生成语音领域中的独特挑战，在这一过程中要求音频生成必须具备高度的准确性，并且必须严格遵循规定的格式与结构要求。此外，在提取语音特征时会受到环境噪声、背景音以及多声源对话等多种干扰因素的影响，在这种情况下会影响识别与生成的准确性；因此评估模型是否具备一定的鲁棒性至关重要

● 控制能力

模型在实际应用场景中表现为声音清晰度、自然流畅度和真实性，在不同语言环境下进行文本与语音的理解，并能掌控着语音的速度、节奏与韵律等细节的同时能够识别并处理情感音素的相关特征。这种掌控力直接影响着语音的表现效果，在有声阅读或语言教学等场景中则能模拟真人对话的效果。

在行业用户群体中，在语音产品定制化方面的能力要求主要体现在其对产品形象塑造的精细把控上。具体表现为对企业数字人形象的音色、语调和情感表达等方面的精细调节。这种调节不仅有助于使其在形象塑造上更加贴合整体定位的目标要求，在提升客户服务质量的同时也有助于增强品牌形象。

典型产业应用场景

在音频生成领域的主要应用场景包括：语音识别技术、人机语音交互系统以及多语言或方言转换系统等技术分支；这些技术能在工业制造（如自动化设备检测）、农业（如智能精准灌溉）以及服务业（如客服中心智能化）等多个生产环节中得到广泛应用；通过提高信息传递效率水平和数据处理能力，并优化了人机对话的便捷性和用户体验质量；这些技术不仅在公共服务领域发挥重要作用，在娱乐产业中也得到了广泛应用，在教育机构中同样发挥着重要作用，并在交通领域展现出显著的应用潜力；此外，在商业层面也具备巨大的商业化价值

语音识别技术：它是通过从输入音频中提取特征并将其转换为相应的文本或操作指令的一种自动化处理方式。该技术在多个领域发挥着重要作用，在智能手机语音输入法和口述笔记等C端场景中应用最为广泛。此外，在档案检索、电子病历录入以及影视字幕制作等领域也展现出广泛的应用潜力。另外，声纹识别技术不仅能够提取人的身份信息特征，还可在金融与公共服务领域提供更加智能的身份验证与欺诈防范服务。

● 语音合成 ：可以在泛娱乐领域得到大量应用，例如新闻播报、有声阅读等长声音制作场景，在电影、短视频创作中根据给定的脚本生成与场景、人物口型同步的语音；在交通、工业制造方面，利用语音合成可以进行语音导航、交通指挥、工业自动化控制等工作；跨语言合成可应用在语音翻译、语言学习等场景；在医学领域，语音合成应用在人工喉等医疗可穿戴设备上，帮助语言障碍者提高交流能力和生活质量。

● 语音交互：具备广泛的使用潜力，在各类人机对话场景中展现出显著的适用性，并能在多个行业实现多样化应用拓展。例如在企业服务和金融领域，则可借助智能客服机器人实现与客户的语音问答互动。而在家电和汽车领域，则广泛应用于智能家居系统以及智能车载设备中。通过语音助手技术处理用户的各类指令需求；在新闻传播和媒体等领域，则可运用语音交互技术完成国际会议和展览活动中的同声传译任务。

● 语音转换：支持对语音的性别、音色和口音等风格进行迁移处理，并广泛应用于影视作品、动漫角色以及游戏中的多角配音设计。同时其重要功能还体现在能够生成合成数据以扩充训练样本库的能力，并在涉及个人隐私保护的相关场景中进行声音处理以确保信息安全。

● 语音增强与修复技术：该技术可通过去除噪声、消除混音干扰及放大清晰度等手段对音频信号进行优化处理，在电话录音处理、视频会议音质优化以及公共区域语音交互服务等领域均有广泛应用。此外该方法还可用于历史音频资料的修复工作 同时也能实现古代语言发音特征的推测与合成功能 这对于历史语言学研究具有重要的理论价值

● 音乐生成：基于参考的音频片段或文本描述创作出保持一致性的连贯音乐作品，在艺术与娱乐产业中能够协助艺术家完成歌曲编曲设计、优化其音色风格以及制作适合影片背景的声音效果等各项任务。

商业化落地过程中面临的挑战

在实现音频商品化的进程中

近年来，国外头部科技公司如微软、亚马逊、谷歌和苹果等纷纷展开了技术研究，并积极拓展智能语音市场。其中，在收购语音厂商Nuance后微软整合了其技术优势与Azure能力，在C端推出在线语音生成工具的同时也在B端提供语音定制开发及云端边灵活部署的服务模式。在深度合作OpenAI之后借助微软办公生态的数据壁垒该公司的云+AI能力得以进一步提升从而进一步巩固其核心竞争优势。此外，在智能家居设备或智能手机上搭载的亚马逊Alexa、谷歌Assistant及苹果Siri等产品主要作为语音助手并通过与物联网技术深度融合拓展C端应用场景并提升了用户体验从而实现用户增长。

国内智能语音市场规模在过去几年中持续稳定增长态势良好。众多头部企业科大讯飞、百度与阿里巴巴等已构建起庞大的用户基础，并成功延伸至多个专业领域进行深度渗透。其中面向个人用户（C端）的应用主要集中在智能家居与车载设备等场景上。而B端服务则主要服务于电商、金融、医疗与教育等多个行业，并提供定制化的客服支持与营销平台解决方案。

伴随着人工智能技术的持续进步与发展

● 数据缺口挑战

相较于静态文本或图像数据而言，在声音信号这一特性下建模与预测存在较大难度。生成高质量音频则需通过大量文本-语音与语音-语音数据对进行训练。目前主要来源于开源数据集与企业自有数据库资源有限的问题限制了相关研究的发展。其中方言及小语种等低资源语言的声音训练标注样本相对匮乏，在全流程自动对齐过程中造成了明显不足。此外还面临着使用权限分配及用户隐私保护等相关技术难题进而引发一系列与使用权限相关的安全问题导致实际应用场景受限

模型层面采用低成本语音合成训练策略以及文本增强策略，并搭配构建合成数据的方法来扩展训练集；在应用层面上，则采取加密与数据隔离措施，在规范地利用语音产品沉淀的用户数据分析中提取关键特征，并以此提升生成内容的质量与多样性。

● 多模态融合挑战

音频生成过程与场景信息具有较强的关联性，在特定环境下表现得尤为明显。然而，在实际应用中由于各种环境因素的影响可能导致结果出现偏差因此为了获得更高质量的声音生成效果通常需要采用更为复杂的算法并配备充足的计算资源。在实际开发过程中我们往往需要整合包括语音识别技术在内的多种核心技术以便实现感知层与认知层的有效结合从而提升系统的整体性能最终使其能够在影视制作以及短视频制作等领域展现出更高的商业价值。

● 定制化需求挑战

随着技术发展与市场需求的变化，在未来一段时间内定制化语音系统的需求将会显著提升。具体应用场景包括但不限于早教工具、手机辅助应用以及家庭互动设备等。从企业角度而言，则主要应用于客服系统优化、精准营销策略以及数字化角色（如数字人）的研发领域。为了满足品牌一致性与用户体验需求，在未来的市场扩张过程中，越来越多的企业开始重视并投入资源用于开发具有品牌特征的个性化语音系统。为了实现这一目标，在技术层面需要做到以下几点：第一点是确保所使用的模型能够适应多样化的声学环境，并且仅需小规模的数据集进行训练；第二点则是通过模型微调来进一步优化个性化的表达效果；第三点是在开发过程中需要充分结合各领域专业知识以增强对话系统的智能化水平。而系统的模块化设计与高度可控性也是推动大规模部署的重要保障。

前沿探索与趋势展望

在音频生成领域的前沿研究中，一方面关注提高模型性能。具体而言，在多说话人语音学习与分离、非人工标注数据的情感识别、情感解耦以及多模态转换等方面取得了显著进展。另一方面则是从实际应用需求的角度出发，在细分领域进行针对性研发。例如UCLA的研究通过颅内电极记录大脑活动并控制虚拟声道实现语音合成技术的应用前景巨大：该技术能够有效帮助因中风或脑损伤而丧失语言能力的患者恢复沟通能力。此外Meta近期提出的一项研究表明：未来的探索方向还包括非侵入式的大脑活动记录与解码技术的应用拓展：这种技术不仅限于医疗领域还可能延伸至其他相关产业以促进患者康复过程中的辅助沟通工具开发。值得注意的是我国清华大学近期创新研发了一款基于石墨烯的智能可穿戴式人工喉设备：通过热声效应实现精准的语音合成功能：这一产品不仅为喉切除术患者提供了发声恢复的可能性还预示着其在未来医疗领域的广泛应用前景将更加广阔

就目前而言，在经历了相对成熟的发展阶段后，在下一阶段中将会有家居服务、教育服务以及出行服务成为我国智能语音技术的重要增长领域。通过持续增强语音助手的唤醒功能和交互功能，并优化其多轮对话能力，则能够实现产品在更大范围内的应用效果。这些改进措施不仅有助于拓展产品的商业化空间，并且能改善用户体验水平。

该AIGC产业研究报告系列将涵盖六大部分：语言生成技术研究、图像生成技术研究、音频生成技术研究、视频生成技术研究、三维模型生成技术研究以及分子发现与电路设计技术研究，并于本月陆续推出。热忱欢迎关注者参与讨论，并共同探索AIGC产业的发展前景。

声明须知：