信号处理等相关知识点

TDNN（时延神经网络）--CNN神经网络的基础

普通神经网络：

只包含一帧的特征向量

MFCC ：用于语音特征提取的算法，提取出音色(很能区分不同人的说话声音）。

TDNN

滤波器：重要特征提取。

迁移学习

小波散射变换 (WST)

小波变换--傅里叶时间无限-》时间局域

点乘：求向量相似度

傅里叶变换：波形被分解为多个正余弦波

观察者：不同波形

目标函数：波形

是否观察者与目标函数在某些方面表现出相似性？如果两者在时间维度上也表现出相似性呢？傅里叶变换未能直接提供这一信息，请考虑使用衍生小波变换来补充分析。

会有不同频率（胖瘦）小波在目标函数上时间平移，找到相似的一块。

连续小波：只是频率变化

离散小波：采用类似二分法

协方差

特征相关性分析

注意力机制

海洋哺乳动物叫声分类

特征提取

• 语音波形（原始数据形式）
• 语音波形数据--》语谱图（横轴：时间；纵轴：频率）

--》梅尔频谱图
--》小波散射
等等。

• 能量特征：该指标包含了许多有关海洋哺乳动物叫声的信息，包括能量、频率、时程等。
• 层次化音频特征？
• 多通道/单通道频谱图
• 颜色谱信息
• 恒定Q颜色谱信息
• 归一化颜色谱信息
• 米勒光谱信息
• MFCC
• 光谱对比度
• 调谐性心
• 起始强度包络的局部自相关及傅里叶时域图

时域，频域，时频域。

频率、能量、时序

！！！颜色深度表示频率的能量强度！！!

海洋哺乳动物叫声

回声定位咔哒声：持续时间短，宽频带。几赫兹~150kHz，捕猎定位、导航。

突发脉冲声

哨声：窄带，几毫秒到几秒之间。它们的频率范围主要在 2 至 30 kHz 之间

目前研究，将语音波形转换为图的形式，给CNN等模型进行学习。

RootGutteridge 等人对北大西洋露脊鲸进行了深入研究，并基于其声学特征推断出这些动物的具体年龄。

Torterotot 等人则开发了一种创新的技术，在南印度洋地区精确探测大型 blue whale 的栖息地分布。

对哺乳类动物发出声音的研究对理解其行为模式及种群动态具有重要的理论价值与实际意义；科学完善的声音监测手段是该研究领域不可或缺的重要支撑。

最大相关性最小冗余性（mrmr）算法

特征集和输出结果相关性最大，特征集里的特征彼此之间相关性最小。

匹配追踪算法

S.Mallat及其团队所提出的匹配追踪法（MP）是一种通过逐层展开基函数库中的基本函数来进行信号分层分解的技术。该方法能够将原始信号依次分解为由不同基函数表示的分层信号，并进一步计算各层次信号的魏格纳-维拉分布(WVD)，以获取分解信号在时频域的关键信息。该技术属于二次型时频分析范畴，在此框架下成功地降低了Wigner-Ville分布交叉干扰项的影响，并有效提高了处理结果的空间分辨率。然而该方法存在计算量过大的局限性，导致处理速度较慢，并限制了其对大规模地震数据处理能力的提升。

Imagine a highly complex image containing various shapes and sizes. Now, you can employ basic geometric forms such as circles, squares, and triangles to recreate this intricate pattern. The Orthogonal Matching Pursuit (OMP) algorithm functions like a master puzzle solver—it identifies the most suitable simple shapes (Gabor atoms) that best approximate the original structure. These shapes are then combined to reconstruct the original image with remarkable precision.

多窗口尺度频谱图

设想一下，在使用机器识别动物叫声时

----

总结

改写内容

总结

解释

粗细粒度

粗粒度：物种“科”。

细粒度：物种“属”。

在高层次特征层面：高层次特征未进行新分类，在此基础之上仅通过Softmax函数计算各类别概率，并接着会将具有相同科属的对象进行分组处理。

还可以细分到更细致的层次：具体来说，则是对每种叫声类型进行分类，并输出其对应的概率值。同样采用的是软最大（Softmax）算法，在这一过程中有两个计算结果会相乘得到最终的概率值。

此外，在细粒度层的输入上执行softmax操作这一做法具有显著的效果

曼巴模型！！！

本文所提出的方法虽已获得实际效果但仍有不足之处首先 在数据处理阶段 我们仅依赖于神经网络来识别数据特征而未对其施加明确的惩罚机制 这一点值得从理论层面深入探讨以期提升模型的整体性能其次 本研究中的神经网络架构采用了双路径并行设计模式 如果允许不同路径之间的某些层或参数实现共享 有可能取得意想不到的研究成果