在 Simli，我们最关心的是延迟。毕竟，这就是我们的目标：低延迟视频。另一方面，音频机器学习中一些最常用的算法的实现速度非常慢。需要明确的是，这些实现通常适合创建模型本身或批量推理。但对于 Simli 的我们来说，几毫秒就可能意味着视频是断断续续的混乱还是流畅。
对我来说幸运的是（以及作为读者的代理），本指南不需要太多数学知识，更聪明的人已经弄清楚如何获得正确的答案，我们只是让计算更加高效。如果您需要更多信息来了解 MelSpectrogram 到底是什么，您可以阅读这篇文章。计算频谱图的方法有多种，这在很大程度上取决于您的应用程序。因此，为了方便作者，我们将重点放在运行内部模型所需的梅尔上。

常见的解决方案：Librosa

您很可能是在遇到使用 Librosa 的存储库后来到这里的。老实说，这是一个非常方便的图书馆。有大量实用程序、读取磁盘上音频的简单方法以及快速访问许多常用功能（例如音频重采样、通道缩混等）。在我们的例子中，我们对一种特定的功能感兴趣：梅尔谱图计算。在 librosa 中，获取梅尔光谱图非常简单。

import librosa

# load in any audio to test
sampleAudio, sr = librosa.load("sample.mp3", sr=None) # sr=None means the original sampling rate
spectrogram = librosa.feature.melspectrogram(
    y=sampleAudio,
    sr=sr,
    n_fft=int(0.05 * sr),  # 50ms
    hop_length=int(0.0125 * sr),  # 12.5ms
    win_length=int(0.05 * sr),
)

很简单，在 GCP g2 虚拟机上平均需要 2 毫秒左右。嗯，主要有两个问题：

1. 通常，在使用深度学习模型时，您需要在 GPU 上运行模型。这意味着链的一部分在 CPU 上运行，然后将结果复制回 GPU。对于批量推理，这基本上没问题，因为您应该收集 GPU/传输上能够容纳的尽可能多的数据。然而，在我们的例子中，我们经常一次处理一帧以减少等待和处理时间。
2. 我们的总时间预算约为 33 毫秒/帧。这包括从 API 服务器到 ML 推理服务器的传输延迟、CPU 到 GPU 的复制、预处理和模型后处理（包括梅尔谱图）。当您的预算如此紧张时，每一毫秒都很重要。这两毫秒实际上有助于为 Simli 提供一个可工作的实时渲染视频流（当然，这是许多优化，每个优化都值得一两毫秒）。

网上寻找解决方案

在尝试了解其他人是如何做到这一点时（幸运的是，这对我们来说不是一个独特的问题），我发现这篇文章解释了梅尔谱图的工作原理，并提供了一个参考实现，由于某种原因，该实现仅花费了 1 毫秒（50 ％ 改进）。这是一个好的开始，但仍然存在第一个问题，并非所有内容都在 GPU 上。我们正在使用 PyTorch，并一直依赖 torch.compile 和 mode=reduce-overhead 来最大程度地提高速度。然而，像这样的数据传输可能会降低性能，因为 PyTorch 编译器也无法优化该函数。解决方案有点繁琐但是相对简单，用torch重写一下即可。 PyTorch 团队已确保其许多语法和功能尽可能接近 NumPy（一些边缘情况通常都有详细记录，除了让我迷失了几天的情况，但这是另一个博客的故事） .

PyTorch 重写

因此，为了成功重写 Pytorch 中的所有内容，我们需要执行几个步骤。梅尔谱图可以分为三个步骤：

• 计算短时傅立叶变换
• 生成梅尔标度频率库
• 生成频谱图。

有好消息也有坏消息。好消息是所有必需的功能都可以在 pytorch 或 torchaudio 中轻松获得。坏消息是默认行为与 librosa 有很大不同，因此需要进行大量配置和反复试验才能使其正确。我经历过这些，我之所以分享这些信息，是因为我什至不希望我最大的敌人遭受这样的厄运。我们需要理解的一件事是，这段代码严重依赖于缓存一些结果以供以后使用。这是在预生成所有静态数组的初始化函数中完成的（例如，梅尔频率库取决于采样率和所需的梅尔数量）。这是我们使用 PyTorch 优化的 Melspectrogram 函数

import torch

if torch.cuda.is_available
    @torch.compile(mode="reduce-overhead")
else:
    @torch.compile
def melspecrogram_torch(wav:torch.Tensor,sample_rate:int, hann_window: torch.Tensor, mel_basis: torch.Tensor):
    stftWav = torch.stft(
            wav,
            n_fft=int(sample_rate*0.05),
            win_length=int(sample_rate*0.05),
            hop_length=int(sample_rate*0.0125),
            window=hann_window,
            pad_mode="constant",
            return_complex=True,
        ).abs()
    stftWav = stftWav.squeeze()
    mel_stftWav = torch.mm(mel_basis, stftWav)
    return mel_stftWav

device = "cuda" if torch.cuda.is_available() else "cpu"

melspectrogram_torch(
    sampleAudio,
    sr,
    torch.hann_window(int(sample_rate*0.05), device=device, dtype=torch.float32),
    torchaudio.functional.melscale_fbanks(
        sample_rate=sr,
        n_freqs=(int(sample_rate*0.05) // 2   1),
        norm="slaney", # this is the normalization algorithm used by librosa
        # this is an example that's related to our own pipeline, check what you need for yours
        n_mels=80,
        f_min=55,
        f_max=7600,
    )
    .T.to(device)
)

初始编译运行后，我们使用 Nvidia L4 GPU（缓存 hann_window 和 melscale_fbanks）测量该函数需要 350 微秒。调整后的调用将如下所示：

hann=torch.hann_window(int(sample_rate*0.05), device=device, dtype=torch.float32),
melscale=torchaudio.functional.melscale_fbanks(
        sample_rate=sr,
        n_freqs=(int(sample_rate*0.05) // 2   1),
        norm="slaney", # this is the normalization algorithm used by librosa
        # this is an example that's related to our own pipeline, check what you need for yours
        n_mels=80,
        f_min=55,
        f_max=7600,
    )
    .T.to(device)
melspectrogram_torch(
    sampleAudio,
    sr,
    hann,
    melscale,
)

这是关于我们如何优化部署的预训练模型、优化预处理和后处理步骤的一系列文章的一部分。您可以查看 https://www.simli.com/demo 查看已部署的模型以及我们提供的最低延迟的头像