@Lenciel

最近参加一个技术会议，我请大家举手简单统计了一下参会者在 ChatGPT、Kimi 等产品上的活跃度，发现每天都用的人大大减少了。

这跟我两年前的判断差不多： LLM 对搜索会有很大的冲击（因为用户脑子里有关键词，好写 prompt），但大部分时候，聊天仍然是个非常糟糕的用户界面（问什么怎么问，压力都在用户这边）。

如果让我总结使用 LLM 频度最高的场景，是嵌在飞书里的那些跟开会相关的功能：自动字幕，自动转文本，自动给总结等等。

如果让蒙爷总结，他的最核心场景会是 Youtube 上实时给视频的添加的中文字幕，一下子把他可以看懂的视频扩大了几个数量级。

这些功能都涉及语音转文本再进行处理（记录、总结或者翻译）。由于目前的解决方案基本都是跑在服务器端的，所以也有一些问题。

首先是不够安全。不管是私人的通话，还是工作的会议，把音频录制和处理交给第三方，特别是国内一些厂商，还是让人感觉有点害怕的。

其次是不够灵活。比如，YouTube 自动加字幕的功能，依赖 Google 的服务。本地下载了一部冷门的电影，就还得老老实实花时间去找字幕。

这些问题的解决，核心是下面两个方面：

有没有办法很容易的提取音轨或者转发音频流
有没有办法在本地对音轨或者音频流使用 LLM 进行处理

如果是有钱人，我会推荐 Rogue Amoeba 家的 Loopback 和 Audio Hijack。 Loopback 可以通过创建虚拟声卡对音频进行各种的控制和转发解决第一步。而 Audio Hijack 的新版本里内置了一个 transcribe 模块解决第二步实际上背后也是 OpenAI 的 Whisper ，精确版对应 large-v2 的模型。：

图1. 从输入设备对音频流进行录制和转写

如果稍微愿意动动手，我会推荐 ffmpeg +VB-Cable 解决第一个问题，whisper-cpp 解决第二步：因为它们免费，并且开源，完全可控。

下面的步骤针对 Mac，但 Widnes 上相同的思路应该也是工作的。

安装 ffmpeg 和 VB-Cable

ffmpeg 主要用来处理音频文件，安装就直接用 Homebrew。

brew install ffmpeg

然后如果是现场的音频文件，需要处理成 16khz 的 WAV 文件：

ffmpeg -i audio.mp3 -acodec pcm_s16le -ac 1 -ar 16000 audio.wav

如果是视频，则需要抓取里面的音轨做转换：

ffmpeg -i vod.mp4 -hide_banner -vn -ar 16000 -ac 1 -c:a pcm_s16le -y vod-resampled.wav

VB-Cable 是一个安装文件，装好了之后可以看到在音频配置里面多了一块虚拟声卡：

图2. 输入输出里面都有，因此可以录也可以回放

这个主要是用来捕获音频流的。

安装 whisper-cpp

虽然 Homebrew 提供了 formula 但是我选择了 clone 项目来编译。因为有一些平台相关的优化我不知道 Homebrew 的版本是怎么处理的。

比如，把 Apple Neural Engine (ANE) 用起来 whisper-cpp 能够快最少三倍，但是它需要做一些设置更多关于 whisper-cpp 对 Core ML 的支持，可以看这里。：

pip install ane_transformers
pip install openai-whisper
pip install coremltools

然后生成模型的 Core ML 版本，比如我使用了 large-v3 版本的模型：

./models/generate-coreml-model.sh large-v3

最后需要打开编译开关进行编译：

# using Makefile
make clean
WHISPER_COREML=1 make -j

当跑起来的时候提示 Core ML 模型正确加载了，就说明成功了：

./main -m models/ggml-large-v3-q5_0.bin ./samples/jfk.wav

...
whisper_init_state: kv cross size =  245.76 MB
whisper_init_state: loading Core ML model from 'models/ggml-large-v3-encoder.mlmodelc'
whisper_init_state: first run on a device may take a while ...
whisper_init_state: Core ML model loaded
ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size =     8.80 MiB, ( 1490.55 / 12288.02)

处理音频文件

whisper-cpp 处理本地的音频文件就只需要组合使用参数，比如我要用 8 线程对一部法语电影的音轨做翻译并且生成字幕文件：

./main -m ./models/ggml-large-v3.bin -f samples/movie.wav -l fr -t 8 -osrt --translate

whisper-cpp 有很丰富的参数：

usage: whisper-cpp [options] file0.wav file1.wav ...

options:
  -h,        --help              [default] show this help message and exit
  -t N,      --threads N         [4      ] number of threads to use during computation
  -p N,      --processors N      [1      ] number of processors to use during computation
  -ot N,     --offset-t N        [0      ] time offset in milliseconds
  -on N,     --offset-n N        [0      ] segment index offset
  -d  N,     --duration N        [0      ] duration of audio to process in milliseconds
  -mc N,     --max-context N     [-1     ] maximum number of text context tokens to store
  -ml N,     --max-len N         [0      ] maximum segment length in characters
  -sow,      --split-on-word     [false  ] split on word rather than on token
  -bo N,     --best-of N         [5      ] number of best candidates to keep
  -bs N,     --beam-size N       [5      ] beam size for beam search
  -wt N,     --word-thold N      [0.01   ] word timestamp probability threshold
  -et N,     --entropy-thold N   [2.40   ] entropy threshold for decoder fail
  -lpt N,    --logprob-thold N   [-1.00  ] log probability threshold for decoder fail
  -debug,    --debug-mode        [false  ] enable debug mode (eg. dump log_mel)
  -tr,       --translate         [false  ] translate from source language to english
  -di,       --diarize           [false  ] stereo audio diarization
  -tdrz,     --tinydiarize       [false  ] enable tinydiarize (requires a tdrz model)
  -nf,       --no-fallback       [false  ] do not use temperature fallback while decoding
  -otxt,     --output-txt        [false  ] output result in a text file
  -ovtt,     --output-vtt        [false  ] output result in a vtt file
  -osrt,     --output-srt        [false  ] output result in a srt file
  -olrc,     --output-lrc        [false  ] output result in a lrc file
  -owts,     --output-words      [false  ] output script for generating karaoke video
  -fp,       --font-path         [/System/Library/Fonts/Supplemental/Courier New Bold.ttf] path to a monospace font for karaoke video
  -ocsv,     --output-csv        [false  ] output result in a CSV file
  -oj,       --output-json       [false  ] output result in a JSON file
  -ojf,      --output-json-full  [false  ] include more information in the JSON file
  -of FNAME, --output-file FNAME [       ] output file path (without file extension)
  -ps,       --print-special     [false  ] print special tokens
  -pc,       --print-colors      [false  ] print colors
  -pp,       --print-progress    [false  ] print progress
  -nt,       --no-timestamps     [false  ] do not print timestamps
  -l LANG,   --language LANG     [en     ] spoken language ('auto' for auto-detect)
  -dl,       --detect-language   [false  ] exit after automatically detecting language
             --prompt PROMPT     [       ] initial prompt
  -m FNAME,  --model FNAME       [models/ggml-base.en.bin] model path
  -f FNAME,  --file FNAME        [       ] input WAV file path
  -oved D,   --ov-e-device DNAME [CPU    ] the OpenVINO device used for encode inference
  -ls,       --log-score         [false  ] log best decoder scores of tokens
  -ng,       --no-gpu            [false  ] disable GPU

处理音频流

音频文件不能覆盖所有场景。如果想要在看各种网页或者视频的时候有一个「同声翻译」，或者是在开会的时候有「实时转录」，就涉及到处理音频流了。

把 VB-Cable 设置成输出之后，我们的所有音频就会转发到这个设备上（如果你同时还想听到，可以再甚至个输入）。然后编译 whisper-cpp 提供的 stream 进行监听：

brew install sdl2
make stream
./stream -m models/ggml-large-v3-q5_0.bin -t 8 --step 5000 --length 5000 -l zh

这里因为指定了输出语言是中文，所以如果你播放的是其他语言的内容，whisper-cpp 会尝试进行翻译：虽然效果一般，但是就像 YouTube 生成的自动字幕一样，能够帮助你大概看明白了。

TODO

从音频转文字之后，还可以做一些额外的处理，比如把一个会议的内容交给模型做提纯做归纳总结等等。

相信在各个活菩萨公司开源的大模型的帮助下，端侧的更多场景会从可玩过渡到可用。