7×24 小时实时流式转录

能力亮点

• 实时转写

  音频还在播放，文字已经出来，落后说话人不到一秒。

• 不限时长

  滚动上下文，连续转写数小时，内存与速度保持不变。

• 语义断句

  模型预测说话人是否说完，在真正的停顿处分段，而不是每个短暂停顿。

• 完全端侧

  语音编码与语言模型都在板端 NPU 上运行，无需云端或独立 GPU。

• 中英双语

  同一套 SDK，按语言加载对应的前缀状态。

• 易于集成

  精简的 C API 与 Python 绑定，任意分块大小喂入音频。

处理流程

从输入到输出，每一步在哪里运行。

1. 01网页

   音频输入

   示例音频、录音或上传的文件，送到板端后统一转为 16 kHz 单声道。

2. 02CPU

   静音门

   Silero VAD 屏蔽开口前的掌声与噪声。

3. 03NPU

   流式 ASR

   语音编码 + 语言模型，每 160 ms 推进一步。

4. 04NPU

   语义断句

   每个 token 给出 0.5 / 1 / 2 / 3 秒内结束说话的概率，据此分段。

5. 05网页

   文字输出

   板端增量文字经服务端推送实时显示，与音频同步。

支持硬件

• Qualcomm QCS8550本站真机运行
• Qualcomm QCS8625提供模型资源
• Qualcomm Dragonwing IQ8提供模型资源
• Qualcomm Dragonwing IQ9提供模型资源

部署到自己的板子

1. 1

   设置工作目录与芯片

   在板端终端设置两个变量，后续命令都基于它们。

   复制

   export AGORA_WORKSPACE="$HOME/my-asr-demo"
   export AGORA_SOC='QCS8550'

2. 2

   获取代码

   克隆 Demo 仓库。

   复制

   git clone https://github.com/APLUX-Agora/audio8-asr-infinite-demo.git "$AGORA_WORKSPACE/code"
   cd "$AGORA_WORKSPACE/code"

3. 3

   准备依赖

   在项目虚拟环境中安装 SDK 与依赖（板端需已装 AidLite 与 QNN 2.48）。

   复制

   python3 -m venv .venv && source .venv/bin/activate
   pip install -r requirements.txt && pip install --upgrade huggingface_hub

4. 4

   下载模型资源

   公共资源与所选芯片目录，约 3.3 GiB。

   复制

   hf download APLUX-Agora/Audio8-ASR-Infinite-160ms --exclude "targets/*" --local-dir "$AGORA_WORKSPACE/resources"
   hf download APLUX-Agora/Audio8-ASR-Infinite-160ms --include "targets/$AGORA_SOC/*" --local-dir "$AGORA_WORKSPACE/resources"

5. 5

   运行

   先转写 20 秒示例；需要网页演示时启动板端 Web Demo。

   复制

   python examples/python/transcribe_file.py examples/audio/quickstart_en_20s.wav \
     --models "$AGORA_WORKSPACE/resources" --lang en

许可与署名

• Demo 代码与接口：Apache-2.0
• 预编译 SDK 与模型适配：Pandora 许可协议
• 示例音频：Lorna Mitchell · FOSDEM 2025 · CC BY 2.0 BE