← 返回模型目录

大语言模型

Qwen3-4B-Instruct-2507

Qwen3-4B-Instruct-2507，来自 Model Farm 官方预览目录，逐板卡验证后开放运行。

部署到自己的板卡
QCS6490
需适配
QCS8550
18.3tokens/sW4A16
IQ9
需适配
IQ8
需适配

机房真机实测，全部精度 ›

运行效果

真机输出
2
机房真机 QCS8550 · W4A16 · 处理耗时 184.8 ms

板卡实测

真机解码速度（tokens/s），受输入和输出长度影响。

板卡精度速度峰值内存
QCS6490—需适配—
QCS8550W4A16默认18.3 tokens/s—
IQ9QCS9075—需适配—
IQ8QCS8275—需适配—

部署指南

  1. 1

    在工作流中跑通

    用样例或自己的输入在机房的QCS8550 上运行，确认结果和速度。

  2. 2

    导出工程

    在工作流右上角选择「导出」，下载工程包。模型与样例按 sha256 锁定，前后处理与网站运行时一致。

  3. 3

    在板卡上安装运行库

    把工程拷到QCS8550（ARM64、Python 3.10 的 AidLux 环境，AidLux ≥ 2.0），在工程目录下载并校验已验证的配套运行库。

    python3 install-sdk.py
  4. 4

    只需要模型文件？

    各板卡的构建也发布在 Hugging Face ↗，按芯片下载，文件与工程包中的完全一致。

    hf download APLUX-Agora/Qwen3-4B-instruct-2507 --include "targets/QCS8550/*" --local-dir ./resources
  5. 5

    运行

    结果写入 outputs/，并打印每块积木的耗时。工程通过官方 AidLite 接口加载模型，代码完整随包提供。

    python3 app/pipeline.py --sdk-root .sdk --input 你的文件
AidLux 开发文档 ↗

规格

任务
大语言模型
来源
Model Farm
许可证
—
版本
1.0.0
浏览用到它的原型 →