← 返回模型目录

视觉语言

InternVL3-2B-Instruct

InternVL3-2B-Instruct,来自 Model Farm 官方预览目录,逐板卡验证后开放运行。

部署到自己的板卡
QCS6490
需适配
QCS8550
36.1tokens/sW4A16
IQ9
需适配
IQ8
需适配

机房真机实测,全部精度 ›

运行效果

样例输入
真机输出
The image depicts a street scene with a blue electric bus prominently displayed in the foreground. The bus has the text "zero emisiones" (zero emissions) on its side, indicating its environmentally friendly nature. The bus is parked on the side of the street, with a man standing beside it wearing a black jacket and
机房真机 QCS8550 · W4A16 · 处理耗时 2,374.1 ms

板卡实测

真机解码速度(tokens/s),受输入和输出长度影响。

板卡精度速度峰值内存
QCS6490—需适配—
QCS8550W4A16默认36.1 tokens/s386 MB
IQ9QCS9075—需适配—
IQ8QCS8275—需适配—

部署指南

  1. 1

    在工作流中跑通

    用样例或自己的输入在机房的QCS8550 上运行,确认结果和速度。

  2. 2

    导出工程

    在工作流右上角选择「导出」,下载工程包。模型与样例按 sha256 锁定,前后处理与网站运行时一致。

  3. 3

    在板卡上安装运行库

    把工程拷到QCS8550(ARM64、Python 3.10 的 AidLux 环境,AidLux ≥ 2.0),在工程目录下载并校验已验证的配套运行库。

    python3 install-sdk.py
  4. 4

    只需要模型文件?

    各板卡的构建也发布在 Hugging Face ↗,按芯片下载,文件与工程包中的完全一致。

    hf download APLUX-Agora/InternVL3-2B-Instruct --include "targets/QCS8550/*" --local-dir ./resources
  5. 5

    运行

    结果写入 outputs/,并打印每块积木的耗时。工程通过官方 AidLite 接口加载模型,代码完整随包提供。

    python3 app/pipeline.py --sdk-root .sdk --input 你的文件
AidLux 开发文档 ↗

规格

任务
视觉语言
来源
Model Farm
许可证
—
版本
1.0.0