其他

bge-large-zh-v1.5

BGE 中文文本向量；支持多段文本比较，输出 1024 维归一化向量与余弦相似度。

QCS6490: 需适配
QCS8550: 119.7msW8A16
IQ9: 需适配
IQ8: 需适配

运行效果

真机输出

{
  "out": {
    "featureDimension": 1024,
    "vectorCount": 3,
    "texts": [
      "一只猫坐在垫子上。",
      "垫子上趴着一只猫。",
      "公交车行驶在马路上。"
    ],
    "featureStd": 0.031244615092873573,
    "featureNorm": 0.9999999403953552,
    "cosineMatrix": [
      [
        0.9999996423721313,
        0.8990538716316223,
        0.3237454891204834
      ],
      [
        0.8990538716316223,
        1,
        0.30401676893234253
      ],
      [
        0.3237454891204834,
        0.30401676893234253,
        1
      ]
    ],
    "tokenCounts": [
      11,
      11,
      12
    ],
    "sdkFeatureRows": [
      11,
      11,
      12
    ],
    "pooling": "CLS",
    "normalization": "L2",
    "tensorsUrl": "/files/runs/pvr_rntzn9jcer/064a9656620fa08523b47e64-b3-features.npz"
  }
}

导出完整特征

机房真机 QCS8550 · W8A16 · 处理耗时 121.8 ms

板卡实测

真机处理时延的中位数。多阶段模型计入各阶段处理，生成模型的耗时受输入和输出长度影响。

板卡	精度	速度	峰值内存
QCS6490	—	需适配	—
QCS8550	W8A16默认	119.7 ms	471 MB
IQ9QCS9075	—	需适配	—
IQ8QCS8275	—	需适配	—

部署指南

1
在工作流中跑通
用样例或自己的输入在机房的QCS8550 上运行，确认结果和速度。
2
导出工程
在工作流右上角选择「导出」，下载工程包。模型与样例按 sha256 锁定，前后处理与网站运行时一致。
3
在板卡上安装运行库
把工程拷到QCS8550（ARM64、Python 3.10 的 AidLux 环境，AidLux ≥ 2.0），在工程目录下载并校验已验证的配套运行库。
```
python3 install-sdk.py
```
4
只需要模型文件？
各板卡的构建也发布在 Hugging Face ↗，按芯片下载，文件与工程包中的完全一致。
```
hf download APLUX-Agora/bge-large-zh-v1.5 --include "targets/QCS8550/*" --local-dir ./resources
```
5
运行
结果写入 outputs/，并打印每块积木的耗时。工程通过官方 AidLite 接口加载模型，代码完整随包提供。
```
python3 app/pipeline.py --sdk-root .sdk --input 你的文件
```

AidLux 开发文档 ↗

规格

任务: 其他
来源: Model Farm
已知限制: 每行一段文本，每次 1 至 8 段，合计最多 2000 字符；每段连同 CLS/SEP 最多 512 token。使用 CLS 向量与 L2 归一化；余弦相似度用于相对比较，不是匹配概率。当前仅开放已验证的 X1 构建。
许可证: —
版本: 1.0.0

浏览用到它的原型 →

运行效果

板卡实测

部署指南

在工作流中跑通

导出工程

在板卡上安装运行库

只需要模型文件？

运行

规格