File size: 2,992 Bytes
64e0b6a 9529c53 64e0b6a 9529c53 64e0b6a 9529c53 64e0b6a 9529c53 64e0b6a 9529c53 64e0b6a 9529c53 64e0b6a 9529c53 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 | ---
base_model: MediaTek-Research/Breeze-ASR-26
base_model_relation: quantized
language:
- nan
- zh
library_name: ctranslate2
license: apache-2.0
metrics:
- cer
pipeline_tag: automatic-speech-recognition
tags:
- automatic-speech-recognition
- whisper
- taiwanese-hokkien
- taigi
- low-resource-language
- arxiv:2603.19259
- ctranslate2
- ct2
- quantized
- int8_float16
---
# Breeze-ASR-26-int8_float16-CT2
本模型由 [MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) 轉換為 `ctranslate2` 量化格式，未額外微調。
## 量化
- 後端：`ctranslate2`
- 量化：`int8_float16`
## 評估
資料來源：教育部臺灣台語常用詞辭典例句音檔，取 `hanzi` 長度最長的 100 筆樣本。
- [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/)
CER 以原始 HF `float16` 推論結果作為偽參考，用來衡量轉換/量化後的輸出偏移；這不是人工標註逐字稿 CER。計算前會先移除所有空白，再計算字元級 Levenshtein 距離。
量化部署建議優先使用 `CT2 int8`：100 筆全數成功，VRAM 約 `2097-2129 MiB`，相對 HF `float16` 基準的 CER 為 `0.1263`。
| 版本 | 結果檔 | 成功/總數 | VRAM MiB |
|---|---|---:|---:|
| [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
| [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
| [CT2 `int8_float16`](https://huggingface.co/phate334/Breeze-ASR-26-int8_float16-CT2) | `ct2-int8_float16.jsonl` | 100/100 | 2103-2135 |
| [CT2 `int8`](https://huggingface.co/phate334/Breeze-ASR-26-int8-CT2) | `ct2-int8.jsonl` | 100/100 | 2097-2129 |
| [whisper.cpp / GGML `q4_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_0.jsonl` | 100/100 | 1843-1843 |
| [whisper.cpp / GGML `q4_1`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_1.jsonl` | 100/100 | 1935-1935 |
| [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
| [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
### 相對 HF 基準的 CER
基準：`vllm-hf-float16.jsonl`。
| 比較版本 | CER | 字元錯誤 / 參考字元 | 完全一致 |
|---|---:|---:|---:|
| `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
| `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
| `ct2-int8.jsonl` | 0.1263 | 691/5470 | 5 |
| `whisper-cpp-ggml-q5_0.jsonl` | 0.1803 | 986/5470 | 5 |
| `whisper-cpp-ggml-q8_0.jsonl` | 0.1879 | 1028/5470 | 6 |
| `whisper-cpp-ggml-q4_0.jsonl` | 0.1927 | 1054/5470 | 2 |
| `whisper-cpp-ggml-q4_1.jsonl` | 0.2558 | 1399/5470 | 2 |
## 更多資訊
評估程式、資料準備與完整報表：
https://github.com/phate334/stt-eval
|