phate334 commited on
Commit
2665d49
·
verified ·
1 Parent(s): 4be68eb

Upload README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -22
README.md CHANGED
@@ -27,32 +27,24 @@ tags:
27
 
28
  # Breeze-ASR-26-GGML
29
 
30
- 這是由 `MediaTek-Research/Breeze-ASR-26` 轉換而來的 `whisper.cpp` 量化版本;此 artifact 沒有額外訓練紀錄。
31
 
32
- ## 來源模型
33
 
34
- - 模型:[MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26)
35
- - Revision:`7b992682e7f5ceedd0a41ebec240f01ba469d19e`
36
- - 授權:Apache-2.0,依來源模型卡宣告
37
-
38
- ## 量化資訊
39
-
40
- - Backend:`whisper.cpp`
41
  - 量化:`q8_0`, `q5_0`, `q4_0`, `q4_1`
42
 
43
- ## 評估摘要
 
 
44
 
45
- 這次評估使用教育部臺灣台語常用詞辭典例句音檔:
46
- [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/).
47
- 評估子集取例句音檔中 `hanzi` 長度最長的 100 筆樣本。
48
 
49
- 以下 CER 使用原始 HF `float16` 推論結果作為 pseudo-reference,衡量不同轉換/量化版本相對於原始模型輸出的 drift。
50
- 這不是對人工標註逐字稿計算的 ASR CER。計算時會先移除輸出文字中的所有空白,再計算字元級 Levenshtein distance。
51
 
52
- 以這次結果來看,量化部署建議優先使用 `CT2 int8`:
53
- 它完成全部 100 筆樣本,VRAM 約 `2097-2129 MiB`,相對 HF `float16` baseline 的 CER drift 為 `0.1263`,整體成本效益最好。
54
 
55
- | 版本 | 推論結果 | 成功/總數 | VRAM MiB |
56
  |---|---|---:|---:|
57
  | [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
58
  | [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
@@ -63,11 +55,11 @@ tags:
63
  | [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
64
  | [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
65
 
66
- ### 相對 HF Baseline 的 CER
67
 
68
- Baseline reference:`vllm-hf-float16.jsonl`。
69
 
70
- | 比較版本 | CER | 字元錯誤/參考字元 | 完全一致 |
71
  |---|---:|---:|---:|
72
  | `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
73
  | `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
@@ -79,5 +71,5 @@ Baseline reference:`vllm-hf-float16.jsonl`。
79
 
80
  ## 更多資訊
81
 
82
- 評估程式、資料準備方式與完整結果報表請見 GitHub repository:
83
  https://github.com/phate334/stt-eval
 
27
 
28
  # Breeze-ASR-26-GGML
29
 
30
+ 本模型由 [MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) 轉換為 `whisper.cpp` 量化格式,未額外微調。
31
 
32
+ ## 量化
33
 
34
+ - 後端:`whisper.cpp`
 
 
 
 
 
 
35
  - 量化:`q8_0`, `q5_0`, `q4_0`, `q4_1`
36
 
37
+ ## 評估
38
+
39
+ 資料來源:教育部臺灣台語常用詞辭典例句音檔,取 `hanzi` 長度最長的 100 筆樣本。
40
 
41
+ - [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/)
 
 
42
 
43
+ CER 以原始 HF `float16` 推論結果作為偽參考,用來衡量轉換/量化後的輸出偏移;這不是人工標註逐字稿 CER。計算前會先移除所有空白,再計算字元級 Levenshtein 距離。
 
44
 
45
+ 量化部署建議優先使用 `CT2 int8`:100 筆全數成功,VRAM 約 `2097-2129 MiB`,相對 HF `float16` 基準的 CER 為 `0.1263`。
 
46
 
47
+ | 版本 | 結果檔 | 成功/總數 | VRAM MiB |
48
  |---|---|---:|---:|
49
  | [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
50
  | [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
 
55
  | [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
56
  | [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
57
 
58
+ ### 相對 HF 基準的 CER
59
 
60
+ 基準:`vllm-hf-float16.jsonl`。
61
 
62
+ | 比較版本 | CER | 字元錯誤 / 參考字元 | 完全一致 |
63
  |---|---:|---:|---:|
64
  | `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
65
  | `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
 
71
 
72
  ## 更多資訊
73
 
74
+ 評估程式、資料準備與完整報表:
75
  https://github.com/phate334/stt-eval