README: teljes összehasonlító eredmények (FLEURS + CV17 + zajos, beam 1-5)

README.md

@@ -13,7 +13,7 @@ datasets:
 metrics:
 - wer
 model-index:
-- name: Whisper Base Hungarian v2
+- name: Whisper Base Hungarian v3
   results:
   - task:
       name: Automatic Speech Recognition
@@ -30,29 +30,41 @@ model-index:
       value: 29.81
 ---
 
-# Whisper Base Hungarian v2
+# Whisper Base Hungarian v3
 
 Magyar nyelvre finomhangolt [openai/whisper-base](https://huggingface.co/openai/whisper-base) modell, zaj-augmentált tréninggel.
 
-A v2 a v1 (whisper-base-hungarian_v1) továbbfejlesztett változata: a tréning során a tiszta hanganyag mellett véletlenszerűen zajjal kevert mintákon is tanult, így a **zajos környezetben lényegesen robusztusabb** a v1-nél, miközben tiszta anyagon is tartja (vagy éppen meg is haladja) a v1 teljesítményét.
+A v3 a v1 (whisper-base-hungarian_v1) továbbfejlesztett változata: a tréning során a tiszta hanganyag mellett véletlenszerűen zajjal kevert mintákon is tanult, így a **zajos környezetben lényegesen robusztusabb** a v1-nél, miközben tiszta anyagon is tartja (vagy éppen meg is haladja) a v1 teljesítményét.
 
 ## Eredmények
 
 ### Tiszta anyag — FLEURS hu_hu test (normalizált WER)
 
-| Modell | beam=1 | beam=5 |
-|---|---|---|
-| **whisper-base-hungarian_v2 (ez)** | **29.81** | 29.28 |
-| whisper-base-hungarian_v1 | 30.91 | 28.77 |
+| Modell | beam=1 | beam=2 | beam=3 | beam=4 | beam=5 |
+|---|---|---|---|---|---|
+| whisper-hu-base-finetuned-V2 (régi) | **25.79** | **24.26** | **23.80** | **23.77** | **23.67** |
+| **whisper-base-hungarian_v3 (ez)** | 29.81 | 29.07 | 28.84 | 28.57 | 29.28 |
+| whisper-base-hungarian_v1 | 30.91 | 29.19 | 28.94 | 29.04 | 28.77 |
 
-### Zajos anyag (~10 dB MUSAN zaj, 905 minta)
+### Common Voice 17.0 hu test (normalizált WER)
+
+| Modell | beam=1 | beam=2 | beam=3 | beam=4 | beam=5 |
+|---|---|---|---|---|---|
+| whisper-hu-base-finetuned-V2 (régi) | **14.73** | **14.03** | **13.90** | **13.85** | **13.81** |
+| **whisper-base-hungarian_v3 (ez)** | 21.80 | 21.23 | 21.11 | 21.06 | 21.09 |
+| whisper-base-hungarian_v1 | 21.48 | 20.75 | 20.57 | 20.54 | 20.51 |
+
+_Megjegyzés: a Common Voice 17.0 train+valid spliteket a régi V2 tréningje tartalmazta, ezért ott az eredményei nem teljesen függetlenek._
+
+### Zajos anyag (~10 dB MUSAN zaj, 905 minta, beam=1)
 
 | Modell | WER |
 |---|---|
-| **whisper-base-hungarian_v2 (ez)** | **51.0** |
+| whisper-hu-base-finetuned-V2 (régi) | **41.6** |
+| **whisper-base-hungarian_v3 (ez)** | 51.0 |
 | whisper-base-hungarian_v1 | 56.2 |
 
-A zajos teszten **5.2 ponttal jobb** a v1-nél — ez a zaj-augmentált tréning közvetlen hozadéka.
+A v3 a v1-hez képest minden készleten jobb (FLEURS: −1.1…−0.3, CV17: −0.3…−0.7, zajos: **−5.2 pont**). A régi V2 (2000 órás, CV17-tel bővített adat, normalizált célok) minden készleten jobb nála — elsősorban a lényegesen nagyobb és változatosabb tréningadata miatt.
 
 ## Model description
 
@@ -117,7 +129,7 @@ from transformers import pipeline
 
 pipe = pipeline(
     "automatic-speech-recognition",
-    model="sarpba/whisper-base-hungarian_v2",
+    model="sarpba/whisper-base-hungarian_v3",
 )
 result = pipe("magyar_beszed.wav", generate_kwargs={"language": "hungarian", "task": "transcribe"})
 print(result["text"])