Instructions to use akisviete/azuolas-qwen-lt with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use akisviete/azuolas-qwen-lt with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("automatic-speech-recognition", model="akisviete/azuolas-qwen-lt")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("akisviete/azuolas-qwen-lt") model = AutoModelForMultimodalLM.from_pretrained("akisviete/azuolas-qwen-lt", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Ąžuolas v2 — Qwen3-ASR-1.7B lietuvių kalbai (LIEPA-3, visų svorių derinimas)
Tai antroji Ąžuolo – lietuvių kalbos šnekos atpažinimo modelių serijos –
karta. Pirmoji karta
(akisviete/azuolas-whisper-lt)
buvo sukurta whisper-large-v3 pagrindu. Antrojoje kartoje bazinis modelis
pakeistas į Qwen/Qwen3-ASR-1.7B-hf,
o visa kita, kas lėmė v1 sėkmę, išlaikyta: modelis iš naujo apmokytas visais
svoriais su visu LIEPA-3 lietuvių kalbos garsynu (skaityta, spontaninė ir
fonetinė kalba, iš viso apie 9 806 valandas).
Qwen3-ASR techninėje ataskaitoje išvardytos 52 palaikomos kalbos, tačiau
lietuvių kalbos tarp jų nėra (resolve_language() su lt grąžina klaidą).
Vadinasi, v2 ne patobulina jau turimą gebėjimą, o jį sukuria nuo pagrindų.
Tai atsispindi ir mokymo recepte: svarbiausias pakeitimas – 5 kartus didesnė
mokymosi sparta nei numatyta oficialiame derinimo recepte. Tai didžiausią
poveikį turintis iš visų išmatuotų parametrų (žr. Mokymas).
Abi kartos tinka skirtingiems darbams. Dekoduojant vienodomis sąlygomis (pluoštinė paieška, pluošto plotis 5, ta pati programinė aplinka), v1 yra tikslesnis abiejuose dideliuose švariuose testų rinkiniuose (8,93 prieš 9,74 FLEURS, 5,09 prieš 5,35 CV26). Užtat v2 tyli ten, kur v1 prikuria teksto iš tylos ar triukšmo, su PyTorch veikia apie 30 % greičiau esant visiems išbandytiems dekodavimo nustatymams, yra 4,5 karto mažesnis ir jau integruotas į „Subtitle Edit“ / „CrispASR“ diegimą. Svarbiausia naudojimo taisyklė: dekoduokite pluoštine paieška, o ne godžiuoju būdu. Pluošto plotis 5 naudotas visuose šios kortelės palyginimuose vienodomis sąlygomis, jį naudoja ir „CrispASR“ diegimas. Išsamų palyginimą rasite skyriuje Palyginimas: v2 ir v1.
Modelis rašo mažosiomis raidėmis ir be skyrybos ženklų, kaip įprasta
LIEPA-3 anotacijose, ir užrašo žodžius taip, kaip jie ištarti: turim, o ne
bendrinės kalbos turime, nes taip užrašyta ir garsyno transkripcijose.
Rezultatai
Vertinta autoriaus scenarijumi eval_compare.py: ir atpažinimo rezultatas,
ir etalonas normalizuojami funkcija normalize_lt(), klaidų dažnis
skaičiuojamas jiwer.wer / jiwer.cer. Abu testų rinkiniai yra už mokymo
srities ribų: nei FLEURS, nei Common Voice nėra LIEPA-3 dalis, ir nė vieno
jų įrašymo sąlygos nesutampa su LIEPA-3.
FLEURS LT — 985 įrašai, 2,96 val., 17 092 etalono žodžiai
Common Voice 26.0 LT — 5 877 įrašai, 8,50 val., 39 653 etalono žodžiai
(leidimas cv-corpus-26.0-2026-06-12)
Visi skaičiai gauti pluoštine paieška (plotis 5) toje pačioje naujoje programinėje aplinkoje (uv venv, torch 2.14.0+cu130, transformers 5.17.0; pluošto plotis 5 visur, kur architektūra tai leidžia):
| modelis (dekodavimas) | FLEURS WER / CER | CV26 WER / CER |
|---|---|---|
| Ąžuolas v1, large-v3 (pluoštas 5) | 8,93 / 5,84 | 5,09 / 1,38 |
| Ąžuolas v2 1.7B — šis modelis (pluoštas 5) | 9,74 / 6,79 | 5,35 / 1,70 |
| kmynas-parakeet-lt-v4, TDT 0.6B (NeMo, pluoštas 5) | 10,56 / 6,18 | 6,56 / 1,42 |
| paprika v3, distiliuotas (pluoštas 5) | 11,60 / 6,41 | 8,08 / 1,72 |
Pastabos prie lentelės. Aplinkos patikra: tame pačiame 2026-09-25 palyginime abi Ąžuolo kartos buvo paleistos ir su jų įprastu (godžiuoju) dekodavimu, ir abi šimtųjų tikslumu atkartojo anksčiau paskelbtus rezultatus (v1 – 9,12 / 4,97; v2 – 9,74 / 5,11). Todėl aukščiau pateiktu palyginimu galima pasitikėti. Skirtumai tarp skirtingų aplinkų, mažesni nei ~0,5 punkto, yra triukšmas.
kmynas-parakeet-lt-v4 (transducerio tipo modelis, derintas su 3 087 val.
LIEPA-3 duomenų) per „transformers“ biblioteką dekoduojamas tik godžiuoju
būdu (ParakeetForTDT palaiko tik GREEDY_SEARCH), todėl jo eilutė lentelėje
gauta su NeMo (nemo 3.0.0). Šiam TDT modeliui pluoštinė paieška beveik nieko
nekeičia (godusis dekodavimas – 10,56 / 6,60), o optimizuotas NeMo dekoderis
yra gerokai greičiausias: 57 minučių įrašą, suskaidytą fiksuoto ilgio
gabalais, jis apdorojo per 2,0 s, gavo 6 568 žodžius ir be jokių kartojimosi
ciklų. Be to, jis dėlioja skyrybą, rašo didžiąsias raides ir norminiu
pavidalu rašo galūnes. normalize_lt skyrybą pašalina, bet daryt→daryti
norminimo neatšaukia, todėl jo WER šiek tiek padidėja vien dėl skirtingo
rašymo principo. paprika v3 – distiliuotas Whisper (32 sluoksnių large-v3
koduotuvas ir 4 sluoksnių dekoduotuvas, 1,6 GB), sukurtas greičiui.
Apibendrinimas: švariuose rinkiniuose pirmauja v1 (0,81 punkto geriau
FLEURS ir 0,26 punkto geriau CV26 už antrą vietą); kmynas-v4 yra gerokai
greičiausias; šis modelis abiejuose švariuose rinkiniuose užima antrą vietą
ir lenkia tiek kmynas-v4 (10,56 / 6,56), tiek paprika v3 (11,60 / 8,08).
Ankstesnių matavimų kontekstas (lentelėje nepateiktas): bazinis
openai/whisper-large-v3 – 24,37 FLEURS / 30,07 CV26, kmynas-v3 (v4
pirmtakas) – 17,73 / 22,86.
Tokia pati eilė išlieka ir visai kitoje paleidimo aplinkoje. Tie patys pilni rinkiniai buvo dar kartą įvertinti su CrispASR (q8_0 GGUF, Vulkan, RTX 3080 Ti):
| modelis (q8_0, CrispASR) | FLEURS WER / CER | CV26 WER / CER | greitis |
|---|---|---|---|
| Ąžuolas v1 | 9,07 / 5,87 | 4,52 / 1,06 | 11,4× realaus laiko |
| Ąžuolas v2 1.7B (šis modelis) | 9,79 / 6,24 | 5,03 / 1,28 | 13,7× realaus laiko |
q8_0 kvantavimas šio modelio tikslumui beveik nepakenkia: 9,79 / 5,03 (q8_0), palyginti su 9,74 / 5,11 (PyTorch bf16), – skirtumas neviršija ~0,2 punkto triukšmo ribos. Būtent q8_0 GGUF failas (2,5 GB) naudojamas „Subtitle Edit“ programoje – žr. Diegimas kaip GGUF.
Ilgas įrašas – 57 minučių renginys be scenarijaus. Vido Mačiulio knygos pristatymas Ąžuolyno bibliotekoje (57,1 min., žiūrovai, vienas per kitą kalbantys žmonės, plojimai). Žmogaus parengtos šio įrašo transkripcijos nėra, todėl WER nepateikiamas; vertinama aprėptis, kartojimasis ir greitis:
modelis (CrispASR, --vad) |
s | × realaus laiko | žodžiai | aprėptis | unikalių 5-gramų dalis | kartojimosi ciklai |
|---|---|---|---|---|---|---|
| Ąžuolas v2 1.7B (šis modelis) | 292,3 | 11,7 | 6 596 | 99,8 % | 1,000 | nėra |
| Ąžuolas v1 | 299,6 | 11,4 | 6 631 | 99,8 % | 1,000 | nėra |
Nė vienas modelis neįstrigo kartojimosi cikle, o jų rezultatai skiriasi vos keliais procentais. Qwen3-ASR garso koduotuvas ilgą įrašą atpažinimo metu apdoroja nepriklausomai nuo to, kokios trukmės įrašais buvo mokytas: modelis, apmokytas beveik vien ~5 s trukmės neapdorotais įrašais (tai buvo tik bandomasis variantas, ne kandidatas diegimui), tą patį 57 minučių failą apdorojo su lygiai tiek pat segmentų ir be jokio kartojimosi.
Tylos ir triukšmo atmetimas – sritis, kurioje šis modelis pranašesnis. Mokant į duomenis buvo įterpti ne kalbos garsų įrašai (faktinė dalis – 1,40 %). Todėl modelis 100 % atvejų nieko neišveda (0 simbolių) skaitmeninėje tyloje, esant silpnam šnypštimui, patalpos fonui, ESC-50 ir DEMAND garsams (pastarųjų dviejų rinkinių mokyme visai nebuvo).
Tiesioginis palyginimas tokiomis pačiomis sąlygomis (20 s grynos tylos ir 20 s −40 dB baltojo triukšmo, PyTorch, abu modeliai):
| įvestis | v1 (Whisper) | v2 (šis modelis) |
|---|---|---|
| gryna tyla | 22 simboliai | 0 simbolių |
| −40 dB triukšmas | 414 simbolių sklandaus išgalvoto teksto | 0 simbolių |
Pagal savo paties kortelėje aprašytą 60 s bandymą v1 esant silpnam šnypštimui išgalvoja iki 947 simbolių, o jo įmontuotas ne kalbos garsų filtras nesuveikia – būtent dėl to diegiant jį reikia VAD. Jei jūsų įrašuose yra tylos, triukšmo ar muzikos, šis modelis tokiose vietose nieko nerašo.
Paskirtis
Skaitytos ir spontaninės lietuvių kalbos transkribavimas: interviu, viešų renginių, Seimo posėdžių, radijo ir televizijos laidų, telefoninių pokalbių įrašai. Įvestis – 16 kHz monofoninis garsas (procesorius pats perskaičiuoja diskretizavimo dažnį).
Skyrybai, didžiosioms raidėms ar kalbėtojų atskyrimui reikia atskirų modelių.
Kaip paleisti
Reikia transformers >= 5.13.0 (nuo šios versijos Qwen3-ASR palaikomas
tiesiogiai):
pip install "transformers>=5.13.0"
Trumpi įrašai
import torch
from transformers import AutoProcessor, AutoModelForMultimodalLM
MODEL = "akisviete/azuolas-qwen-lt"
processor = AutoProcessor.from_pretrained(MODEL)
model = AutoModelForMultimodalLM.from_pretrained(
MODEL, dtype=torch.bfloat16, device_map="cuda")
inputs = processor.apply_transcription_request(
audio="clip.wav",
language="Lithuanian", # nurodo kalbą; veikia ir automatinis kalbos atpažinimas
).to(model.device, model.dtype)
out_ids = model.generate(**inputs, max_new_tokens=256, num_beams=5)
gen_ids = out_ids[:, inputs["input_ids"].shape[1]:]
# modelio išvestis be apdorojimo: language Lithuanian<asr_text>…
print(processor.decode(gen_ids, return_format="transcription_only")[0])
Jei norite gauti ir atpažintą kalbą, naudokite return_format="parsed" – bus
grąžintas žodynas {"language": …, "transcription": …}.
Dekoduokite pluoštine paieška, o ne godžiuoju būdu. Šis modelis sudarytas
iš garso koduotuvo ir didžiojo kalbos modelio (LLM), todėl dekodavimo
nustatymai jam svarbesni nei Whisper modeliams. Su mokymo duomenims artimais
įrašais skirtumas nedidelis, tačiau su labai nuo jų besiskiriančiais įrašais
godžiai dekoduojantis LLM gali „pasimesti“ ties retais žodžiais ir tikriniais
vardais. num_beams=5 naudotas visuose šios kortelės palyginimuose vienodomis
sąlygomis, jį naudoja ir „CrispASR“ diegimas.
Ilgi įrašai – karpykite pauzėse, o ne fiksuotais intervalais
Dekoduokite ne ilgesnėmis nei ~22–26 s atkarpomis, kirpimo vietas
rinkitės pauzių, kurias randa Silero VAD, viduryje arba naudokite
variklį, kuris tai padaro pats („CrispASR“ su --vad -vm silero). Mokymo
atkarpų vidutinė trukmė – 25,44 s, taigi būtent tokiam ilgiui modelis ir
pritaikytas.
Karpant fiksuotais intervalais, dalis teksto prarandama. Matavimo duomenys: 180 s lietuviškame įraše 30 s gabalai kas 28 s su etalonu sutapo 82,4 %, o ~22 s atkarpos, kirptos pauzėse, – 94,9 %. Pirmuoju atveju modelis teksto ne apkarpo, o tyliai praleidžia 10–16 žodžių sekas iš gabalų vidurio.
Diegimas kaip GGUF (CrispASR / Subtitle Edit)
Šių svorių q8_0 GGUF failas (2,5 GB) skirtas „Subtitle Edit“ variklio
Crisp ASR Qwen3 diegimui (konvertuota CrispASR scenarijumi
convert-qwen3-asr-to-gguf.py, tenzorių pavadinimai kaip llama.cpp).
Patikrinta visa grandinė: 180 s garso apdorota per 49 s (3,7× realaus laiko,
q8_0, Vulkan, RTX 3080 Ti), žodžių laiko žymos gaunamos su
Qwen3-ForcedAligner, lietuviškos raidės išlieka. Visada nurodykite --vad
(tada CrispASR Qwen3 kelias naudoja pluoštinę paiešką ir VAD – būtent taip
šį modelį reikia dekoduoti, žr. Rezultatai). Šio kontrolinio
taško GGUF failą galime paskelbti kartu su HF svoriais, jei jo prireiks.
VRAM
Išmatuotos reikšmės:
| paleidimo būdas | svoriai atmintyje | kas išmatuota |
|---|---|---|
| PyTorch bf16, pluoštas 5, trumpi įrašai | ≈3,4 GB (1,7 mlrd. parametrų × 2 baitai) | vertinimas su pluoštu 5 veikė su 12 dydžio paketu, kai 96 GB plokštėje buvo ~19 GB laisvos atminties (likusią užėmė 78 GB vLLM procesas); godusis dekodavimas su 32 dydžio paketu ir pluoštas 5 su 16 dydžio paketu esant tiek pat laisvos atminties baigėsi OOM klaida |
| PyTorch bf16, visas failas iš karto | ≈3,4 GB + viso įrašo garso požymių apdorojimas | 57 min. įrašas, esant ~19 GB laisvos atminties, baigėsi OOM klaida – ilgus įrašus būtina skaidyti su VAD (žr. aukščiau) |
| GGUF q8_0 (CrispASR) | 2,5 GB | veikia 12 GB RTX 3080 Ti kartu su atmintyje laikomu laiko žymų lygiavimo modeliu; f16 GGUF (4,4–4,7 GB) į 12 GB netelpa, nes KV podėlis ir lygiavimo modelis prideda dar ~5 GB |
| Mokymas (palyginimui) | bf16 | didžiausias užimtumas – 77,93 GB vienoje 96 GB GPU |
Apytikslė taisyklė pagal šiuos matavimus: GGUF keliui reikia bent ~8 GB, patogiam darbui – 12 GB; PyTorch keliui su pluoštu 5 patogiai reikia 16 GB. Minimalūs dydžiai yra apskaičiuoti, o ne išmatuoti; visa kita lentelėje – išmatuota.
Apribojimai
- Jautrus dekodavimo būdui: naudokite pluoštinę paiešką, o ne godųjį
dekodavimą. Su mokymo duomenims artimais rinkiniais godžiojo dekodavimo ir
pluošto 5 rezultatai skiriasi ne daugiau kaip ~0,5 punkto, tačiau kaip
LLM pagrindu veikiantis modelis jis dekodavimui daug jautresnis nei Whisper
modeliai (±0,2), o godusis dekodavimas su labai nuo mokymo duomenų
besiskiriančiais įrašais gali „pasimesti“ ties retais žodžiais.
num_beams=5– rekomenduojamas nustatymas; su juo gauti šios kortelės skaičiai, jį naudoja ir CrispASR. - Mažosios raidės, be skyrybos, žodžiai rašomi taip, kaip ištarti – taip numatyta.
- Tarmių nėra. LIEPA-3 poaibis
dial(~100 val.) į mokymą neįtrauktas: 99,95 % jo transkripcijų užrašytos fonetine tarmių transkripcija, o ne bendrine rašyba. - Karpant fiksuotais intervalais išvestis trumpesnė, o kartojimasis didėja ilgėjant atkarpai. Esant fiksuotiems 30 s gabalams ir godžiajam dekodavimui, v2 praleidžia ~28 % žodžių, palyginti su v1 (daugiausia jaustukus ir intarpus – LIEPA-3 transkripcijos linkusios į „švarų“ tekstą), o kartojimasis ties 55-ąja 57 minučių failo minute išauga nuo ~340 žodžių su 30 s atkarpomis iki ~780 su 60 s atkarpomis. Ilgiems įrašams karpykite su VAD (atkarpos ≤ ~26 s).
- Tik 16 kHz monofoninis garsas. Mokymo duomenyse vyrauja skaityta ir spontaninė kalba.
- Kiekvienas WER skaičius gautas iš vieno paleidimo.
Mokymas
Visų Qwen/Qwen3-ASR-1.7B-hf svorių derinimas (be LoRA – žr. toliau):
1 epocha su visu 9 806 val. garsynu, ~16 val. vienoje 96 GB GPU.
| bazinis modelis | Qwen/Qwen3-ASR-1.7B-hf (derinti visi svoriai) |
| duomenys | LIEPA-3, 9 806 val.: skaityta kalba 5 230 val. (53,3 %), spontaninė 4 359 val. (44,5 %), fonetinė 217 val. (2,2 %); Whisper-prep sujungtos iki ~30 s atkarpos (vidutiniškai 25,44 s), pateikiamos srautu natūraliomis garsyno poaibių proporcijomis |
| ne kalbos garsų rinkinys | 19 755 įrašai / 42,57 val. (sugeneruoti, MUSAN, AudioSet – visi CC BY 4.0 arba sugeneruoti), įterpti su nonspeech_rate 0.0142, faktinė dalis – 1,40 %; būtent tai užtikrina 100 % atmetimą |
| optimizatorius | AdamW, β (0,9, 0,98), ε 1e-9, svorių slopinimas (weight decay) 0,1, max_grad_norm 1.0 |
| mokymosi sparta | 1e-4, tiesiškai mažinama iki nulio, įšilimas – 0,02 visų žingsnių (~220 žingsnių) |
| paketas | 16 × 8 gradientų kaupimo žingsniai = efektyvusis paketas 128 |
| žingsniai | 10 995 |
| tikslumas | bf16, FlashAttention 2, be gradient checkpointing |
| kontrolinis taškas | bf16 |
Mokymosi sparta
Oficialiame Qwen3-ASR derinimo recepte nurodyta lr 2e-5. Šiai užduočiai ji apie 5 kartus per maža:
| lr | FLEURS | CV26 |
|---|---|---|
| 2e-5 (oficiali) | 12,95 | 9,83 |
| 1e-4 (šis modelis) | 9,74 | 5,11 |
| 2e-4 | 10,97 | 5,96 |
Sparta 2e-5 tinka, kai modelis užduotį jau moka ir jį reikia tik šiek tiek
pakoreguoti. Lietuvių kalbos tarp bazinio modelio 52 kalbų nėra, todėl
svoriai turi pasikeisti kur kas labiau, nei leidžia toks nedidelis
pakoregavimas per ~1 100 žingsnių. Be to, max_grad_norm 1.0 didžiąją laiko
dalį ribojo gradientus jau ir taip per lėtai įšylančiame 2e-5 paleidime, taip
dar labiau sulėtindamas mokymąsi. Geriausias rezultatas gautas su 1e-4, o
2e-4 jau aiškiai blogesnė (+1,23 FLEURS), taigi 1e-4 yra tikras optimumas,
o ne plokščios srities pradžia.
Kas dar išbandyta ir pasirodė nenaudinga arba žalinga
- LoRA visu mastu nusileidžia visų svorių derinimui su kiekvienu išbandytu rangu (r32: 13,87 / 10,59; r8: 18,10 / 15,97). Kai optimizavimo žingsnių pakanka, lemiamu veiksniu tampa rango talpa. LoRA kryptis toliau nebetiriama.
- Koduotuvo mokymosi spartos daugiklis: išbandyta 0,5 → 1,0 → 1,5 → 2,0; nutolstant nuo 1,0 į bet kurią pusę rezultatai tolygiai blogėja. Garso koduotuvas jau mokomas su visa bazine sparta, o didesnė nei kalbos modelio sparta išbalansuoja bendrą optimizavimą.
- Paketo dydis: visu garsynu efektyvusis paketas 128 lenkia 64 (0,53 FLEURS / 0,57 CV26), nors optimizavimo žingsnių yra perpus mažiau. 1 000 val. bandomojo poaibio išvada, kad paketo dydis nesvarbus, visu mastu nepasitvirtino.
- Spartos mažinimo tvarkaraštis: kosinusinis, esant geriausiai spartai, 0,39 FLEURS punkto blogesnis už tiesinį.
- Paruoštas garsynas aiškiai lenkia neapdorotus LIEPA-3 parquet failus (9,74 prieš 10,33 FLEURS, mokymas 1,62 karto greitesnis) ir tik su juo išlaikomas 100 % tylos atmetimas. Mokant neapdorotais įrašais faktinė ne kalbos garsų įterpimo dalis sumažėjo 4,7 karto, nes rinkinys buvo išnaudotas, o atmetimas nukrito iki 96,7 %.
- Mokymo nuostolio (loss) reikšmė šios klasės modeliams nėra patikimas kokybės rodiklis. Du atvejai: žymų glodinimo (label smoothing) klaida davė 100 % WER, nors nuostolis buvo mažesnis, o mokymas neapdorotais įrašais pasiekė perpus mažesnį nuostolį, bet abiejuose už mokymo srities ribų esančiuose rinkiniuose rezultatai buvo blogesni.
Palyginimas: v2 ir v1
Tas pats garsynas, ta pati serija, skiriasi tik bazinis modelis. Viskas paleista toje pačioje PyTorch aplinkoje 2026-09-25, įskaitant visą dekodavimo su pluoštu 5 lentelę (Rezultatai) ir blogiausio atvejo ilgo įrašo bandymą (fiksuoti 30 s gabalai, godusis dekodavimas).
Tikslumo požiūriu v1 yra geresnis šnekos atpažinimo modelis abiejuose dideliuose švariuose rinkiniuose, kai dekoduojama vienodomis sąlygomis (pluoštas 5, ta pati nauja aplinka abiem modeliams): 8,93 prieš 9,74 FLEURS, 5,09 prieš 5,35 CV26.
v2 pranašumai – kitose keturiose srityse, visi išmatuoti:
- Atsparumas tylai be papildomų priemonių. 0 simbolių grynoje tyloje ir esant −40 dB triukšmui; v1 tokiomis sąlygomis užtikrintai išgalvoja tekstą (414 simbolių), todėl diegiant jam reikia VAD. Tai skirtumas tarp modelio, kurio išvestį reikia filtruoti, ir modelio, kurio nereikia.
- Greitis su PyTorch – ~30 % greitesnis esant kiekvienam išbandytam dekodavimo nustatymui (godžiajam ir pluoštui 5, abiejuose rinkiniuose). Diegimo varikliuose tvarka apsiverčia (CrispASR: 13,7× prieš 11,4× realaus laiko), taigi PyTorch skirtumas priklauso nuo karkaso ir variklio, o ne nuo paties modelio.
- 4,5 karto mažesnis – būtent todėl apskritai įmanomas GGUF/CrispASR kelias ir 13,7× realaus laiko greitis 12 GB buitinėje GPU.
- LLM pagrindas – jį galima valdyti užuominomis (svarbūs žodžiai per
prompt), derinti DPO metodu, o transkripciją toliau apdoroti tuo pačiu modeliu. v1 yra seka-į-seką modelis, atliekantis vienintelį darbą.
Apytikslė taisyklė. Jei reikia tikslios pažodinės švarios lietuvių kalbos transkripcijos – pavyzdžiui, kalbos sintezės duomenims ruošti, – v1 dideliuose švariuose rinkiniuose išlieka tikslesnis. Interaktyviam darbui, „Subtitle Edit“ ar CrispASR diegimui, kur svarbu delsa, atsparumas tylai ir modelio dydis, tinkamesnis v2 – tik dekoduokite jį pluoštine paieška, o ne godžiuoju būdu.
Tarp kitų modelių lentelėje su pluoštu 5 jis antras abiejuose švariuose rinkiniuose – po v1 (8,93 / 5,09 prieš 9,74 / 5,35) – ir lenkia kmynas-v4 (10,56 / 6,56) bei paprika v3 (11,60 / 8,08). Iš šių modelių tik jis patikimai nieko nerašo, kai kalbos nėra, ir tik jis yra koduotuvo ir LLM architektūros.
Šaltiniai
Bazinis modelis
Qwen/Qwen3-ASR-1.7B-hf— https://huggingface.co/Qwen/Qwen3-ASR-1.7B-hf (Apache-2.0). Qwen3-ASR techninė ataskaita; žodžių laiko žymoms –Qwen3-ForcedAligner-0.6B.
Palyginti modeliai
akisviete/azuolas-whisper-lt(Ąžuolas v1) — https://huggingface.co/akisviete/azuolas-whisper-ltpaprika-whisper-lt-v3— https://huggingface.co/kristijonas/paprika-whisper-lt-v3kmynas-parakeet-lt-v3— https://huggingface.co/kristijonas/kmynas-parakeet-lt-v3kmynas-parakeet-lt-v4— https://huggingface.co/kristijonas/kmynas-parakeet-lt-v4
Duomenys
- LIEPA-3 garsynas — Vilniaus universitetas / raštija.lt, CC BY 4.0 —
dėkojame. Portalas: https://www.xn--ratija-ckb.lt (
www.raštija.lt). Naudota kopija: https://huggingface.co/datasets/meldynamics/liepa-3 - FLEURS — https://huggingface.co/datasets/google/fleurs
- Common Voice Corpus 26.0 (lietuvių k.), leidimas
cv-corpus-26.0-2026-06-12— https://commonvoice.mozilla.org/en/datasets - Ilgo įrašo šaltinis: https://www.youtube.com/watch?v=BrfheG5EJR4
Įrankiai
- CrispASR — https://github.com/CrispStrobe/CrispASR (GGUF konvertavimas ir
qwen3/qwen3-1.7bvarikliai, naudoti diegimo matavimams) - Silero VAD — https://github.com/snakers4/silero-vad
Licencija
Svoriai platinami pagal CC BY 4.0 licenciją, perimdami LIEPA-3 garsyno
autorystės nuorodos reikalavimą (Vilniaus universitetas / raštija.lt).
Bazinio modelio Qwen/Qwen3-ASR-1.7B-hf licencija – Apache-2.0. Visi ne
kalbos garsų įrašai yra CC BY 4.0 arba sugeneruoti.
Kontaktai
Klausimai ir pasiūlymai: akisviete@gmail.com.
- Downloads last month
- 438