README_ko.md

metadata

language:
  - ko
license: apache-2.0
tags:
  - automatic-speech-recognition
  - zipformer
  - transducer
  - causal
  - icefall
  - k2
  - korean
datasets:
  - ksponspeech
metrics:
  - cer
pipeline_tag: automatic-speech-recognition

icefall-asr-ko-streaming-zipformer-72m (한국어)

📖 English README

icefall 레시피로 학습한 71.4M 파라미터 한국어 causal ASR.

• 학습 데이터: KsponSpeech, 약 1,000시간
• KsponSpeech eval CER (구두점 무시, CPU 추론)
  • 7.68% — offline best (chunk=−1 PyTorch + KenLM, RTF 0.057)
  • 8.25% — streaming best (sherpa-onnx int8 chunk-64, RTF 0.038)
• 배포 구성: PyTorch .pt + sherpa-onnx int8 ONNX (chunk 16/32/64, 별도 export 없이 즉시 사용 가능)

모델 정보

icefall Zipformer transducer 기반.

• causal 구조 (chunk-16 / 32 / 64 / -1 multichunk 학습)
• 한국어 음절 vocabulary (2,460 토큰)
• FP16 학습
• 배포 파일: PyTorch epoch-99.pt (3-way state-dict avg, 273 MB) + sherpa-onnx int8 ONNX 9개 (chunk 16/32/64 × encoder/decoder/joiner). 별도 export 없이 즉시 사용 가능

성능 (KsponSpeech eval, CER %, 구두점 무시)

eval_clean 3,000 + eval_other 3,000 = 6,000 cuts. 동일 셋, beam=8, 3-way state-dict avg.

디코딩 모드 — latency 예산에 따라 선택

모드	chunk	clean	other	OVR	RTF	latency
chunk=−1 PyTorch + KenLM λ=0.10 (offline best)	−1	7.63	7.72	7.68	0.057 (CPU 2t)	발화 끝 대기
sherpa-onnx int8 chunk-64	64	8.28	8.22	8.25	0.038 (CPU 1t)	1.28초
sherpa-onnx int8 chunk-32	32	8.45	8.33	8.39	0.039 (CPU 1t)	640ms
sherpa-onnx int8 chunk-16	16	8.63	8.64	8.635	0.052 (CPU 1t)	320ms

streaming 측정은 trailing padding 1x (CHUNK * 0.04 초) 기준. RTF는 clean/other 평균.

chunk=−1 (offline best 7.68%)는 PyTorch 전용: sherpa-onnx는 streaming chunk(16/32/64)만 지원. offline 최고 정확도가 필요하면 epoch-99.pt를 icefall recipe로 직접 디코딩 — 아래 "Option 1 — PyTorch (epoch-99.pt) + icefall recipe" 섹션 참고.

양자화 안전성 — fp32 vs int8 ⭐

같은 KsponSpeech 6,000 cut eval, 동일 1x padding, CPU 1-thread 직접 sweep:

chunk	fp32 OVR	int8 OVR	Δ CER	fp32 RTF	int8 RTF	speedup
16	8.645	8.635	−0.010	0.078	0.052	1.50×
32	8.340	8.390	+0.050	0.060	0.039	1.54×
64	8.115	8.250	+0.135	0.057	0.038	1.50×

int8 양자화 후에도 정확도가 사실상 보존됨 (평균 Δ +0.06%p, 최대 +0.135). CPU 추론 속도는 ~1.5배 빨라짐 — 그래서 배포는 .int8.onnx만 포함. fp32가 필요하면 epoch-99.pt에서 icefall recipe로 재export.

같은 환경에서 직접 측정한 비교 (KsponSpeech eval 6,000 cuts)

모델	params	clean	other	OVR
동반 174M 모델	155.7M	7.18	7.14	7.16
본 모델 (72M)	71.4M	7.63	7.72	7.68
Qwen3-ASR-1.7B (Alibaba)	1,700M	9.76	10.22	9.99
OpenAI Whisper-large-v2	1,550M	13.70	12.64	13.17

모든 모델을 같은 KsponSpeech eval 셋에서 직접 측정. Whisper / Qwen 은 GPU FP16 transformers 기본 옵션, 본 모델은 chunk=−1 PyTorch + KenLM rescore.

디코딩 stack 단계별 효과

Stack	clean	other	OVR
epoch-40 단일, LM 없음	8.11	8.06	8.08
3-way state-dict avg, LM 없음	7.81	7.84	7.83
3-way avg + KenLM λ=0.10 (위 표의 측정 stack)	7.63	7.72	7.68

3-way avg = best-valid + best-train + epoch-40 의 state_dict 평균.

아키텍처

Encoder	Zipformer2 causal, 6 stacks
Encoder dim	192,256,384,512,384,256
Encoder layers	2,2,3,4,3,2
Feedforward dim	512,768,1024,1536,1024,768
Heads	4,4,4,8,4,4
Decoder	Stateless transducer decoder, dim 512
Joiner	dim 512
Vocabulary	한국어 음절, 2,460 토큰
총 파라미터	71.4 M
Causal	Yes
학습 chunk-size	16, 32, 64, −1 multichunk

학습

데이터	KsponSpeech 1,000시간 (AIHub dataset 123)
정밀도	FP16
Loss	Pruned-RNNT + CTC aux (scale 0.2)
Augmentation	SpecAugment (musan/RIR optional)
Optimizer	ScaledAdam
총 epoch	40
배포 checkpoint	best-valid + best-train + epoch-40 의 3-way state_dict 평균

사용

Option 1 — PyTorch (epoch-99.pt) + icefall recipe

icefall recipe (egs/librispeech/ASR/zipformer)로 가중치를 로드하여 추론. chunk size, beam, KenLM, ONNX export, 양자화 등은 자유롭게 조정.

chunk=−1 (offline best 7.68%) 실행 예시:

# epoch-99.pt를 icefall exp dir의 epoch-99.pt로 두고 실행
python zipformer/decode.py \
    --epoch 99 --avg 1 --use-averaged-model 0 \
    --causal 1 --chunk-size -1 --left-context-frames -1 \
    --decoding-method modified_beam_search --beam-size 8

KenLM rescore (λ=0.10) 추가하면 7.68% 재현 가능. 자세한 옵션·KenLM 사용법은 icefall 공식 문서 참고.

Option 2 — sherpa-onnx 스트리밍 (CPU 배포 권장)

# 설치: pip install sherpa-onnx soundfile
import sherpa_onnx
import soundfile as sf

# chunk 선택: 16 (320ms 지연) / 32 / 64
# variant 선택: ".int8" (배포 포함 — 크기 ~1/2, CER 손실 거의 없음)
#               "" (fp32, 배포 미포함 — 필요시 epoch-99.pt에서 재export)
CHUNK = 16
VARIANT = ".int8"

recognizer = sherpa_onnx.OnlineRecognizer.from_transducer(
    encoder=f"encoder-epoch-99-avg-1-chunk-{CHUNK}-left-128{VARIANT}.onnx",
    decoder=f"decoder-epoch-99-avg-1-chunk-{CHUNK}-left-128{VARIANT}.onnx",
    joiner=f"joiner-epoch-99-avg-1-chunk-{CHUNK}-left-128{VARIANT}.onnx",
    tokens="tokens.txt",
    num_threads=2,
    sample_rate=16000,
    feature_dim=80,
    decoding_method="modified_beam_search",
    max_active_paths=8,
)

audio, sr = sf.read("speech.wav")
stream = recognizer.create_stream()
stream.accept_waveform(sr, audio)
# 마지막 chunk가 완전히 디코드되도록 끝에 silence padding
import numpy as np
stream.accept_waveform(16000, np.zeros(int(CHUNK * 0.04 * 16000), dtype=np.float32))
stream.input_finished()
while recognizer.is_ready(stream):
    recognizer.decode_stream(stream)
print(recognizer.get_result(stream))

Chunk size 선택 가이드

chunk	latency	OVR	용도
16	320 ms	8.635	실시간 UX, 최저 interactive 지연
32	640 ms	8.39	균형
64	1.28 s	8.25	스트리밍 best CER (offline 7.68 대비 +0.57)

파일 구성

epoch-99.pt                                                  # PyTorch 3-way state_dict avg (273 MB)
tokens.txt                                                   # 음절 vocab 2,460
README.md / README_ko.md
encoder-epoch-99-avg-1-chunk-{16,32,64}-left-128.int8.onnx   # int8 encoder
decoder-epoch-99-avg-1-chunk-{16,32,64}-left-128.int8.onnx
joiner-epoch-99-avg-1-chunk-{16,32,64}-left-128.int8.onnx

동반 모델

→ icefall-asr-ko-streaming-zipformer-174m — 155.7M params, KSP + AIHub 6,500시간 학습.

라이선스

Apache 2.0.

Citation

@misc{ko-zipformer-72m,
  title  = {icefall-asr-ko-streaming-zipformer-72m: Korean ASR (KsponSpeech)},
  author = {Ken (kangkyu)},
  year   = {2026},
  howpublished = {\url{https://huggingface.co/kangkyu/icefall-asr-ko-streaming-zipformer-72m}}
}

기반:

• icefall
• k2
• KsponSpeech