ngocdang83 commited on
Commit
d289e1e
·
verified ·
1 Parent(s): 2a0893b

Warmup trong load() (mọi môi trường) — lần dịch đầu nhanh + đo sạch

Browse files
Files changed (1) hide show
  1. src/app.py +1 -3
src/app.py CHANGED
@@ -1515,10 +1515,8 @@ def main() -> None:
1515
  f"batch={os.environ.get('HACHIMIMT_BATCH_SIZE')} — cache + warmup {DEFAULT_MODEL_KEY}...",
1516
  flush=True)
1517
  ensure_model_files(MODELS[DEFAULT_MODEL_KEY], Backend.CT2)
1518
- # WARMUP: dịch 1 câu để CTranslate2 nạp weights + cấp phát buffer (cold
1519
- # run đầu rất chậm). Space demo cũ có bước này → user dịch là nhanh ngay.
1520
  translator.load(DEFAULT_MODEL_KEY, Backend.CT2)
1521
- translator.translate_chunk("他抬头看向远处。", beam_size=1)
1522
  print(f"[Space] Đã cache + warmup {DEFAULT_MODEL_KEY}.", flush=True)
1523
  except Exception as exc: # noqa: BLE001 — preload best-effort, không fatal
1524
  print(f"[Space] Preload/warmup lỗi (sẽ lazy khi dịch): {exc}", flush=True)
 
1515
  f"batch={os.environ.get('HACHIMIMT_BATCH_SIZE')} — cache + warmup {DEFAULT_MODEL_KEY}...",
1516
  flush=True)
1517
  ensure_model_files(MODELS[DEFAULT_MODEL_KEY], Backend.CT2)
1518
+ # load() đã tự warmup (dịch 1 câu) → user dịch là nhanh ngay.
 
1519
  translator.load(DEFAULT_MODEL_KEY, Backend.CT2)
 
1520
  print(f"[Space] Đã cache + warmup {DEFAULT_MODEL_KEY}.", flush=True)
1521
  except Exception as exc: # noqa: BLE001 — preload best-effort, không fatal
1522
  print(f"[Space] Preload/warmup lỗi (sẽ lazy khi dịch): {exc}", flush=True)