sync qt2 b453cb6

Sync local qt2 master b453cb66acaef810322ef4f1f6fe844b7c600585 and rebuilt hachimimt-local.zip.

.gitignore

@@ -1,5 +1,12 @@
-models/
-exports/
-__pycache__/
-*.pyc
-.hachimimt.pid
+.hachimimt.pid
+.env.txt
+models/
+exports/
+feedback/
+terminals/
+__pycache__/
+*.pyc
+.env
+.gitnexus
+cship/
+hachimimt-local.zip

src/app.py

@@ -956,10 +956,16 @@ def render_progress_html(pct: float, message: str, running: bool) -> str:
     """
 
 
-def poll_progress_ui(active: bool) -> str:
+def _session_key(request: gr.Request | None) -> str | None:
+    """session_hash của phiên Gradio; None (không lấy được) rơi về key mặc định
+    trong progress_tracker — tức hành vi global cũ, không tệ hơn trước."""
+    return getattr(request, "session_hash", None) if request is not None else None
+
+
+def poll_progress_ui(active: bool, request: gr.Request | None = None) -> str:
     if not active:
         return gr.update()
-    state = snapshot()
+    state = snapshot(session=_session_key(request))
     return render_progress_html(state.pct, state.message, state.running)
 
 
@@ -1313,8 +1319,8 @@ def _build_results(
     )
 
 
-def _progress_stream_update(active: bool = True) -> tuple:
-    state = snapshot()
+def _progress_stream_update(active: bool = True, *, session: str | None = None) -> tuple:
+    state = snapshot(session=session)
     return (
         render_progress_html(state.pct, state.message, state.running),
         active,
@@ -1322,29 +1328,29 @@ def _progress_stream_update(active: bool = True) -> tuple:
     )
 
 
-def _progress_stream_final(results: tuple) -> tuple:
-    state = snapshot()
+def _progress_stream_final(results: tuple, *, session: str | None = None) -> tuple:
+    state = snapshot(session=session)
     return (render_progress_html(state.pct, state.message, state.running), False, *results)
 
 
-def prepare_progress_ui(message: str) -> tuple[str, bool]:
-    set_progress(0, message)
+def prepare_progress_ui(message: str, *, session: str | None = None) -> tuple[str, bool]:
+    set_progress(0, message, session=session)
     return render_progress_html(0, message, True), True
 
 
-def prepare_text_progress_ui(source: str) -> tuple[str, bool]:
+def prepare_text_progress_ui(source: str, request: gr.Request | None = None) -> tuple[str, bool]:
     if not source.strip():
         raise gr.Error("Nhập văn bản tiếng Trung cần dịch.")
-    return prepare_progress_ui("Đang chuẩn bị dịch văn bản...")
+    return prepare_progress_ui("Đang chuẩn bị dịch văn bản...", session=_session_key(request))
 
 
-def prepare_file_progress_ui(file_obj) -> tuple[str, bool]:
+def prepare_file_progress_ui(file_obj, request: gr.Request | None = None) -> tuple[str, bool]:
     if file_obj is None:
         raise gr.Error("Chọn file .txt cần dịch.")
     path = Path(file_obj)
     if path.suffix.lower() != ".txt":
         raise gr.Error("Chỉ hỗ trợ file .txt")
-    return prepare_progress_ui(f"Đang đọc file {path.name}...")
+    return prepare_progress_ui(f"Đang đọc file {path.name}...", session=_session_key(request))
 
 
 def _layout_lines(text: str) -> list[str]:
@@ -1499,6 +1505,7 @@ def _translate_run(
     filename_stem: str,
     summary_prefix: str,
     source_kind: str,
+    session: str | None = None,
 ) -> Iterator[tuple]:
     try:
         source, space_cap_notice = cap_input_for_space(source)
@@ -1515,14 +1522,14 @@ def _translate_run(
         else:
             label = MODELS[model_key].label if model_key in MODELS else model_key
             load_msg = f"Đang tải model {label} từ Hugging Face (lần đầu, vui lòng đợi)..."
-        set_progress(0, load_msg)
-        yield _progress_stream_update()
+        set_progress(0, load_msg, session=session)
+        yield _progress_stream_update(session=session)
 
         resolve_batch_size(auto_batch, manual_batch)
         status = ensure_model(model_key, backend, beam_size)
 
-        set_progress(2, f"{normalize_msg} Đang chia chunk...")
-        yield _progress_stream_update()
+        set_progress(2, f"{normalize_msg} Đang chia chunk...", session=session)
+        yield _progress_stream_update(session=session)
 
         rows: list[tuple[int, str, str]] = []
         full_text = ""
@@ -1551,9 +1558,9 @@ def _translate_run(
 
             pct = round(done / max(total, 1) * 100, 1)
             detail = f"{message} ({pct}%)"
-            set_progress(pct, detail)
+            set_progress(pct, detail, session=session)
             last_progress_update = now
-            yield _progress_stream_update()
+            yield _progress_stream_update(session=session)
 
         translate_seconds = time.perf_counter() - translate_start
 
@@ -1612,7 +1619,10 @@ def _translate_run(
         warning_note = f" Hậu kỳ lỗi, đã giữ bản dịch thô: {postprocess_warning}." if postprocess_warning else ""
         summary = f"{summary_prefix} **{chunk_count}** chunk · {time_note}. {normalize_msg}{fallback_note}{route_note}{honorific_note}{pronoun_note}{warning_note}{space_cap_notice}"
         status = f"{status} · {time_note}"
-        finish_progress(f"Hoàn tất — {chunk_count} chunk trong {duration} (100%)")
+        finish_progress(
+            f"Hoàn tất — {chunk_count} chunk trong {duration} (100%)",
+            session=session,
+        )
 
         feedback_context = _build_feedback_context(
             rows=rows,
@@ -1626,11 +1636,12 @@ def _translate_run(
             pronoun_v9=pronoun_harmonizer_v9,
         )
         yield _progress_stream_final(
-            _build_results(rows, full_text, status, summary, download_path, feedback_context)
+            _build_results(rows, full_text, status, summary, download_path, feedback_context),
+            session=session,
         )
     except Exception as exc:
-        reset_progress(f"Lỗi: {_exception_message(exc)}")
-        yield _progress_stream_update(active=False)
+        reset_progress(f"Lỗi: {_exception_message(exc)}", session=session)
+        yield _progress_stream_update(active=False, session=session)
         raise
 
 
@@ -1646,6 +1657,7 @@ def translate_text_ui(
     pronoun_harmonizer_v9: bool,
     auto_batch: bool,
     manual_batch: float,
+    request: gr.Request | None = None,
 ) -> Iterator[tuple]:
     if not source.strip():
         raise gr.Error("Nhập văn bản tiếng Trung cần dịch.")
@@ -1665,6 +1677,7 @@ def translate_text_ui(
         filename_stem="hachimimt",
         summary_prefix="Đã dịch",
         source_kind="text",
+        session=_session_key(request),
     )
 
 
@@ -1680,6 +1693,7 @@ def translate_file_ui(
     pronoun_harmonizer_v9: bool,
     auto_batch: bool,
     manual_batch: float,
+    request: gr.Request | None = None,
 ) -> Iterator[tuple]:
     if file_obj is None:
         raise gr.Error("Chọn file .txt cần dịch.")
@@ -1707,6 +1721,7 @@ def translate_file_ui(
         filename_stem=path.stem,
         summary_prefix=f"Đã dịch từ `{path.name}` —",
         source_kind="file",
+        session=_session_key(request),
     )
 
 
@@ -1978,8 +1993,8 @@ mục `hachimimt`, chạy `setup.bat` (cài thư viện + tải model mặc đ
 
 - **GPU NVIDIA**: app mặc định chạy CPU; có nút **“Cài torch để bật GPU”** ngay trong
   app (tải ~2–3 GB, một lần) → nhanh hơn nhiều lần với văn bản dài.
-- Các model tự tải từ Hugging Face lần đầu, sau đó chạy **offline**.
-- Bản local mở khoá: chọn 8 model, dịch file `.txt`, không giới hạn CPU như Space.""",
+- Các model tự tải từ Hugging Face lần đầu, sau đó chạy **offline**.
+- Bản local mở khoá: chọn 8 model, dịch file `.txt`, không giới hạn CPU như Space.""",
                     elem_classes=["info-card"],
                 )
 

src/line_restore.py

@@ -164,6 +164,12 @@ def restore_line_breaks_by_dp(
 
     n = len(nonblank)
     m = len(target_units)
+    # DP là O(n·m²) — chỉ rẻ ở quy mô chunk (CT2 plan-path: n ≤ ~12). Đường
+    # legacy (plan=None, backend PyTorch) có thể đưa cả tài liệu vào đây:
+    # 400 dòng/1200 câu đo được ~26s, 2000 dòng ~50 phút. Vượt ngân sách →
+    # trả None để caller dùng sentence-proportional (tuyến tính).
+    if n * m * m > 100_000_000:
+        return None, "dp-too-large"
     source_chars = [max(len(line), 1) for line in nonblank]
     target_chars = [max(len(unit), 1) for unit in target_units]
     total_source = max(sum(source_chars), 1)
@@ -426,6 +432,11 @@ def assemble_paragraph_output(
             if not line_indices:
                 continue
 
+            # Invariant với translator: fallback được chọn theo NGUYÊN CHUNK
+            # (paragraph_chunk_fallback_indices trả chunk-index, mọi line của
+            # chunk đó đều được dịch lại) nên all() ở đây nhận trọn chunk hoặc
+            # không gì cả. Nếu đổi sang fallback theo dòng lẻ, phải chuyển sang
+            # xử lý per-line, không thì các dòng partial bị bỏ qua âm thầm.
             if all(line_index in fallback_line_translations for line_index in line_indices):
                 for line_index in line_indices:
                     line_parts[line_index].append(fallback_line_translations[line_index].strip())

src/progress_tracker.py

@@ -1,8 +1,15 @@
-"""Shared progress state — polled by UI timer during long translation."""
+"""Shared progress state — polled by UI timer during long translation.
+
+Per-session: mỗi phiên Gradio (tab/trình duyệt, key theo request.session_hash)
+có ProgressState riêng — nhiều người dùng đồng thời (HF Space) không đè thanh
+tiến trình của nhau. Handler không lấy được session (None) rơi về key mặc định,
+tức hành vi global cũ — an toàn cho single-user local và mọi đường gọi cũ.
+"""
 
 from __future__ import annotations
 
 import threading
+from collections import OrderedDict
 from dataclasses import dataclass
 
 
@@ -13,35 +20,61 @@ class ProgressState:
     running: bool = False
 
 
+_DEFAULT_KEY = "__default__"
+_MAX_SESSIONS = 256  # LRU cap — Space chạy dài ngày không tích state vô hạn
+
 _lock = threading.Lock()
-_state = ProgressState()
+_states: OrderedDict[str, ProgressState] = OrderedDict()
+
+
+def _state_for(session: str | None) -> ProgressState:
+    """Lấy state của session, tạo mới nếu chưa có. Phải gọi TRONG _lock."""
+    key = session or _DEFAULT_KEY
+    state = _states.get(key)
+    if state is None:
+        state = ProgressState()
+        _states[key] = state
+    _states.move_to_end(key)
+    while len(_states) > _MAX_SESSIONS:
+        _states.popitem(last=False)
+    return state
 
 
-def set_progress(pct: float, message: str, *, running: bool = True) -> None:
+def set_progress(
+    pct: float,
+    message: str,
+    *,
+    running: bool = True,
+    session: str | None = None,
+) -> None:
     with _lock:
-        _state.pct = max(0.0, min(100.0, float(pct)))
-        _state.message = message
-        _state.running = running
+        state = _state_for(session)
+        state.pct = max(0.0, min(100.0, float(pct)))
+        state.message = message
+        state.running = running
 
 
-def finish_progress(message: str) -> None:
+def finish_progress(message: str, *, session: str | None = None) -> None:
     with _lock:
-        _state.pct = 100.0
-        _state.message = message
-        _state.running = False
+        state = _state_for(session)
+        state.pct = 100.0
+        state.message = message
+        state.running = False
 
 
-def reset_progress(message: str = "Sẵn sàng.") -> None:
+def reset_progress(message: str = "Sẵn sàng.", *, session: str | None = None) -> None:
     with _lock:
-        _state.pct = 0.0
-        _state.message = message
-        _state.running = False
+        state = _state_for(session)
+        state.pct = 0.0
+        state.message = message
+        state.running = False
 
 
-def snapshot() -> ProgressState:
+def snapshot(session: str | None = None) -> ProgressState:
     with _lock:
+        state = _state_for(session)
         return ProgressState(
-            pct=_state.pct,
-            message=_state.message,
-            running=_state.running,
-        )
+            pct=state.pct,
+            message=state.message,
+            running=state.running,
+        )

src/translator.py

@@ -75,10 +75,10 @@ class ModelConfig:
 
 
 MODELS: dict[str, ModelConfig] = {
-    "HachimiMT-60": ModelConfig(
-        label="HachimiMT-60",
-        model_id="ngocdang83/HachimiMT-60-zh-vi",
-        use_marian_class=True,
+    "HachimiMT-60": ModelConfig(
+        label="HachimiMT-60",
+        model_id="ngocdang83/HachimiMT-60-zh-vi",
+        use_marian_class=True,
         generate_kwargs={
             "max_new_tokens": 300,
             # BỎ no_repeat_ngram_size=2 (đo 2026-06-26, entity-drift probe): cùng
@@ -95,30 +95,30 @@ MODELS: dict[str, ModelConfig] = {
         # cap = 1 chunk; chỉ dòng rất dài bị char-split nhỏ hơn, tự ghép lại 1 dòng).
         ct2_max_input_tokens=160,
         ct2_max_output_tokens=300,
-        default_beam=2,
-        ct2_size_mb=57,
-    ),
-    "HachimiMT-60-QT": ModelConfig(
-        label="HachimiMT-60-QT",
-        model_id="ngocdang83/HachimiMT-60-QT",
-        use_marian_class=True,
-        generate_kwargs={
-            "max_new_tokens": 300,
-            # QT-register variant: same 60M Marian family as HachimiMT-60, but
-            # targets are normalized toward ta/nguoi/han/nang. Keep the 60M
-            # decode profile and DO NOT add no_repeat_ngram_size: 711d70e showed
-            # no_repeat causes duplicate-name entity drift. repetition_penalty
-            # was isolated as safe there.
-            "repetition_penalty": 1.2,
-        },
-        ct2_max_input_tokens=160,
-        ct2_max_output_tokens=300,
-        default_beam=2,
-        ct2_size_mb=58,
-    ),
-    "HachimiMT-30": ModelConfig(
-        label="HachimiMT-30",
-        model_id="ngocdang83/HachimiMT-30-zh-vi",
+        default_beam=2,
+        ct2_size_mb=57,
+    ),
+    "HachimiMT-60-QT": ModelConfig(
+        label="HachimiMT-60-QT",
+        model_id="ngocdang83/HachimiMT-60-QT",
+        use_marian_class=True,
+        generate_kwargs={
+            "max_new_tokens": 300,
+            # QT-register variant: same 60M Marian family as HachimiMT-60, but
+            # targets are normalized toward ta/nguoi/han/nang. Keep the 60M
+            # decode profile and DO NOT add no_repeat_ngram_size: 711d70e showed
+            # no_repeat causes duplicate-name entity drift. repetition_penalty
+            # was isolated as safe there.
+            "repetition_penalty": 1.2,
+        },
+        ct2_max_input_tokens=160,
+        ct2_max_output_tokens=300,
+        default_beam=2,
+        ct2_size_mb=58,
+    ),
+    "HachimiMT-30": ModelConfig(
+        label="HachimiMT-30",
+        model_id="ngocdang83/HachimiMT-30-zh-vi",
         use_marian_class=False,
         generate_kwargs={
             "max_length": 512,
@@ -157,11 +157,11 @@ MODELS: dict[str, ModelConfig] = {
         ct2_size_mb=58,
         ct2_subdir="ct2-int8",  # repo này dùng tên thư mục CT2 khác
     ),
-    "MoxhiMT-30": ModelConfig(
-        label="MoxhiMT-30",
-        model_id="DanVP/MoxhiMT-30",
-        use_marian_class=True,
-        generate_kwargs={
+    "MoxhiMT-30": ModelConfig(
+        label="MoxhiMT-30",
+        model_id="DanVP/MoxhiMT-30",
+        use_marian_class=True,
+        generate_kwargs={
             "max_new_tokens": 300,
             # BỎ no_repeat_ngram_size (đo 2026-06-26, entity-drift probe 72 câu):
             # =2 CẤM CỨNG tên 2-token lặp (vd [Mặc][Hoạ]) → decoder buộc viết lại
@@ -178,32 +178,32 @@ MODELS: dict[str, ModelConfig] = {
         # source cap short enough to split long entity-heavy paragraphs.
         ct2_max_input_tokens=160,
         ct2_max_output_tokens=512,
-        default_beam=2,
-        ct2_size_mb=38,
-    ),
-    "MoxhiMT-30-QT": ModelConfig(
-        label="MoxhiMT-30-QT",
-        model_id="DanVP/MoxhiMT-30-QT",
-        use_marian_class=True,
-        generate_kwargs={
-            "max_new_tokens": 300,
-            # QT-register variant: same 37M Marian family as MoxhiMT-30, but
-            # targets are normalized toward ta/nguoi/han/nang. Keep the short
-            # 30M input cap and DO NOT add no_repeat_ngram_size: 711d70e showed
-            # no_repeat causes duplicate-name entity drift. repetition_penalty
-            # was isolated as safe there. Default beam stays 1 because this model
-            # is meant as a simple stable-pronoun option.
-            "repetition_penalty": 1.2,
-        },
-        ct2_max_input_tokens=160,
-        ct2_max_output_tokens=512,
-        default_beam=1,
-        ct2_size_mb=38,
-    ),
-    "HirashibaMT-Medium": ModelConfig(
-        label="HirashibaMT-Medium",
-        model_id="Moleys/hirashiba-mt-medium",
-        use_marian_class=True,
+        default_beam=2,
+        ct2_size_mb=38,
+    ),
+    "MoxhiMT-30-QT": ModelConfig(
+        label="MoxhiMT-30-QT",
+        model_id="DanVP/MoxhiMT-30-QT",
+        use_marian_class=True,
+        generate_kwargs={
+            "max_new_tokens": 300,
+            # QT-register variant: same 37M Marian family as MoxhiMT-30, but
+            # targets are normalized toward ta/nguoi/han/nang. Keep the short
+            # 30M input cap and DO NOT add no_repeat_ngram_size: 711d70e showed
+            # no_repeat causes duplicate-name entity drift. repetition_penalty
+            # was isolated as safe there. Default beam stays 1 because this model
+            # is meant as a simple stable-pronoun option.
+            "repetition_penalty": 1.2,
+        },
+        ct2_max_input_tokens=160,
+        ct2_max_output_tokens=512,
+        default_beam=1,
+        ct2_size_mb=38,
+    ),
+    "HirashibaMT-Medium": ModelConfig(
+        label="HirashibaMT-Medium",
+        model_id="Moleys/hirashiba-mt-medium",
+        use_marian_class=True,
         generate_kwargs={
             "max_new_tokens": 256,
         },
@@ -671,12 +671,21 @@ def model_local_dir(config: ModelConfig) -> Path:
 
 
 def _ct2_ready(path: Path, ct2_subdir: str = DEFAULT_CT2_SUBDIR) -> bool:
-    ct2_path = path / ct2_subdir
-    return ct2_path.is_dir() and any(ct2_path.iterdir())
+    # model.bin >0 byte, không phải "thư mục có file bất kỳ": download dở
+    # (mất mạng/Ctrl-C) để lại file phụ → ready giả → CT2 crash khó hiểu.
+    model_bin = path / ct2_subdir / "model.bin"
+    try:
+        return model_bin.is_file() and model_bin.stat().st_size > 0
+    except OSError:
+        return False
 
 
 def _pytorch_ready(path: Path) -> bool:
-    return any(path.glob("*.safetensors")) or any(path.glob("pytorch_model*.bin"))
+    try:
+        weight_files = [*path.glob("*.safetensors"), *path.glob("pytorch_model*.bin")]
+        return any(f.is_file() and f.stat().st_size > 0 for f in weight_files)
+    except OSError:
+        return False
 
 
 def _tokenizer_ready(path: Path) -> bool: