sync honorific_normalize.py (Codex harden honorific+V9 guards)

src/honorific_normalize.py

@@ -22,10 +22,14 @@ import re
 import unicodedata
 from collections import Counter
 
+from text_preprocess import NORMALIZE_T2S, normalize_chinese_text
+
 HONORIFIC_OFF = "off"
 HONORIFIC_SAFE = "safe"
 HONORIFIC_STRICT = "xianxia_strict"
 HONORIFIC_MODES = {HONORIFIC_OFF, HONORIFIC_SAFE, HONORIFIC_STRICT}
+KINSHIP_MODES = {"always", "classical_only"}
+_BOUNDARY_CHARS = r"\wÀ-ỹ"
 
 # ---------------------------------------------------------------------------
 # Bảng tra: ZH-term → {hv (đích Hán-Việt), drift (biến thể VI cần thay), tier}
@@ -106,6 +110,13 @@ _TARGET_LONG_PHRASES = tuple(
         reverse=True,
     )
 )
+_RECOGNIZE_ONLY_TARGET_PHRASES = (
+    "anh ấy", "anh ta", "chị ấy", "chị ta", "em ấy", "em ta",
+    "các anh", "các chị", "các em",
+)
+_PROTECTED_TARGET_PHRASES = tuple(
+    sorted(set(_TARGET_LONG_PHRASES) | set(_RECOGNIZE_ONLY_TARGET_PHRASES), key=len, reverse=True)
+)
 _GENERIC_KINSHIP_SINGLE_DRIFTS = {"anh", "chị", "em"}
 
 WUXIA_SIGNALS = [
@@ -166,7 +177,7 @@ def _match_case(new: str, old: str) -> str:
 
 
 def _target_spans(text: str, phrase: str) -> list[tuple[int, int]]:
-    pat = r"(?<![A-Za-zÀ-ỹ])" + re.escape(phrase) + r"(?![A-Za-zÀ-ỹ])"
+    pat = rf"(?<![{_BOUNDARY_CHARS}])" + re.escape(phrase) + rf"(?![{_BOUNDARY_CHARS}])"
     return [(m.start(), m.end()) for m in re.finditer(pat, text, flags=re.IGNORECASE)]
 
 
@@ -177,7 +188,7 @@ def _inside_any_span(start: int, end: int, spans: list[tuple[int, int]]) -> bool
 def _protected_target_spans(vi: str, current_variant: str) -> list[tuple[int, int]]:
     """Các phrase dài không được để drift một từ ăn vào giữa."""
     spans: list[tuple[int, int]] = []
-    for phrase in _TARGET_LONG_PHRASES:
+    for phrase in _PROTECTED_TARGET_PHRASES:
         if phrase == current_variant:
             continue
         if f" {current_variant.casefold()}" not in f" {phrase.casefold()}":
@@ -190,11 +201,34 @@ def _has_pronoun_competition(variant: str, source_mentions: list[str]) -> bool:
     variant = variant.casefold()
     if variant == "anh":
         return "他" in source_mentions
+    if variant == "chị":
+        return "她" in source_mentions
     if variant == "em":
         return "你" in source_mentions
     return False
 
 
+def _remaining_rewrite_budgets(source_mentions: list[str], vi: str) -> Counter[str]:
+    """Số mention nguồn còn được rewrite sau khi target đã có canonical.
+
+    Nếu `哥哥` đã được dịch thành `ca ca`, mention đó đã được tiêu thụ và không
+    được tiếp tục lấy một `anh` khác trong cùng câu để đổi thêm.
+    """
+    budgets: Counter[str] = Counter()
+    for term, source_count in Counter(source_mentions).items():
+        entry = HONORIFIC_MAP.get(term) or {}
+        hv = entry.get("hv")
+        if not hv:
+            continue
+        budgets[term] = max(0, source_count - len(_target_spans(vi, hv)))
+    return budgets
+
+
+def _normalize_kinship_mode(kinship_mode: str | None) -> str:
+    mode = (kinship_mode or "always").strip().lower()
+    return mode if mode in KINSHIP_MODES else "classical_only"
+
+
 def _replace_one_drift(
     vi: str,
     variants: list[str],
@@ -202,7 +236,7 @@ def _replace_one_drift(
     *,
     tier: str,
     source_mentions: list[str],
-) -> str:
+) -> tuple[str, int]:
     """Thay một mention theo thứ tự nguồn.
 
     Nếu chỉ còn drift một từ mơ hồ (`anh/chị/em`) trong dòng có đại từ nguồn
@@ -213,7 +247,7 @@ def _replace_one_drift(
         if tier.startswith("kinship") and v.casefold() in _GENERIC_KINSHIP_SINGLE_DRIFTS:
             if _has_pronoun_competition(v, source_mentions):
                 continue
-        pat = r"(?<![A-Za-zÀ-ỹ])(" + re.escape(v) + r")(?![A-Za-zÀ-ỹ])"
+        pat = rf"(?<![{_BOUNDARY_CHARS}])(" + re.escape(v) + rf")(?![{_BOUNDARY_CHARS}])"
         protected_spans = _protected_target_spans(vi, v)
 
         def repl(m):
@@ -226,7 +260,7 @@ def _replace_one_drift(
         vi = re.sub(pat, repl, vi, flags=re.IGNORECASE)
         if done:
             break
-    return vi
+    return vi, done
 
 
 def _skip(tier: str, classical: bool, apply_kinship: bool, apply_pronouns: bool,
@@ -281,13 +315,17 @@ def normalize_honorifics(zh: str, vi: str, mode: str | None = None,
 
     if (not apply_kinship and not apply_pronouns) or not vi or not zh:
         return vi
+    kinship_mode = _normalize_kinship_mode(kinship_mode)
     vi = unicodedata.normalize("NFC", vi)
-    zh = unicodedata.normalize("NFC", zh)
+    zh = unicodedata.normalize("NFC", normalize_chinese_text(zh, NORMALIZE_T2S))
     mentions = longest_match_mentions(zh)
     if not mentions:
         return vi
     classical = bool(classical_context) if classical_context is not None else is_classical(zh)
+    rewrite_budgets = _remaining_rewrite_budgets(mentions, vi)
     for term in mentions:
+        if rewrite_budgets[term] <= 0:
+            continue
         entry = HONORIFIC_MAP[term]
         hv = entry.get("hv")
         if hv is None:
@@ -298,13 +336,14 @@ def normalize_honorifics(zh: str, vi: str, mode: str | None = None,
         drift = entry.get("drift", [])
         if not drift:
             continue
-        vi = _replace_one_drift(
+        vi, changed = _replace_one_drift(
             vi,
             drift,
             hv,
             tier=entry["tier"],
             source_mentions=mentions,
         )
+        rewrite_budgets[term] -= changed
     return vi