switch to v5 + han-only drop

app.py

@@ -15,9 +15,9 @@ from pydantic import BaseModel
 from huggingface_hub import list_repo_files
 from optimum.onnxruntime import ORTModelForTokenClassification
 from transformers import AutoTokenizer, pipeline
-from span_postproc import trim_span_offsets, is_stopword, nfc
+from span_postproc import trim_span_offsets, is_stopword, nfc, has_hangul
 
-MODEL_REPO = "m6dd8m/wl-ko-ner-v2"                        # ONNX 가중치 (operator 공개)
+MODEL_REPO = "m6dd8m/wl-ko-ner-v5"                        # ONNX 가중치 (v5 멀티봇 + Q3 후처리)
 TOK_REPO   = "monologg/koelectra-base-v3-discriminator"  # 토크나이저 (파인튜닝해도 동일)
 
 # 1) repo 안의 .onnx 자동 탐지 — fp32 우선.
@@ -46,6 +46,8 @@ def _spans(entities, text):
         s, en = int(e["start"]), int(e["end"])
         if typ in _TRIM:
             s, en, surf = trim_span_offsets(text, s, en)     # CHEAP-1 한자괄호 트리밍 (surface+offset)
+            if not has_hangul(surf):                          # 한글 0 = 한자 주석 잔재(pipeline 분리) → 드롭
+                continue
         else:
             surf = e["word"]
         surf = (surf or "").strip()

span_postproc.py

@@ -31,6 +31,11 @@ def _is_hangul(c):
     return "가" <= c <= "힣"
 
 
+def has_hangul(s):
+    """문자열에 한글 음절이 하나라도 있나 — 한자-only/괄호 잔재(예: pipeline 이 쪼갠 '陝西') 판별용."""
+    return any(_is_hangul(c) for c in (s or ""))
+
+
 def _is_cjk(c):
     """CJK 통합한자(+확장 A/호환). 한글 prefix 뒤 한자 주석 판정용."""
     o = ord(c)
@@ -102,7 +107,12 @@ def postprocess(preds):
     seen = set()
     for p in preds:
         surf, typ = p[0], p[1]
-        s = trim_affix(surf) if typ in _TRIM_TYPES else (surf or "").strip()
+        if typ in _TRIM_TYPES:
+            s = trim_affix(surf)
+            if not has_hangul(s):       # 트리밍 후 한글 0 = 한자/괄호 잔재(pipeline 이 쪼갠 '陝西' 등) → 드롭
+                continue
+        else:
+            s = (surf or "").strip()
         if not s:
             continue
         if is_stopword(s, typ):
@@ -157,8 +167,8 @@ if __name__ == "__main__":
 
     # 통합: 섬서( 가 트리밍되어 gold 와 매칭되는지 + offset 트리밍
     print("\n[post] 통합 후처리:")
-    pp = postprocess([("섬서(", "LC"), ("하나", "PS"), ("그날", "DT"), ("에단 킴", "PS")])
-    exp_pp = [("섬서", "LC"), ("에단 킴", "PS")]
+    pp = postprocess([("섬서(", "LC"), ("陝西", "LC"), ("하나", "PS"), ("그날", "DT"), ("에단 킴", "PS")])
+    exp_pp = [("섬서", "LC"), ("에단 킴", "PS")]   # 陝西(한자only)·하나(PS)·그날(DT) 드롭
     flag = "OK" if pp == exp_pp else "XX"
     ok += pp == exp_pp
     print(f"   [{flag}] postprocess(...) = {pp}  (기대 {exp_pp})")