gogo

README.md

@@ -1,14 +1,26 @@
 ---
-title: Wl Ko Ner
-emoji: 🏆
-colorFrom: blue
-colorTo: yellow
+title: WygLore Leaf Korean NER
 sdk: gradio
-sdk_version: 6.15.2
-python_version: '3.13'
 app_file: app.py
 pinned: false
-short_description: WygLore NER Service
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# WygLore Leaf — Korean NER endpoint
+
+`wl-ko-ner-v2` (RP 도메인 적응) ONNX 를 CPU 로 서빙. 한국어 텍스트 -> 엔티티 스팬 (PS / LC / OG / DT / TI / QT).
+
+- **용도**: WygLore Leaf 플러그인의 *모바일 저메모리 폴백* — on-device 로 모델(215-430MB)을 못 올리는 기기가 이 엔드포인트에 *NER 추론만* 위임. canon-앵커 / POS 필터 / assemble 은 플러그인 JS 가 그대로 수행.
+- **모델**: [m6dd8m/wl-ko-ner-v2](https://huggingface.co/m6dd8m/wl-ko-ner-v2) (CC-BY-SA-4.0). 토크나이저는 base `monologg/koelectra-base-v3-discriminator`.
+- **출력 모양**: on-device `ner.js` 와 동일 — `[{text, type, score, start, end}, ...]`.
+- **API** (FastAPI, 한 방 JSON):
+  - `POST /extract` — `{"text":"..."}` -> `{"entities":[{text,type,score,start,end}, ...]}`
+  - `POST /extract_batch` — `{"texts":[...]}` -> `{"results":[[...], ...]}` (콜드스타트 배치, max 512)
+  - `GET /health` -> `{ok, model, onnx}` · `GET /docs` -> 인터랙티브 Swagger UI
+  - UI(테스트용)는 `/` 그대로. 플러그인은 `/extract` 를 `host.nativeFetch` 로 호출. ※ fastapi/uvicorn 은 gradio 의존성이라 requirements 불요.
+
+## 한계 / TODO (프로덕션 전)
+
+- 무료 CPU Space: 48h *무트래픽* 시 sleep -> 첫 요청 ~30-60s wake (일일 트래픽 있으면 계속 깨어있음).
+- abuse 보호 없음 (public URL) — rate-limit / 토큰은 FastAPI 이주 시 추가.
+- 프라이버시: 텍스트가 HF 인프라 경유 (클라우드-LLM 유저 무방 / 로컬 Ollama 의 완전-로컬은 깨짐 / NER=태깅이라 생성 ToS 리스크 낮음).
+- 첫 부팅 로그(`[boot] ...`)에서 (a) 어떤 onnx 가 선택됐는지, (b) `id2label` 이 `B-PS..` 인지(=정상) `LABEL_0..` 인지(=라벨맵 필요) 확인.

app.py

@@ -1,11 +1,15 @@
-# WygLore Leaf — Korean NER inference endpoint (HF Space · Gradio)
+# WygLore Leaf — Korean NER endpoint (HF Space)
 #
-# wl-ko-ner-v2 (RP 도메인 적응 ONNX) 를 CPU 로 서빙해 text -> 엔티티 스팬을 내준다.
-# 용도: 플러그인의 *모바일 저메모리 폴백*. on-device 로 모델(215-430MB)을 못 올리는
-#       기기가 이 엔드포인트로 *NER 추론만* 위임. canon-앵커 / POS 필터 / assemble 은
-#       플러그인 JS 가 그대로 수행 (서버는 무거운 모델 추론만 = 얇은 엔드포인트).
+# Gradio 테스트 UI (/) + 깔끔한 FastAPI JSON API (/extract · /extract_batch · /health).
+# 플러그인은 /extract 를 host.nativeFetch 로 *한 방* 호출 (모바일 저메모리 폴백).
+# 무거운 모델 추론만 여기서; canon-앵커 / POS 필터 / assemble 은 플러그인 JS 가 그대로.
+#
+# ※ fastapi/uvicorn/pydantic 은 gradio 의존성으로 이미 설치됨 -> requirements 불요.
 
 import gradio as gr
+from fastapi import FastAPI, HTTPException
+from fastapi.middleware.cors import CORSMiddleware
+from pydantic import BaseModel
 from huggingface_hub import list_repo_files
 from optimum.onnxruntime import ORTModelForTokenClassification
 from transformers import AutoTokenizer, pipeline
@@ -13,46 +17,79 @@ from transformers import AutoTokenizer, pipeline
 MODEL_REPO = "m6dd8m/wl-ko-ner-v2"                        # ONNX 가중치 (operator 공개)
 TOK_REPO   = "monologg/koelectra-base-v3-discriminator"  # 토크나이저 (파인튜닝해도 동일)
 
-# 1) repo 안의 .onnx 파일명 자동 탐지 — fp32 우선.
-#    (서버는 CPU 라 fp16 shader 불요, fp32 가 가장 호환 안전. repo 구조 몰라도 OK.)
+# 1) repo 안의 .onnx 자동 탐지 — fp32 우선 (서버 CPU 라 fp16 shader 불요).
 onnx_files = [f for f in list_repo_files(MODEL_REPO) if f.endswith(".onnx")]
 if not onnx_files:
-    raise RuntimeError(f"{MODEL_REPO} 에 .onnx 가 없음 — repo 내용을 확인하세요")
+    raise RuntimeError(f"{MODEL_REPO} 에 .onnx 가 없음 — repo 내용 확인")
 onnx_path = next((f for f in onnx_files if "fp32" in f.lower()), onnx_files[0])
 subfolder, onnx_name = (onnx_path.rsplit("/", 1) if "/" in onnx_path else ("", onnx_path))
-print(f"[boot] onnx 후보 {onnx_files} -> 선택 '{onnx_path}'")
+print(f"[boot] onnx -> '{onnx_path}'")
 
-# 2) 모델(=repo, NER 라벨 config 포함) + 토크나이저(=base) + pipeline.
+# 2) 모델 + 토크나이저 + pipeline.
 model = ORTModelForTokenClassification.from_pretrained(
     MODEL_REPO, file_name=onnx_name, subfolder=subfolder)
 tok = AutoTokenizer.from_pretrained(TOK_REPO)
-print(f"[boot] id2label = {model.config.id2label}")  # B-PS.. 면 정상 / LABEL_0.. 면 라벨맵 필요
+print(f"[boot] id2label = {model.config.id2label}")
 ner = pipeline("token-classification", model=model, tokenizer=tok,
-               aggregation_strategy="simple")  # 서브워드 -> 엔티티 스팬으로 묶음
+               aggregation_strategy="simple")
+
+# 3) pipeline 출력 -> on-device ner.js 와 동일 모양 (type/text/score/start/end).
+def _spans(entities):
+    return [
+        {"text":  e["word"],
+         "type":  e["entity_group"],   # PS / LC / OG / DT / TI / QT
+         "score": float(e["score"]),
+         "start": int(e["start"]),
+         "end":   int(e["end"])}
+        for e in entities
+    ]
 
-# 3) 출력 모양을 on-device ner.js 와 *동일하게* (type/text/score/start/end).
-#    플러그인이 "로컬이든 서버든 같은 모양" 으로 받아 라우팅 단순.
 def extract(text):
     if not text or not text.strip():
         return []
-    return [
-        {
-            "text":  e["word"],
-            "type":  e["entity_group"],   # PS / LC / OG / DT / TI / QT
-            "score": float(e["score"]),    # numpy float -> JSON 안전 캐스팅
-            "start": int(e["start"]),
-            "end":   int(e["end"]),
-        }
-        for e in ner(text)
-    ]
+    return _spans(ner(text))
+
+# ───────────────────────── FastAPI (깔끔한 JSON API) ─────────────────────────
+app = FastAPI(title="WygLore Leaf Korean NER")
+app.add_middleware(CORSMiddleware, allow_origins=["*"],
+                   allow_methods=["*"], allow_headers=["*"])
 
-# 4) Gradio = 화면(손 테스트용) + API(/run/predict 류) 둘 다 자동 제공.
+class OneReq(BaseModel):
+    text: str
+
+class BatchReq(BaseModel):
+    texts: list[str]
+
+@app.get("/health")
+def health():
+    return {"ok": True, "model": MODEL_REPO, "onnx": onnx_path}
+
+@app.post("/extract")            # 한 방: {"text": "..."} -> {"entities": [...]}
+def extract_api(req: OneReq):
+    return {"entities": extract(req.text)}
+
+@app.post("/extract_batch")      # 배치(콜드스타트 효율): {"texts": [...]} -> {"results": [[...], ...]}
+def extract_batch_api(req: BatchReq):
+    if len(req.texts) > 512:     # 가벼운 abuse/메모리 가드
+        raise HTTPException(400, "batch too large (max 512)")
+    idx = [i for i, t in enumerate(req.texts) if t and t.strip()]
+    outs = ner([req.texts[i] for i in idx]) if idx else []
+    results = [[] for _ in req.texts]
+    for k, i in enumerate(idx):
+        results[i] = _spans(outs[k])
+    return {"results": results}
+
+# ───────────────────────── Gradio 테스트 UI 를 / 에 마운트 ─────────────────────────
 demo = gr.Interface(
     fn=extract,
     inputs=gr.Textbox(lines=4, label="한국어 텍스트",
-                      placeholder="새봄이 USB 를 들고 감찰국으로 향했다."),
+                      placeholder="새봄이 여의도에서 안도현을 만났다."),
     outputs=gr.JSON(label="엔티티 스팬"),
     title="WygLore Leaf — Korean NER (wl-ko-ner-v2)",
-    description="RP 도메인 적응 NER. text -> 엔티티 스팬. 모바일 저메모리 폴백용 엔드포인트.",
+    description="UI=테스트용 · API=POST /extract · 배치=/extract_batch · 문서=/docs",
 )
-demo.queue(max_size=32).launch()  # queue = 동시 요청 폭주 완충
+app = gr.mount_gradio_app(app, demo, path="/")  # API 라우트가 먼저 등록돼 우선 매칭
+
+if __name__ == "__main__":
+    import uvicorn
+    uvicorn.run(app, host="0.0.0.0", port=7860)  # HF Space 기대 포트