fix(chunk): paragraph mode gom dong - token_chunker.py

src/token_chunker.py

@@ -114,14 +114,17 @@ def split_for_translation(
         return []
 
     if chunk_mode == "paragraph":
+        # "Theo đoạn": GOM cả đoạn (các dòng nối lại) thành một khối rồi mới chia,
+        # để sentence_chunks pack tới sát cap — KHÁC "sentence" (xử lý từng dòng
+        # riêng). Đoạn ngăn nhau bằng dòng trống vẫn tách (không trộn 2 đoạn).
         paragraphs = [p.strip() for p in re.split(r"\n\s*\n+", text) if p.strip()]
         chunks: list[str] = []
         for paragraph in paragraphs:
-            for line in paragraph.splitlines():
-                line = line.strip()
-                if not line:
-                    continue
-                chunks.extend(sentence_chunks(tokenizer, line, max_tokens=max_tokens))
+            lines = [line.strip() for line in paragraph.splitlines() if line.strip()]
+            if not lines:
+                continue
+            block = "\n".join(lines)
+            chunks.extend(sentence_chunks(tokenizer, block, max_tokens=max_tokens))
         return chunks
 
     chunks = []