feat(sentence): giu dong trong - token_chunker.py

src/token_chunker.py

@@ -107,6 +107,39 @@ def sentence_chunks(
     return chunks
 
 
+def _layout_lines(text: str) -> list[str]:
+    """Tách dòng GIỮ dòng rỗng đầu/cuối, chuẩn hóa newline (cho plan-based)."""
+    return (text or "").replace("\r\n", "\n").replace("\r", "\n").split("\n")
+
+
+def split_sentence_lines_with_plan(
+    tokenizer: PreTrainedTokenizerBase,
+    text: str,
+    *,
+    max_tokens: int,
+) -> tuple[list[str], list[list[int] | None]]:
+    """Chia "Theo câu" KÈM plan ánh xạ dòng-nguồn → chunk-index.
+
+    Trả `(chunks, plan)` với `plan` theo TỪNG dòng nguồn (giữ cả dòng trống):
+    `None` nếu dòng trống, hoặc danh sách index các chunk thuộc dòng đó (một dòng
+    dài vượt cap có thể tách thành nhiều chunk → nhiều index). Cho phép ghép lại
+    output theo đúng bố cục dòng nguồn (giữ dòng trống), điều mà `split_for_
+    translation` thường (trả phẳng list[str]) không làm được.
+    """
+    chunks: list[str] = []
+    plan: list[list[int] | None] = []
+    for line in _layout_lines(text):
+        stripped = line.strip()
+        if not stripped:
+            plan.append(None)
+            continue
+        line_chunks = sentence_chunks(tokenizer, stripped, max_tokens=max_tokens)
+        indices = list(range(len(chunks), len(chunks) + len(line_chunks)))
+        chunks.extend(line_chunks)
+        plan.append(indices)
+    return chunks, plan
+
+
 def split_for_translation(
     tokenizer: PreTrainedTokenizerBase,
     text: str,