Streaming tab: sentence-by-sentence streaming for long text (synth & play per sentence)

app.py

@@ -3,7 +3,7 @@
 提供三種試用情境，並一律套用模型官方建議的最佳生成參數：
   1. 指定語者：李宏毅 —— 用模型內附、已取得授權的語者向量控制音色
   2. 聲音複製       —— 上傳一段參考音檔，模仿該語者的音色
-  3. 串流引擎合成   —— 用串流生成引擎逐段合成，完成後一次順暢播放（不支援自動重試）
+  3. 長文逐句串流   —— 把長文切句，合成一句播一句，做出串流效果（每句含自動重試）
 
 最佳參數讀自模型發佈中繼資料 release_metadata.json 的 recommended_generation_defaults
 （以 500 句難句 + ASR CER 調出，最佳 trial：cfg=2.8 / steps=9），確保 demo 永遠跟著模型走。
@@ -104,8 +104,36 @@ def _to_numpy(audio: torch.Tensor):
     return audio.squeeze().float().cpu().numpy()
 
 
-# 串流引擎不支援 retry_badcase（見 model._generate 的警告），故濾掉 retry_* 參數。
-STREAM_KWARGS = {k: v for k, v in GEN_KWARGS.items() if not k.startswith("retry_")}
+def _pcm16(x: np.ndarray) -> np.ndarray:
+    """float 波形 -> 16-bit PCM，供 Gradio 串流輸出（格式最穩定）。"""
+    return (np.clip(x, -1.0, 1.0) * 32767.0).astype(np.int16)
+
+
+# 長文逐句串流：以句末標點／換行切句，最多示範前 N 句（避免超過 ZeroGPU 單次時限）。
+_SENT_ENDERS = "。！？；!?…\n"
+_MAX_STREAM_SENTENCES = 12
+
+
+def _split_sentences(text):
+    out, cur = [], []
+    for ch in text:
+        cur.append(ch)
+        if ch in _SENT_ENDERS:
+            s = "".join(cur).strip()
+            if s:
+                out.append(s)
+            cur = []
+    s = "".join(cur).strip()
+    if s:
+        out.append(s)
+    # 把落單的標點（如連續「！？」被拆出的單一字元）併回前一句
+    merged = []
+    for s in out:
+        if merged and len(s) <= 1:
+            merged[-1] += s
+        else:
+            merged.append(s)
+    return merged
 
 
 # --------------------------------------------------------------------------- #
@@ -141,29 +169,31 @@ def tts_clone(text, reference_audio):
 
 @gpu
 def tts_stream(text, reference_audio):
-    """用模型的串流生成引擎（generate_streaming）逐段合成，蒐集完整後一次回傳。
+    """長文逐句串流：把長文切成句子，逐句合成、合成一句就播一句，做出串流效果。
 
-    ZeroGPU 上模型約 0.44x 實時，逐段即時串流播放必然卡頓，故改為「合成完成後
-    順暢播放」：背後仍走串流生成路徑（不支援自動重試），但等所有音訊區塊到齊再
-    合併成完整波形輸出，播放流暢且能正常結束。有參考音檔走聲音複製，否則用李宏毅
-    語者向量。
+    每句都用一般 generate（含 retry_badcase）產生完整音檔再 yield，Gradio 依序串流
+    播放；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 實時所致）。預設用李宏毅語者
+    向量，上傳參考音檔則改為聲音複製。
     """
     text = (text or "").strip()
     if not text:
         raise gr.Error("請先輸入要合成的文字。")
-    if reference_audio:
-        gen = model.generate_streaming(
-            target_text=text, reference_wav_path=reference_audio, **STREAM_KWARGS
-        )
-    else:
-        gen = model.generate_streaming(
-            target_text=text, speaker_centroid=SPK_CENTROID, **STREAM_KWARGS
-        )
-
-    parts = [chunk.squeeze().float().cpu().numpy() for chunk in gen]
-    if not parts:
-        raise gr.Error("合成失敗，請再試一次。")
-    return (SR, np.concatenate(parts))
+    sentences = _split_sentences(text)
+    if not sentences:
+        raise gr.Error("找不到可合成的句子。")
+    if len(sentences) > _MAX_STREAM_SENTENCES:
+        gr.Warning(f"長文較長，僅示範前 {_MAX_STREAM_SENTENCES} 句。")
+        sentences = sentences[:_MAX_STREAM_SENTENCES]
+    for sent in sentences:
+        if reference_audio:
+            audio = model.generate(
+                target_text=sent, reference_wav_path=reference_audio, **GEN_KWARGS
+            )
+        else:
+            audio = model.generate(
+                target_text=sent, speaker_centroid=SPK_CENTROID, **GEN_KWARGS
+            )
+        yield (SR, _pcm16(_to_numpy(audio)))
 
 
 # --------------------------------------------------------------------------- #
@@ -175,6 +205,13 @@ EXAMPLE_TEXTS = [
     "台灣藍鵲是一種叫聲響亮、辨識度很高的鳥。",
 ]
 
+STREAM_EXAMPLES = [
+    "台灣藍鵲是台灣特有的鳥類，羽色以亮藍為主，尾羽修長。牠們常成群在樹林間活動，"
+    "叫聲響亮而容易辨認。今天天氣真好，我們一起出去走走，順便看看這些美麗的鳥吧！",
+    "歡迎使用這個示範。這是一段比較長的文字，會被切成好幾句。"
+    "系統會合成一句、播放一句，做出串流的效果。希望你會喜歡這個聲音！",
+]
+
 _PARAMS_NOTE = (
     f"已套用模型官方建議最佳參數："
     f"`cfg_value={GEN_KWARGS.get('cfg_value')}`、"
@@ -232,27 +269,27 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
                 c_out = gr.Audio(label="合成結果", type="numpy")
         c_btn.click(tts_clone, [c_text, c_ref], c_out)
 
-    with gr.Tab("串流引擎合成"):
+    with gr.Tab("長文逐句串流"):
         gr.Markdown(
-            "使用模型的**串流生成引擎**（`generate_streaming`）合成，完成後一次順暢播放。"
-            "預設用李宏毅語者向量；若上傳參考音檔則改為聲音複製（請只使用已取得授權的聲音）。\n\n"
-            "> ZeroGPU 上模型約 0.44x 實時，逐段即時播放會卡頓，故改為合成完成後再播放；"
-            "串流路徑不支援自動重試（`retry_badcase`）。"
+            "**長文逐句串流**：把長文切成句子，合成一句就播一句，做出串流（邊聽邊等）效果。"
+            "第一句很快就能聽到，後面邊播邊合成。\n\n"
+            "預設用李宏毅語者向量；若上傳參考音檔則改為聲音複製（請只使用已取得授權的聲音）。\n"
+            "> ZeroGPU 約 0.44x 實時，句與句之間可能有短暫間隔；每句都套用最佳參數（含自動重試）。"
         )
         with gr.Row():
             with gr.Column():
                 t_text = gr.Textbox(
-                    label="要合成的文字", lines=3,
-                    placeholder="輸入中文或中英混合的文字…",
+                    label="要合成的長文", lines=5,
+                    placeholder="貼上一段多句的文字，會逐句合成、逐句播放…",
                 )
                 t_ref = gr.Audio(
                     label="參考音檔（選填；留空則用李宏毅音色）", type="filepath",
                     sources=["upload", "microphone"],
                 )
-                t_btn = gr.Button("串流合成", variant="primary")
+                t_btn = gr.Button("逐句串流合成", variant="primary")
             with gr.Column():
-                t_out = gr.Audio(label="合成結果", type="numpy", autoplay=True)
-        gr.Examples(EXAMPLE_TEXTS, inputs=t_text, label="範例文字")
+                t_out = gr.Audio(label="逐句串流播放", streaming=True, autoplay=True)
+        gr.Examples(STREAM_EXAMPLES, inputs=t_text, label="長文範例")
         t_btn.click(tts_stream, [t_text, t_ref], t_out)
 
     gr.Markdown(