Long-text streaming: stream until GPU time budget (~100s) instead of fixed 12-sentence cap

app.py

@@ -11,6 +11,7 @@
 
 import json
 import os
+import time
 
 import numpy as np
 import torch
@@ -109,9 +110,11 @@ def _pcm16(x: np.ndarray) -> np.ndarray:
     return (np.clip(x, -1.0, 1.0) * 32767.0).astype(np.int16)
 
 
-# 長文逐句串流：以句末標點／換行切句，最多示範前 N 句（避免超過 ZeroGPU 單次時限）。
+# 長文逐句串流：以句末標點／換行切句。逐句串流直到接近 ZeroGPU 單次 GPU 時間配額
+# 為止（不是固定句數），盡量把整段長文串完；另設一個防濫用的硬上限。
 _SENT_ENDERS = "。！？；!?…\n"
-_MAX_STREAM_SENTENCES = 12
+_GPU_BUDGET_S = 100         # @spaces.GPU(duration=120)，留約 20s 緩衝給最後一句
+_MAX_STREAM_SENTENCES = 80  # 防濫用硬上限（通常時間配額會先到）
 
 
 def _split_sentences(text):
@@ -171,9 +174,10 @@ def tts_clone(text, reference_audio):
 def tts_stream(text, reference_audio):
     """長文逐句串流：把長文切成句子，逐句合成、合成一句就播一句，做出串流效果。
 
-    每句都用一般 generate（含 retry_badcase）產生完整音檔再 yield，Gradio 依序串流
-    播放；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 實時所致）。預設用李宏毅語者
-    向量，上傳參考音檔則改為聲音複製。
+    逐句串流直到接近單次 GPU 時間配額（約 100s）為止，盡量把整段長文串完，而非固定
+    句數；真的超過才截斷並提示分批。每句都用一般 generate（含 retry_badcase）產生
+    完整音檔再 yield；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 實時所致）。預設用
+    李宏毅語者向量，上傳參考音檔則改為聲音複製。
     """
     text = (text or "").strip()
     if not text:
@@ -181,10 +185,14 @@ def tts_stream(text, reference_audio):
     sentences = _split_sentences(text)
     if not sentences:
         raise gr.Error("找不到可合成的句子。")
-    if len(sentences) > _MAX_STREAM_SENTENCES:
-        gr.Warning(f"長文較長，僅示範前 {_MAX_STREAM_SENTENCES} 句。")
-        sentences = sentences[:_MAX_STREAM_SENTENCES]
+    total = len(sentences)
+    sentences = sentences[:_MAX_STREAM_SENTENCES]
+    start = time.time()
+    done = 0
     for sent in sentences:
+        # 至少先產出第一句；之後一旦逼近 GPU 時間配額就停，避免配額被回收而報錯
+        if done and time.time() - start > _GPU_BUDGET_S:
+            break
         if reference_audio:
             audio = model.generate(
                 target_text=sent, reference_wav_path=reference_audio, **GEN_KWARGS
@@ -194,6 +202,12 @@ def tts_stream(text, reference_audio):
                 target_text=sent, speaker_centroid=SPK_CENTROID, **GEN_KWARGS
             )
         yield (SR, _pcm16(_to_numpy(audio)))
+        done += 1
+    if done < total:
+        gr.Warning(
+            f"受單次 GPU 時間配額限制，本次串流前 {done} 句（共 {total} 句）；"
+            "想念完整段可分批貼上。"
+        )
 
 
 # --------------------------------------------------------------------------- #
@@ -275,6 +289,7 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
             "第一句很快就能聽到，後面邊播邊合成。\n\n"
             "預設用李宏毅語者向量；若上傳參考音檔則改為聲音複製（請只使用已取得授權的聲音）。\n"
             "> ZeroGPU 約 0.44x 實時，句與句之間可能有短暫間隔；每句都套用最佳參數（含自動重試）。"
+            "單次串流以 ZeroGPU 時間配額為限（約可串數十句），超長會自動截斷並提示分批。"
         )
         with gr.Row():
             with gr.Column():