Fix voice cloning: use prompt_wav+prompt_text (reference_wav_path produced gibberish); remove debug

app.py

@@ -2,9 +2,12 @@
 
 提供三種試用情境，並一律套用模型官方建議的最佳生成參數：
   1. 指定語者：李宏毅 —— 用模型內附、已取得授權的語者向量控制音色
-  2. 聲音複製       —— 上傳一段參考音檔，模仿該語者的音色
+  2. 聲音複製       —— 參考音檔 + 其逐字稿（prompt 模式）做 zero-shot 複製
   3. 長文逐句串流   —— 把長文切句，合成一句播一句，做出串流效果（每句含自動重試）
 
+註：transcript-free 的 reference_wav_path 路徑在此 checkpoint 會吐出亂掉內容（實測
+CER≈3），故複製改用可靠的 prompt_wav_path + prompt_text（語音接續）路徑（實測 CER 0）。
+
 最佳參數讀自模型發佈中繼資料 release_metadata.json 的 recommended_generation_defaults
 （以 500 句難句 + ASR CER 調出，最佳 trial：cfg=2.8 / steps=9），確保 demo 永遠跟著模型走。
 """
@@ -156,28 +159,36 @@ def tts_speaker(text):
 
 
 @gpu
-def tts_clone(text, reference_audio):
+def tts_clone(text, reference_audio, prompt_text):
+    """聲音複製：以「參考語音 + 其逐字稿」做 zero-shot 複製。
+
+    用 prompt_wav_path + prompt_text（語音接續）路徑 —— 這是此模型可靠的複製方式；
+    transcript-free 的 reference_wav_path 路徑在本 checkpoint 會吐出亂掉的內容，故不用。
+    """
     text = (text or "").strip()
+    prompt_text = (prompt_text or "").strip()
     if not text:
         raise gr.Error("請先輸入要合成的文字。")
     if not reference_audio:
         raise gr.Error("請先上傳或錄製一段參考音檔。")
+    if not prompt_text:
+        raise gr.Error("請填寫參考音檔的逐字稿（這段參考語音實際說的內容）。")
     audio = model.generate(
         target_text=text,
-        reference_wav_path=reference_audio,  # gr.Audio(type="filepath") 回傳路徑
+        prompt_wav_path=reference_audio,  # gr.Audio(type="filepath") 回傳路徑
+        prompt_text=prompt_text,
         **GEN_KWARGS,
     )
     return (SR, _to_numpy(audio))
 
 
 @gpu
-def tts_stream(text, reference_audio):
-    """長文逐句串流：把長文切成句子，逐句合成、合成一句就播一句，做出串流效果。
+def tts_stream(text):
+    """長文逐句串流（李宏毅語者向量）：把長文切成句子，逐句合成、合成一句就播一句。
 
     逐句串流直到接近單次 GPU 時間配額（約 100s）為止，盡量把整段長文串完，而非固定
     句數；真的超過才截斷並提示分批。每句都用一般 generate（含 retry_badcase）產生
-    完整音檔再 yield；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 實時所致）。預設用
-    李宏毅語者向量，上傳參考音檔則改為聲音複製。
+    完整音檔再 yield；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 實時所致）。
     """
     text = (text or "").strip()
     if not text:
@@ -193,14 +204,9 @@ def tts_stream(text, reference_audio):
         # 至少先產出第一句；之後一旦逼近 GPU 時間配額就停，避免配額被回收而報錯
         if done and time.time() - start > _GPU_BUDGET_S:
             break
-        if reference_audio:
-            audio = model.generate(
-                target_text=sent, reference_wav_path=reference_audio, **GEN_KWARGS
-            )
-        else:
-            audio = model.generate(
-                target_text=sent, speaker_centroid=SPK_CENTROID, **GEN_KWARGS
-            )
+        audio = model.generate(
+            target_text=sent, speaker_centroid=SPK_CENTROID, **GEN_KWARGS
+        )
         yield (SR, _pcm16(_to_numpy(audio)))
         done += 1
     if done < total:
@@ -210,30 +216,6 @@ def tts_stream(text, reference_audio):
         )
 
 
-# --- TEMP diagnostic endpoint (remove after voice-clone debugging) ----------- #
-@gpu
-def tts_debug(target_text, audio_path, prompt_text, mode, cfg, use_null):
-    target_text = (target_text or "").strip()
-    if not target_text:
-        raise gr.Error("請輸入 target_text。")
-    base = {k: v for k, v in GEN_KWARGS.items() if k != "cfg_value"}
-    kw = dict(base, cfg_value=float(cfg), use_null_speaker=bool(use_null))
-    if mode == "prompt":
-        audio = model.generate(
-            target_text=target_text,
-            prompt_wav_path=audio_path or "",
-            prompt_text=(prompt_text or ""),
-            **kw,
-        )
-    else:
-        audio = model.generate(
-            target_text=target_text,
-            reference_wav_path=audio_path or "",
-            **kw,
-        )
-    return (SR, _to_numpy(audio))
-
-
 # --------------------------------------------------------------------------- #
 # 介面
 # --------------------------------------------------------------------------- #
@@ -289,7 +271,9 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
 
     with gr.Tab("聲音複製"):
         gr.Markdown(
-            "上傳一段參考音檔，輸出會模仿該語者的音色。\n\n"
+            "上傳一段參考音檔**並填寫它的逐字稿**，輸出會模仿該語者的音色。\n\n"
+            "為什麼要逐字稿？本模型靠「參考語音＋逐字稿」做複製最穩定；少了逐字稿的純參考"
+            "模式在目前 checkpoint 會吐出亂掉的內容。建議參考音檔約 3–10 秒、乾淨單一語者。\n\n"
             "⚠️ **請只使用你已取得授權的聲音**，請勿在未經本人同意下複製他人聲音。"
         )
         with gr.Row():
@@ -302,16 +286,19 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
                     label="參考音檔（上傳或錄製）", type="filepath",
                     sources=["upload", "microphone"],
                 )
+                c_prompt = gr.Textbox(
+                    label="參考音檔的逐字稿", lines=2,
+                    placeholder="輸入這段參考語音實際說的內容…",
+                )
                 c_btn = gr.Button("複製音色合成", variant="primary")
             with gr.Column():
                 c_out = gr.Audio(label="合成結果", type="numpy")
-        c_btn.click(tts_clone, [c_text, c_ref], c_out)
+        c_btn.click(tts_clone, [c_text, c_ref, c_prompt], c_out)
 
     with gr.Tab("長文逐句串流"):
         gr.Markdown(
             "**長文逐句串流**：把長文切成句子，合成一句就播一句，做出串流（邊聽邊等）效果。"
-            "第一句很快就能聽到，後面邊播邊合成。\n\n"
-            "預設用李宏毅語者向量；若上傳參考音檔則改為聲音複製（請只使用已取得授權的聲音）。\n"
+            "第一句很快就能聽到，後面邊播邊合成。用**李宏毅語者向量**。\n\n"
             "> ZeroGPU 約 0.44x 實時，句與句之間可能有短暫間隔；每句都套用最佳參數（含自動重試）。"
             "單次串流以 ZeroGPU 時間配額為限（約可串數十句），超長會自動截斷並提示分批。"
         )
@@ -321,26 +308,11 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
                     label="要合成的長文", lines=5,
                     placeholder="貼上一段多句的文字，會逐句合成、逐句播放…",
                 )
-                t_ref = gr.Audio(
-                    label="參考音檔（選填；留空則用李宏毅音色）", type="filepath",
-                    sources=["upload", "microphone"],
-                )
                 t_btn = gr.Button("逐句串流合成", variant="primary")
             with gr.Column():
                 t_out = gr.Audio(label="逐句串流播放", streaming=True, autoplay=True)
         gr.Examples(STREAM_EXAMPLES, inputs=t_text, label="長文範例")
-        t_btn.click(tts_stream, [t_text, t_ref], t_out)
-
-    with gr.Tab("debug"):
-        d_text = gr.Textbox(label="target_text", value="今天天氣真好，我們一起去公園散步看花。")
-        d_audio = gr.Audio(label="audio", type="filepath", sources=["upload", "microphone"])
-        d_prompt = gr.Textbox(label="prompt_text (for prompt mode)")
-        d_mode = gr.Radio(["reference", "prompt"], value="prompt", label="mode")
-        d_cfg = gr.Slider(1.0, 4.0, value=2.8, step=0.1, label="cfg")
-        d_null = gr.Checkbox(value=True, label="use_null_speaker")
-        d_btn = gr.Button("debug gen")
-        d_out = gr.Audio(label="out", type="numpy")
-        d_btn.click(tts_debug, [d_text, d_audio, d_prompt, d_mode, d_cfg, d_null], d_out)
+        t_btn.click(tts_stream, t_text, t_out)
 
     gr.Markdown(
         "---\n"