step_0006000: fast transcript-free clone (reference_wav_path), new default params (cfg 2.0/steps 10)

app.py

@@ -1,17 +1,17 @@
 """BlueMagpie-TTS 線上試用 Space (Gradio + ZeroGPU)。
 
-提供三種試用情境，並一律套用模型官方建議的最佳生成參數：
-  1. 指定語者：李宏毅 —— 用模型內附、已取得授權的語者向量控制音色
-  2. 聲音複製       —— 念多句參考語音，抽平均 ECAPA centroid，走 speaker_centroid 路徑
+提供三種試用情境，並一律套用模型官方建議的生成參數：
+  1. 指定語者       —— 用模型內附、已取得授權的語者向量控制音色（李宏毅／女聲）
+  2. 聲音複製       —— 兩種方式，皆免逐字稿：
+       快速：單段參考音檔直接走 reference_wav_path（checkpoint step_0006000 起正式
+             訓練支援，內部評測 CER 8.99%）
+       穩定：念多句參考語音，抽平均 ECAPA centroid，走 speaker_centroid 路徑
+             （品質最穩，內部評測 CER 7.44%）
   3. 長文逐句串流   —— 把長文切句，合成一句播一句，做出串流效果（每句含自動重試）
 
-註：本 checkpoint 只訓練過 speaker_centroid（內附李宏毅向量同一機制）與 prompt 接續兩條
-路徑；transcript-free 的 reference_wav_path 路徑從未餵過訓練資料（data._make_sample 丟掉
-ref_audio），會吐出亂掉內容。故聲音複製改為「從錄音抽 centroid → speaker_centroid」——
-免逐字稿、且走的是有訓練、可靠的路徑。
-
-最佳參數讀自模型發佈中繼資料 release_metadata.json 的 recommended_generation_defaults
-（以 500 句難句 + ASR CER 調出，最佳 trial：cfg=2.8 / steps=9），確保 demo 永遠跟著模型走。
+生成參數：優先讀模型發佈中繼資料 release_metadata.json 的
+recommended_generation_defaults（若有）；新版中繼資料未提供時，退回模型卡建議值
+（cfg=2.0 / steps=10 / retry_badcase=True），確保 demo 永遠跟著模型走。
 """
 
 import json
@@ -58,7 +58,8 @@ model = BlueMagpieModel.from_local(
 SR = model.sample_rate
 
 # --------------------------------------------------------------------------- #
-# 最佳生成參數：讀自模型發佈中繼資料；缺檔時退回官方建議值。
+# 生成參數：優先讀模型發佈中繼資料（舊版才有 recommended_generation_defaults）；
+# 新版（step_0006000 起）未提供時，退回模型卡建議值。
 # --------------------------------------------------------------------------- #
 _GEN_KEYS = {
     "cfg_value",
@@ -70,26 +71,28 @@ _GEN_KEYS = {
     "retry_badcase_ratio_threshold",
 }
 _BEST_FALLBACK = {
-    "cfg_value": 2.8,
-    "inference_timesteps": 9,
+    "cfg_value": 2.0,
+    "inference_timesteps": 10,
     "max_len": 2000,
     "retry_badcase": True,
     "retry_badcase_max_times": 3,
     "retry_badcase_ratio_threshold": 6.0,
 }
 SPEAKER_ID = "hung_yi_lee"
+CHECKPOINT = "?"
 
 try:
     with open(os.path.join(MODEL_DIR, "release_metadata.json"), encoding="utf-8") as f:
         _meta = json.load(f)
+    CHECKPOINT = _meta.get("checkpoint", CHECKPOINT)
     _rec = _meta.get("recommended_generation_defaults", {}) or {}
     GEN_KWARGS = {k: v for k, v in _rec.items() if k in _GEN_KEYS} or dict(_BEST_FALLBACK)
     SPEAKER_ID = _rec.get("speaker_id", SPEAKER_ID)
-except Exception as e:  # 任何讀取/解析問題都退回安全的最佳值
-    print(f"[BlueMagpie] release_metadata.json unavailable ({e}); using fallback best params")
+except Exception as e:  # 任何讀取/解析問題都退回安全的建議值
+    print(f"[BlueMagpie] release_metadata.json unavailable ({e}); using fallback params")
     GEN_KWARGS = dict(_BEST_FALLBACK)
 
-print(f"[BlueMagpie] best generation params: {GEN_KWARGS}")
+print(f"[BlueMagpie] checkpoint={CHECKPOINT}, generation params: {GEN_KWARGS}")
 
 # 語者向量：載入多語者表（優先 speaker_centroids.pt），建成「顯示名稱 -> 向量」。
 # 內附的李宏毅向量已取得本人授權；其餘為通用語者向量。
@@ -114,8 +117,8 @@ print(f"[BlueMagpie] ready. sample_rate={SR}, speakers={list(SPEAKERS)}")
 
 
 # --------------------------------------------------------------------------- #
-# 聲音複製：從參考音檔抽取語者向量（ECAPA），走「已訓練、可靠」的 speaker_centroid
-# 路徑。與訓練用的 build_speaker_centroids.py 完全一致：同一個 ECAPA 模型、每段
+# 聲音複製（穩定模式）：從參考音檔抽取語者向量（ECAPA），走 speaker_centroid 路徑。
+# 與訓練用的 build_speaker_centroids.py 完全一致：同一個 ECAPA 模型、每段
 # embedding 先 L2-normalize、取平均、再 L2-normalize（192 維），確保與內附李宏毅向量
 # 同一向量空間。ECAPA 在 CPU 上跑、lazy 載入一次（不佔 GPU 時間配額）。
 # --------------------------------------------------------------------------- #
@@ -167,10 +170,20 @@ def extract_centroid(paths):
     mean = torch.stack(embs).mean(0)
     return torch.nn.functional.normalize(mean, dim=0).cpu(), len(embs), total
 
+
+def _audio_seconds(path):
+    """回傳音檔長度（秒）；讀不到時回 0。"""
+    import librosa
+
+    try:
+        return float(librosa.get_duration(path=path))
+    except Exception:
+        return 0.0
+
 # 註：repo 的 bluemagpie.serving 加速引擎（torch.compile / 連續批次）是為「常駐
 # 專用 GPU、追求吞吐」設計。在 ZeroGPU（GPU 逐請求序列化掛載）上實測後，單一
 # 請求延遲沒有改善（warm ~7.0s vs eager ~6.2s），反而帶來首呼叫 ~50s 編譯成本與
-# CUDA graph 反覆重編譯的尖峰，故此 demo 維持 eager。詳見對話中的量測數據。
+# CUDA graph 反覆重編譯的尖峰，故此 demo 維持 eager。
 
 
 def _to_numpy(audio: torch.Tensor):
@@ -212,7 +225,7 @@ def _split_sentences(text):
 
 
 # --------------------------------------------------------------------------- #
-# 推論：三種模式都套用 GEN_KWARGS（官方最佳參數）
+# 推論：三種模式都套用 GEN_KWARGS（官方建議參數）
 # --------------------------------------------------------------------------- #
 @gpu
 def tts_speaker(text, speaker=DEFAULT_SPEAKER):
@@ -228,16 +241,28 @@ def tts_speaker(text, speaker=DEFAULT_SPEAKER):
 
 
 @gpu
-def _clone_gpu(text, centroid):
+def _clone_centroid_gpu(text, centroid):
     audio = model.generate(target_text=text, speaker_centroid=centroid, **GEN_KWARGS)
     return (SR, _to_numpy(audio))
 
 
-def tts_clone(text, recording, files):
-    """聲音複製：從『念多句』的參考語音抽語者向量（ECAPA centroid），走 speaker_centroid 路徑。
+@gpu
+def _clone_reference_gpu(text, ref_path):
+    audio = model.generate(target_text=text, reference_wav_path=ref_path, **GEN_KWARGS)
+    return (SR, _to_numpy(audio))
+
+
+CLONE_FAST = "快速：一段參考音檔（3 秒以上）"
+CLONE_STABLE = "穩定：念多句、抽語者向量（最像）"
 
-    這條路徑在本 checkpoint 有被訓練（與內附李宏毅向量同一機制），可靠、**免逐字稿**。
-    ECAPA 抽取在 CPU 進行（不佔 GPU 配額），抽好向量後才用 @gpu 做合成。
+
+def tts_clone(text, mode, recording, files):
+    """聲音複製，免逐字稿，兩種方式：
+
+    快速（reference_wav_path）：把參考音檔直接交給模型（checkpoint step_0006000 起
+    正式訓練支援）。一段 3 秒以上的乾淨語音即可。
+    穩定（speaker_centroid）：從「念多句」的參考語音抽 ECAPA 語者向量（CPU 上抽、
+    不佔 GPU 配額），走與內附李宏毅向量相同的路徑，音色最穩定。
     """
     text = (text or "").strip()
     if not text:
@@ -248,7 +273,18 @@ def tts_clone(text, recording, files):
     if files:
         paths += [getattr(f, "name", f) for f in files]
     if not paths:
-        raise gr.Error("請先錄音念完下面 10 句，或上傳參考音檔。")
+        raise gr.Error("請先錄音或上傳參考音檔。")
+
+    if mode == CLONE_FAST:
+        ref = paths[0]
+        dur = _audio_seconds(ref)
+        if 0 < dur < 3:
+            gr.Warning(f"參考音檔只有約 {dur:.0f} 秒，建議 3 秒以上會更穩定。")
+        if len(paths) > 1:
+            gr.Warning("快速模式只使用第一段音檔；要用多段平均請改選穩定模式。")
+        return _clone_reference_gpu(text, ref)
+
+    # 穩定模式：多段平均 centroid
     try:
         centroid, n_chunks, dur = extract_centroid(paths)
     except Exception as e:
@@ -258,7 +294,7 @@ def tts_clone(text, recording, files):
             f"參考語音只有約 {dur:.0f} 秒（{n_chunks} 段），音色可能不夠穩定；"
             "建議念完下面 10 句（約 30–60 秒）會更像。"
         )
-    return _clone_gpu(text, centroid)
+    return _clone_centroid_gpu(text, centroid)
 
 
 @gpu
@@ -267,7 +303,7 @@ def tts_stream(text, speaker=DEFAULT_SPEAKER):
 
     逐句串流直到接近單次 GPU 時間配額（約 100s）為止，盡量把整段長文串完，而非固定
     句數；真的超過才截斷並提示分批。每句都用一般 generate（含 retry_badcase）產生
-    完整音檔再 yield；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 實時所致）。
+    完整音檔再 yield；句與句之間可能有短暫間隔（ZeroGPU 約 0.44x 即時所致）。
     """
     text = (text or "").strip()
     if not text:
@@ -305,7 +341,7 @@ EXAMPLE_TEXTS = [
     "台灣藍鵲是一種叫聲響亮、辨識度很高的鳥。",
 ]
 
-CLONE_SCRIPT = """**請依序念出下面 10 句（錄成一段即可，約 30–60 秒）：**
+CLONE_SCRIPT = """**穩定模式建議：依序念出下面 10 句（錄成一段即可，約 30–60 秒）：**
 1. 今天天氣很好，我們一起出去走走。
 2. 請問最近的捷運站要怎麼走？
 3. 我週末最喜歡在家裡看電影。
@@ -325,7 +361,7 @@ STREAM_EXAMPLES = [
 ]
 
 _PARAMS_NOTE = (
-    f"已套用模型官方建議最佳參數："
+    f"模型 checkpoint：`{CHECKPOINT}`，已套用官方建議參數："
     f"`cfg_value={GEN_KWARGS.get('cfg_value')}`、"
     f"`inference_timesteps={GEN_KWARGS.get('inference_timesteps')}`、"
     f"`retry_badcase={'on' if GEN_KWARGS.get('retry_badcase') else 'off'}`。"
@@ -334,7 +370,8 @@ _PARAMS_NOTE = (
 HEADER = f"""
 # 🐦‍⬛ BlueMagpie-TTS · 文字轉語音線上試用
 
-**OpenFormosa Blue Magpie TTS** —— 支援**台灣華語**與**中英混合**的文字轉語音模型，輸出 48 kHz 單聲道語音。
+**OpenFormosa Blue Magpie TTS** —— 針對**台灣華語**與**中英混合**打造的文字轉語音模型，輸出 48 kHz 語音；
+支援**免逐字稿聲音複製**（內部評測：語者向量 CER 7.44%、參考音檔 CER 8.99%，較基準 11.45% 顯著降低）。
 模型：[OpenFormosa/BlueMagpie-TTS](https://huggingface.co/OpenFormosa/BlueMagpie-TTS) ·
 程式碼：[GitHub](https://github.com/OpenFormosa/BlueMagpie-TTS)
 
@@ -346,8 +383,8 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
 
     with gr.Tab("指定語者"):
         gr.Markdown(
-            "用模型內附的**語者向量**控制音色。**李宏毅**老師的向量已取得本人授權"
-            "（官方最佳參數正是針對此語者調校）；**女聲**為通用語者向量。"
+            "用模型內附的**語者向量**控制音色。**李宏毅**老師的向量已取得本人授權；"
+            "**女聲**為通用語者向量。"
         )
         with gr.Row():
             with gr.Column():
@@ -366,37 +403,42 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
 
     with gr.Tab("聲音複製"):
         gr.Markdown(
-            "**念多句再複製**：錄一段你念下面 10 句的聲音（或上傳數段乾淨語音），系統會從中"
-            "**抽取穩定的語者向量（音色指紋）**再合成你的文字——**不需要逐字稿**。\n\n"
-            "念越多句、內容越多元，抽出的音色越穩定、越像（和訓練時的 per-speaker 向量一致；"
-            "走的是已訓練的 `speaker_centroid` 路徑，用 ECAPA-TDNN 算出 192 維向量並平均）。\n\n"
+            "**聲音複製，免逐字稿**，兩種方式：\n\n"
+            f"- **{CLONE_FAST}** —— 錄或上傳一段 3 秒以上的乾淨語音，直接交給模型模仿"
+            "（`reference_wav_path` 路徑，新 checkpoint 起正式支援）。\n"
+            f"- **{CLONE_STABLE}** —— 念下面 10 句（約 30–60 秒），抽出**穩定的語者向量"
+            "（音色指紋）**再合成（`speaker_centroid` 路徑，音色最穩、內部評測最佳）。\n\n"
             "⚠️ **請只使用你已取得授權的聲音**，請勿在未經本人同意下複製他人聲音。"
         )
-        gr.Markdown(CLONE_SCRIPT)
         with gr.Row():
             with gr.Column():
+                c_mode = gr.Radio(
+                    [CLONE_FAST, CLONE_STABLE], value=CLONE_FAST, label="複製方式",
+                )
                 c_text = gr.Textbox(
                     label="要合成的文字", lines=3,
                     placeholder="輸入中文或中英混合的文字…",
                 )
                 c_rec = gr.Audio(
-                    label="錄音：念完上面 10 句（或上傳一段較長的乾淨語音）",
+                    label="錄音或上傳參考語音",
                     type="filepath", sources=["microphone", "upload"],
                 )
                 c_files = gr.File(
-                    label="（選填）也可上傳多個音檔，會一起平均",
+                    label="（選填）上傳多個音檔（穩定模式會一起平均）",
                     file_count="multiple", file_types=["audio"],
                 )
                 c_btn = gr.Button("複製音色合成", variant="primary")
             with gr.Column():
                 c_out = gr.Audio(label="合成結果", type="numpy")
-        c_btn.click(tts_clone, [c_text, c_rec, c_files], c_out)
+        with gr.Accordion("穩定模式：建議朗讀的 10 句", open=False):
+            gr.Markdown(CLONE_SCRIPT)
+        c_btn.click(tts_clone, [c_text, c_mode, c_rec, c_files], c_out)
 
     with gr.Tab("長文逐句串流"):
         gr.Markdown(
             "**長文逐句串流**：把長文切成句子，合成一句就播一句，做出串流（邊聽邊等）效果。"
             "第一句很快就能聽到，後面邊播邊合成。用**所選語者向量**。\n\n"
-            "> ZeroGPU 約 0.44x 實時，句與句之間可能有短暫間隔；每句都套用最佳參數（含自動重試）。"
+            "> ZeroGPU 約 0.44x 即時，句與句之間可能有短暫間隔；每句都套用建議參數（含自動重試）。"
             "單次串流以 ZeroGPU 時間配額為限（約可串數十句），超長會自動截斷並提示分批。"
         )
         with gr.Row():