Voice cloning: extract ECAPA speaker centroid from upload (no transcript); add speechbrain

app.py

@@ -2,11 +2,13 @@
 
 提供三種試用情境，並一律套用模型官方建議的最佳生成參數：
   1. 指定語者：李宏毅 —— 用模型內附、已取得授權的語者向量控制音色
-  2. 聲音複製       —— 參考音檔 + 其逐字稿（prompt 模式）做 zero-shot 複製
+  2. 聲音複製       —— 從參考音檔抽取語者向量（ECAPA centroid），走 speaker_centroid 路徑
   3. 長文逐句串流   —— 把長文切句，合成一句播一句，做出串流效果（每句含自動重試）
 
-註：transcript-free 的 reference_wav_path 路徑在此 checkpoint 會吐出亂掉內容（實測
-CER≈3），故複製改用可靠的 prompt_wav_path + prompt_text（語音接續）路徑（實測 CER 0）。
+註：本 checkpoint 只訓練過 speaker_centroid（內附李宏毅向量同一機制）與 prompt 接續兩條
+路徑；transcript-free 的 reference_wav_path 路徑從未餵過訓練資料（data._make_sample 丟掉
+ref_audio），會吐出亂掉內容。故聲音複製改為「從錄音抽 centroid → speaker_centroid」——
+免逐字稿、且走的是有訓練、可靠的路徑。
 
 最佳參數讀自模型發佈中繼資料 release_metadata.json 的 recommended_generation_defaults
 （以 500 句難句 + ASR CER 調出，最佳 trial：cfg=2.8 / steps=9），確保 demo 永遠跟著模型走。
@@ -98,6 +100,47 @@ _centroids = torch.load(
 SPK_CENTROID = _centroids["centroids"][_centroids["speaker_ids"].index(SPEAKER_ID)]
 print(f"[BlueMagpie] ready. sample_rate={SR}, speaker={SPEAKER_ID}")
 
+
+# --------------------------------------------------------------------------- #
+# 聲音複製：從參考音檔抽取語者向量（ECAPA），走「已訓練、可靠」的 speaker_centroid
+# 路徑。與訓練用的 build_speaker_centroids.py 完全一致：同一個 ECAPA 模型、每段
+# embedding 先 L2-normalize、取平均、再 L2-normalize（192 維），確保與內附李宏毅向量
+# 同一向量空間。ECAPA 在 CPU 上跑、lazy 載入一次（不佔 GPU 時間配額）。
+# --------------------------------------------------------------------------- #
+_ECAPA = None
+
+
+def _get_ecapa():
+    global _ECAPA
+    if _ECAPA is None:
+        from speechbrain.inference.speaker import EncoderClassifier
+
+        _ECAPA = EncoderClassifier.from_hparams(
+            source="speechbrain/spkrec-ecapa-voxceleb", run_opts={"device": "cpu"}
+        )
+    return _ECAPA
+
+
+@torch.no_grad()
+def extract_centroid(wav_path: str) -> torch.Tensor:
+    """參考音檔 -> [192] 語者向量（與訓練 centroid 同空間、同處理）。"""
+    import librosa
+
+    wav, _ = librosa.load(wav_path, sr=16000, mono=True)          # 16 kHz 單聲道
+    x = torch.from_numpy(np.ascontiguousarray(wav)).float()
+    if x.numel() < 16000:                                         # 太短（<1s）難抽穩定向量
+        raise ValueError("參考音檔太短，請提供約 3–10 秒的乾淨語音。")
+    clf = _get_ecapa()
+    win = 6 * 16000                                               # 切約 6 秒一段，分段抽再平均
+    chunks = [x[i : i + win] for i in range(0, x.numel(), win)]
+    chunks = [c for c in chunks if c.numel() >= 16000] or [x]     # 每段至少 1 秒
+    embs = []
+    for c in chunks:
+        e = clf.encode_batch(c.unsqueeze(0)).reshape(-1)          # [192]
+        embs.append(torch.nn.functional.normalize(e, dim=0))
+    mean = torch.stack(embs).mean(0)
+    return torch.nn.functional.normalize(mean, dim=0).cpu()
+
 # 註：repo 的 bluemagpie.serving 加速引擎（torch.compile / 連續批次）是為「常駐
 # 專用 GPU、追求吞吐」設計。在 ZeroGPU（GPU 逐請求序列化掛載）上實測後，單一
 # 請求延遲沒有改善（warm ~7.0s vs eager ~6.2s），反而帶來首呼叫 ~50s 編譯成本與
@@ -159,24 +202,23 @@ def tts_speaker(text):
 
 
 @gpu
-def tts_clone(text, reference_audio, prompt_text):
-    """聲音複製：以「參考語音 + 其逐字稿」做 zero-shot 複製。
+def tts_clone(text, reference_audio):
+    """聲音複製：從參考音檔抽出語者向量（ECAPA centroid），走 speaker_centroid 路徑。
 
-    用 prompt_wav_path + prompt_text（語音接續）路徑 —— 這是此模型可靠的複製方式；
-    transcript-free 的 reference_wav_path 路徑在本 checkpoint 會吐出亂掉的內容，故不用。
+    這條路徑在本 checkpoint 有被訓練（與內附李宏毅向量同一機制），可靠；**免逐字稿**。
     """
     text = (text or "").strip()
-    prompt_text = (prompt_text or "").strip()
     if not text:
         raise gr.Error("請先輸入要合成的文字。")
     if not reference_audio:
         raise gr.Error("請先上傳或錄製一段參考音檔。")
-    if not prompt_text:
-        raise gr.Error("請填寫參考音檔的逐字稿（這段參考語音實際說的內容）。")
+    try:
+        centroid = extract_centroid(reference_audio)
+    except Exception as e:
+        raise gr.Error(f"無法從參考音檔抽取語者向量：{e}")
     audio = model.generate(
         target_text=text,
-        prompt_wav_path=reference_audio,  # gr.Audio(type="filepath") 回傳路徑
-        prompt_text=prompt_text,
+        speaker_centroid=centroid,
         **GEN_KWARGS,
     )
     return (SR, _to_numpy(audio))
@@ -271,9 +313,10 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
 
     with gr.Tab("聲音複製"):
         gr.Markdown(
-            "上傳一段參考音檔**並填寫它的逐字稿**，輸出會模仿該語者的音色。\n\n"
-            "為什麼要逐字稿？本模型靠「參考語音＋逐字稿」做複製最穩定；少了逐字稿的純參考"
-            "模式在目前 checkpoint 會吐出亂掉的內容。建議參考音檔約 3–10 秒、乾淨單一語者。\n\n"
+            "上傳或錄製一段參考音檔，系統會從中**抽取語者向量（音色指紋）**，再用它合成你的文字"
+            "——**不需要逐字稿**。建議參考音檔約 3–10 秒、乾淨單一語者。\n\n"
+            "（原理：和內附的李宏毅語者向量走同一條、**已訓練**的 `speaker_centroid` 路徑；"
+            "用 ECAPA-TDNN 從你的音檔算出同樣的 192 維向量。）\n\n"
             "⚠️ **請只使用你已取得授權的聲音**，請勿在未經本人同意下複製他人聲音。"
         )
         with gr.Row():
@@ -283,17 +326,13 @@ with gr.Blocks(title="BlueMagpie-TTS Demo", theme=gr.themes.Soft()) as demo:
                     placeholder="輸入中文或中英混合的文字…",
                 )
                 c_ref = gr.Audio(
-                    label="參考音檔（上傳或錄製）", type="filepath",
+                    label="參考音檔（上傳或錄製，約 3–10 秒）", type="filepath",
                     sources=["upload", "microphone"],
                 )
-                c_prompt = gr.Textbox(
-                    label="參考音檔的逐字稿", lines=2,
-                    placeholder="輸入這段參考語音實際說的內容…",
-                )
                 c_btn = gr.Button("複製音色合成", variant="primary")
             with gr.Column():
                 c_out = gr.Audio(label="合成結果", type="numpy")
-        c_btn.click(tts_clone, [c_text, c_ref, c_prompt], c_out)
+        c_btn.click(tts_clone, [c_text, c_ref], c_out)
 
     with gr.Tab("長文逐句串流"):
         gr.Markdown(

requirements.txt

@@ -5,3 +5,5 @@
 git+https://github.com/OpenFormosa/Barbet.git
 git+https://github.com/OpenFormosa/BlueMagpie-TTS.git@7d415b1b2f54d6264b62bc62160f0123069053fa
 soundfile
+# 聲音複製：用 ECAPA-TDNN 從參考音檔抽語者向量（speaker_centroid 路徑）。
+speechbrain