Spaces:
Running
Running
docs: add measured Kaggle beam1 speed
Browse files- HachimiMT_Kaggle.ipynb +1 -1
- README.md +1 -1
- README_hachimimt_colab.md +1 -1
- hachimimt-local.zip +2 -2
- src/app.py +3 -4
HachimiMT_Kaggle.ipynb
CHANGED
|
@@ -3,7 +3,7 @@
|
|
| 3 |
{
|
| 4 |
"cell_type": "markdown",
|
| 5 |
"metadata": {},
|
| 6 |
-
"source": "# HachimiMT — Dịch Trung → Việt (Kaggle, GPU T4 miễn phí)\n\nChạy app dịch truyện **HachimiMT / MoxhiMT** (CTranslate2) trên Kaggle — GPU T4 miễn phí (~30 giờ/tuần), không cần cài gì trên máy.\n\n## ⚡ Trước khi chạy — bật GPU + Internet\n1. **`Settings → Accelerator → GPU T4 x2`** (app tự dùng các GPU CUDA khả dụng; T4 x2 thường nhanh hơn 1 T4 khi văn bản đủ dài).\n2. **`Settings → Internet → on`** (BẮT BUỘC — để tải code + model và tạo link công khai).\n3. Rồi **`Run All`**.\n\n> ⚠️ **Chọn `GPU T4 x2`** — **KHÔNG chọn `GPU P100`**: P100 (kiến trúc cũ) không hỗ trợ kiểu tính `int8_float16` của model nên app sẽ rớt về CPU (chậm ~50×). Cũng **không chọn TPU** (CTranslate2 không dùng được TPU).\n\n### 🚀 Tốc độ đo thật gần nhất (T4 x2, HachimiMT-60 CT2)\n| Chế độ | Tốc độ | File 2,84M chữ |\n|---|---|---|\n| **Beam
|
| 7 |
},
|
| 8 |
{
|
| 9 |
"cell_type": "markdown",
|
|
|
|
| 3 |
{
|
| 4 |
"cell_type": "markdown",
|
| 5 |
"metadata": {},
|
| 6 |
+
"source": "# HachimiMT — Dịch Trung → Việt (Kaggle, GPU T4 miễn phí)\n\nChạy app dịch truyện **HachimiMT / MoxhiMT** (CTranslate2) trên Kaggle — GPU T4 miễn phí (~30 giờ/tuần), không cần cài gì trên máy.\n\n## ⚡ Trước khi chạy — bật GPU + Internet\n1. **`Settings → Accelerator → GPU T4 x2`** (app tự dùng các GPU CUDA khả dụng; T4 x2 thường nhanh hơn 1 T4 khi văn bản đủ dài).\n2. **`Settings → Internet → on`** (BẮT BUỘC — để tải code + model và tạo link công khai).\n3. Rồi **`Run All`**.\n\n> ⚠️ **Chọn `GPU T4 x2`** — **KHÔNG chọn `GPU P100`**: P100 (kiến trúc cũ) không hỗ trợ kiểu tính `int8_float16` của model nên app sẽ rớt về CPU (chậm ~50×). Cũng **không chọn TPU** (CTranslate2 không dùng được TPU).\n\n### 🚀 Tốc độ đo thật gần nhất (T4 x2, HachimiMT-60 CT2)\n| Chế độ | Tốc độ | File 2,84M chữ |\n|---|---|---|\n| **Beam 1** (ưu tiên tốc độ) | ~71.000 chữ Hán/giây | ~40 giây |\n| **Beam 2** (mặc định, chất lượng) | ~52.000 chữ Hán/giây | ~55 giây |\n\n> Beam thấp dịch nhanh hơn nhưng chất lượng nhỉnh kém hơn chút (chọn Beam trong giao diện). Colab/T4 x1 đã tối ưu đạt ~28.000 chữ/giây ở beam 2 hoặc ~40.000 ở beam 1; Kaggle T4 x2 vẫn nhanh nhất khi dịch file dài.\n\nCell cuối in ra **link công khai** (`*.gradio.live`) — bấm vào đó để mở giao diện dịch.\n\nMã nguồn: HF Space [ngocdang83/HachimiMT-demo](https://huggingface.co/spaces/ngocdang83/HachimiMT-demo)."
|
| 7 |
},
|
| 8 |
{
|
| 9 |
"cell_type": "markdown",
|
README.md
CHANGED
|
@@ -17,7 +17,7 @@ Vì chạy trên CPU dùng chung, nếu muốn dịch file dài hoặc nguyên b
|
|
| 17 |
notebook GPU hoặc bản local:
|
| 18 |
|
| 19 |
- Google Colab T4: khoảng 40.000 chữ Hán/giây ở beam 1, khoảng 28.000 ở beam 2.
|
| 20 |
-
- Kaggle T4 x2: khoảng
|
| 21 |
- Bản local Windows/macOS/Linux: tải trong giao diện Space, chạy được offline sau khi tải model.
|
| 22 |
|
| 23 |
Mã nguồn chính: https://github.com/ngocdang8311/qt2
|
|
|
|
| 17 |
notebook GPU hoặc bản local:
|
| 18 |
|
| 19 |
- Google Colab T4: khoảng 40.000 chữ Hán/giây ở beam 1, khoảng 28.000 ở beam 2.
|
| 20 |
+
- Kaggle T4 x2: khoảng 71.000 chữ Hán/giây ở beam 1, khoảng 52.000 ở beam 2 theo benchmark mới nhất.
|
| 21 |
- Bản local Windows/macOS/Linux: tải trong giao diện Space, chạy được offline sau khi tải model.
|
| 22 |
|
| 23 |
Mã nguồn chính: https://github.com/ngocdang8311/qt2
|
README_hachimimt_colab.md
CHANGED
|
@@ -106,7 +106,7 @@ GPU nhiều lần (xem mục Tốc độ). Hướng dẫn chi tiết nằm trong
|
|
| 106 |
| Môi trường | Tốc độ đo thật | Bộ truyện 2,4 triệu chữ |
|
| 107 |
|---|---|---|
|
| 108 |
| **Colab T4 (1 GPU)** | ~40.000 chữ Hán/giây (beam 1) · ~28.000 (beam 2) | ~1 phút (beam 1) · ~1 phút 30 giây (beam 2) |
|
| 109 |
-
| **Kaggle T4 × 2 (2 GPU)** | ~
|
| 110 |
| **CPU (bản máy / demo)** | ~500 chữ/giây | chậm — chỉ nên dùng cho đoạn ngắn |
|
| 111 |
|
| 112 |
> **GPU nhanh hơn CPU hàng chục lần.** Vì vậy luôn **bật GPU** trên Colab/Kaggle.
|
|
|
|
| 106 |
| Môi trường | Tốc độ đo thật | Bộ truyện 2,4 triệu chữ |
|
| 107 |
|---|---|---|
|
| 108 |
| **Colab T4 (1 GPU)** | ~40.000 chữ Hán/giây (beam 1) · ~28.000 (beam 2) | ~1 phút (beam 1) · ~1 phút 30 giây (beam 2) |
|
| 109 |
+
| **Kaggle T4 × 2 (2 GPU)** | ~71.000 chữ/giây (beam 1) · ~52.000 (beam 2) | ~40 giây (beam 1) · ~55 giây (beam 2) cho 2,84M chữ |
|
| 110 |
| **CPU (bản máy / demo)** | ~500 chữ/giây | chậm — chỉ nên dùng cho đoạn ngắn |
|
| 111 |
|
| 112 |
> **GPU nhanh hơn CPU hàng chục lần.** Vì vậy luôn **bật GPU** trên Colab/Kaggle.
|
hachimimt-local.zip
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:d327ed12f4b4b829d254e5fef27dab272c9d6c61ad835c4f5f18f2ba97d35a94
|
| 3 |
+
size 109385
|
src/app.py
CHANGED
|
@@ -1497,10 +1497,9 @@ GitHub) → bật `Settings → Accelerator → GPU T4 x2` và `Settings → Int
|
|
| 1497 |
→ `Run All`. Cell cuối hiện link `*.gradio.live` để mở giao diện dịch. Notebook đã
|
| 1498 |
bật `HACHIMIMT_AUTO_ALL_GPUS=1` để dùng cả 2 GPU T4 khi Kaggle cấp đủ.
|
| 1499 |
|
| 1500 |
-
> ⚡ **Tốc độ trên T4 x2** (đo mới nhất): **~
|
| 1501 |
-
> **2,84 triệu chữ ~
|
| 1502 |
-
>
|
| 1503 |
-
> khoảng 1,9× trên file dài.
|
| 1504 |
|
| 1505 |
### 💻 Cách 3 — Cài bản chạy trên máy (offline, dịch file lớn)
|
| 1506 |
|
|
|
|
| 1497 |
→ `Run All`. Cell cuối hiện link `*.gradio.live` để mở giao diện dịch. Notebook đã
|
| 1498 |
bật `HACHIMIMT_AUTO_ALL_GPUS=1` để dùng cả 2 GPU T4 khi Kaggle cấp đủ.
|
| 1499 |
|
| 1500 |
+
> ⚡ **Tốc độ trên T4 x2** (đo mới nhất): **~71.000 chữ Hán/giây** (beam 1) hoặc
|
| 1501 |
+
> **~52.000 chữ Hán/giây** (beam 2) — file **2,84 triệu chữ ~40 giây** ở beam 1,
|
| 1502 |
+
> hoặc **~55 giây** ở beam 2. Nhanh hơn Colab T4 x1 beam 2 khoảng 1,9× trên file dài.
|
|
|
|
| 1503 |
|
| 1504 |
### 💻 Cách 3 — Cài bản chạy trên máy (offline, dịch file lớn)
|
| 1505 |
|