ngocdang83 commited on
Commit
f5c91b0
·
verified ·
1 Parent(s): 7cb638f

docs: add measured Kaggle beam1 speed

Browse files
HachimiMT_Kaggle.ipynb CHANGED
@@ -3,7 +3,7 @@
3
  {
4
  "cell_type": "markdown",
5
  "metadata": {},
6
- "source": "# HachimiMT — Dịch Trung → Việt (Kaggle, GPU T4 miễn phí)\n\nChạy app dịch truyện **HachimiMT / MoxhiMT** (CTranslate2) trên Kaggle — GPU T4 miễn phí (~30 giờ/tuần), không cần cài gì trên máy.\n\n## ⚡ Trước khi chạy — bật GPU + Internet\n1. **`Settings → Accelerator → GPU T4 x2`** (app tự dùng các GPU CUDA khả dụng; T4 x2 thường nhanh hơn 1 T4 khi văn bản đủ dài).\n2. **`Settings → Internet → on`** (BẮT BUỘC — để tải code + model và tạo link công khai).\n3. Rồi **`Run All`**.\n\n> ⚠️ **Chọn `GPU T4 x2`** — **KHÔNG chọn `GPU P100`**: P100 (kiến trúc cũ) không hỗ trợ kiểu tính `int8_float16` của model nên app sẽ rớt về CPU (chậm ~50×). Cũng **không chọn TPU** (CTranslate2 không dùng được TPU).\n\n### 🚀 Tốc độ đo thật gần nhất (T4 x2, HachimiMT-60 CT2)\n| Chế độ | Tốc độ | File 2,84M chữ |\n|---|---|---|\n| **Beam 2** (mặc định, chất lượng) | ~52.000 chữ Hán/giây | ~55 giây |\n| **Beam 1** (ưu tiên tốc độ) | thường nhanh hơn beam 2; chạy benchmark để đo chính xác trên runtime hiện tại | thường dưới ~55 giây |\n\n> Beam thấp dịch nhanh hơn nhưng chất lượng nhỉnh kém hơn chút (chọn Beam trong giao diện). Colab/T4 x1 đã tối ưu đạt ~28.000 chữ/giây ở beam 2 hoặc ~40.000 ở beam 1; Kaggle T4 x2 vẫn nhanh nhất khi dịch file dài.\n\nCell cuối in ra **link công khai** (`*.gradio.live`) — bấm vào đó để mở giao diện dịch.\n\nMã nguồn: HF Space [ngocdang83/HachimiMT-demo](https://huggingface.co/spaces/ngocdang83/HachimiMT-demo)."
7
  },
8
  {
9
  "cell_type": "markdown",
 
3
  {
4
  "cell_type": "markdown",
5
  "metadata": {},
6
+ "source": "# HachimiMT — Dịch Trung → Việt (Kaggle, GPU T4 miễn phí)\n\nChạy app dịch truyện **HachimiMT / MoxhiMT** (CTranslate2) trên Kaggle — GPU T4 miễn phí (~30 giờ/tuần), không cần cài gì trên máy.\n\n## ⚡ Trước khi chạy — bật GPU + Internet\n1. **`Settings → Accelerator → GPU T4 x2`** (app tự dùng các GPU CUDA khả dụng; T4 x2 thường nhanh hơn 1 T4 khi văn bản đủ dài).\n2. **`Settings → Internet → on`** (BẮT BUỘC — để tải code + model và tạo link công khai).\n3. Rồi **`Run All`**.\n\n> ⚠️ **Chọn `GPU T4 x2`** — **KHÔNG chọn `GPU P100`**: P100 (kiến trúc cũ) không hỗ trợ kiểu tính `int8_float16` của model nên app sẽ rớt về CPU (chậm ~50×). Cũng **không chọn TPU** (CTranslate2 không dùng được TPU).\n\n### 🚀 Tốc độ đo thật gần nhất (T4 x2, HachimiMT-60 CT2)\n| Chế độ | Tốc độ | File 2,84M chữ |\n|---|---|---|\n| **Beam 1** (ưu tiên tốc độ) | ~71.000 chữ Hán/giây | ~40 giây |\n| **Beam 2** (mặc định, chất lượng) | ~52.000 chữ Hán/giây | ~55 giây |\n\n> Beam thấp dịch nhanh hơn nhưng chất lượng nhỉnh kém hơn chút (chọn Beam trong giao diện). Colab/T4 x1 đã tối ưu đạt ~28.000 chữ/giây ở beam 2 hoặc ~40.000 ở beam 1; Kaggle T4 x2 vẫn nhanh nhất khi dịch file dài.\n\nCell cuối in ra **link công khai** (`*.gradio.live`) — bấm vào đó để mở giao diện dịch.\n\nMã nguồn: HF Space [ngocdang83/HachimiMT-demo](https://huggingface.co/spaces/ngocdang83/HachimiMT-demo)."
7
  },
8
  {
9
  "cell_type": "markdown",
README.md CHANGED
@@ -17,7 +17,7 @@ Vì chạy trên CPU dùng chung, nếu muốn dịch file dài hoặc nguyên b
17
  notebook GPU hoặc bản local:
18
 
19
  - Google Colab T4: khoảng 40.000 chữ Hán/giây ở beam 1, khoảng 28.000 ở beam 2.
20
- - Kaggle T4 x2: khoảng 52.000 chữ Hán/giây ở beam 2 theo benchmark mới nhất; beam 1 thường nhanh hơn nhưng cần đo lại trên runtime hiện tại để có số chính xác.
21
  - Bản local Windows/macOS/Linux: tải trong giao diện Space, chạy được offline sau khi tải model.
22
 
23
  Mã nguồn chính: https://github.com/ngocdang8311/qt2
 
17
  notebook GPU hoặc bản local:
18
 
19
  - Google Colab T4: khoảng 40.000 chữ Hán/giây ở beam 1, khoảng 28.000 ở beam 2.
20
+ - Kaggle T4 x2: khoảng 71.000 chữ Hán/giây ở beam 1, khoảng 52.000 beam 2 theo benchmark mới nhất.
21
  - Bản local Windows/macOS/Linux: tải trong giao diện Space, chạy được offline sau khi tải model.
22
 
23
  Mã nguồn chính: https://github.com/ngocdang8311/qt2
README_hachimimt_colab.md CHANGED
@@ -106,7 +106,7 @@ GPU nhiều lần (xem mục Tốc độ). Hướng dẫn chi tiết nằm trong
106
  | Môi trường | Tốc độ đo thật | Bộ truyện 2,4 triệu chữ |
107
  |---|---|---|
108
  | **Colab T4 (1 GPU)** | ~40.000 chữ Hán/giây (beam 1) · ~28.000 (beam 2) | ~1 phút (beam 1) · ~1 phút 30 giây (beam 2) |
109
- | **Kaggle T4 × 2 (2 GPU)** | ~52.000 chữ/giây (beam 2, đo mới trên file 2,84M); beam 1 thường nhanh hơn, cần đo lại trên runtime hiện tại | ~55 giây cho 2,84M chữ (beam 2) |
110
  | **CPU (bản máy / demo)** | ~500 chữ/giây | chậm — chỉ nên dùng cho đoạn ngắn |
111
 
112
  > **GPU nhanh hơn CPU hàng chục lần.** Vì vậy luôn **bật GPU** trên Colab/Kaggle.
 
106
  | Môi trường | Tốc độ đo thật | Bộ truyện 2,4 triệu chữ |
107
  |---|---|---|
108
  | **Colab T4 (1 GPU)** | ~40.000 chữ Hán/giây (beam 1) · ~28.000 (beam 2) | ~1 phút (beam 1) · ~1 phút 30 giây (beam 2) |
109
+ | **Kaggle T4 × 2 (2 GPU)** | ~71.000 chữ/giây (beam 1) · ~52.000 (beam 2) | ~40 giây (beam 1) · ~55 giây (beam 2) cho 2,84M chữ |
110
  | **CPU (bản máy / demo)** | ~500 chữ/giây | chậm — chỉ nên dùng cho đoạn ngắn |
111
 
112
  > **GPU nhanh hơn CPU hàng chục lần.** Vì vậy luôn **bật GPU** trên Colab/Kaggle.
hachimimt-local.zip CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:37dd9404e759fca5c46d0cdc9932a5ea508743c2a184bf8ffce49e41dcfa9b28
3
- size 109491
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d327ed12f4b4b829d254e5fef27dab272c9d6c61ad835c4f5f18f2ba97d35a94
3
+ size 109385
src/app.py CHANGED
@@ -1497,10 +1497,9 @@ GitHub) → bật `Settings → Accelerator → GPU T4 x2` và `Settings → Int
1497
  → `Run All`. Cell cuối hiện link `*.gradio.live` để mở giao diện dịch. Notebook đã
1498
  bật `HACHIMIMT_AUTO_ALL_GPUS=1` để dùng cả 2 GPU T4 khi Kaggle cấp đủ.
1499
 
1500
- > ⚡ **Tốc độ trên T4 x2** (đo mới nhất): **~52.000 chữ Hán/giây** (beam 2) — file
1501
- > **2,84 triệu chữ ~55 giây**. Beam 1 thường nhanh hơn beam 2, nhưng nên chạy benchmark
1502
- > lại trên runtime hiện tại nếu cần con số chính xác. Nhanh hơn Colab T4 x1 beam 2
1503
- > khoảng 1,9× trên file dài.
1504
 
1505
  ### 💻 Cách 3 — Cài bản chạy trên máy (offline, dịch file lớn)
1506
 
 
1497
  → `Run All`. Cell cuối hiện link `*.gradio.live` để mở giao diện dịch. Notebook đã
1498
  bật `HACHIMIMT_AUTO_ALL_GPUS=1` để dùng cả 2 GPU T4 khi Kaggle cấp đủ.
1499
 
1500
+ > ⚡ **Tốc độ trên T4 x2** (đo mới nhất): **~71.000 chữ Hán/giây** (beam 1) hoặc
1501
+ > **~52.000 chữ Hán/giây** (beam 2) — file **2,84 triệu chữ ~40 giây** beam 1,
1502
+ > hoặc **~55 giây** beam 2. Nhanh hơn Colab T4 x1 beam 2 khoảng 1,9× trên file dài.
 
1503
 
1504
  ### 💻 Cách 3 — Cài bản chạy trên máy (offline, dịch file lớn)
1505