Spaces:
Running
Running
bench: preset Kaggle batch sweep
Browse files- HachimiMT_Benchmark_Profile.ipynb +17 -8
- hachimimt-local.zip +2 -2
HachimiMT_Benchmark_Profile.ipynb
CHANGED
|
@@ -23,7 +23,7 @@
|
|
| 23 |
"BENCH_DONE ...\n",
|
| 24 |
"```\n",
|
| 25 |
"\n",
|
| 26 |
-
"Để so Kaggle với Colab công bằng, bật `USE_SINGLE_GPU_FOR_FAIR_TEST=True`; notebook sẽ tự dùng window `16` cho lần fair test nếu bạn không override `WINDOW_MULTIPLIER`."
|
| 27 |
]
|
| 28 |
},
|
| 29 |
{
|
|
@@ -142,6 +142,10 @@
|
|
| 142 |
"NORMALIZE = \"auto\" # auto, t2s, none\n",
|
| 143 |
"PROGRESS_SECONDS = 30\n",
|
| 144 |
"\n",
|
|
|
|
|
|
|
|
|
|
|
|
|
| 145 |
"# Bật để so Kaggle x1 T4 công bằng với Colab x1 T4.\n",
|
| 146 |
"# Tắt để Kaggle tự dùng toàn bộ GPU được cấp, ví dụ T4 x2.\n",
|
| 147 |
"USE_SINGLE_GPU_FOR_FAIR_TEST = False\n",
|
|
@@ -326,7 +330,10 @@
|
|
| 326 |
" return summary\n",
|
| 327 |
"\n",
|
| 328 |
"\n",
|
| 329 |
-
"
|
|
|
|
|
|
|
|
|
|
| 330 |
]
|
| 331 |
},
|
| 332 |
{
|
|
@@ -335,13 +342,13 @@
|
|
| 335 |
"metadata": {},
|
| 336 |
"outputs": [],
|
| 337 |
"source": [
|
| 338 |
-
"# 5. Sweep batch/window/beam bằng script CLI
|
| 339 |
-
"#
|
| 340 |
-
"RUN_SWEEP =
|
| 341 |
-
"SWEEP_SINGLE_GPU =
|
| 342 |
"SWEEP_BEAMS = [1, 2]\n",
|
| 343 |
-
"SWEEP_BATCHES = [
|
| 344 |
-
"SWEEP_WINDOWS = [4
|
| 345 |
"SWEEP_PROGRESS_SECONDS = 999999\n",
|
| 346 |
"SWEEP_MAX_RUNS = 0 # 0 = chạy hết combo; đặt 1/2 để smoke nhanh\n",
|
| 347 |
"\n",
|
|
@@ -371,6 +378,8 @@
|
|
| 371 |
" ]\n",
|
| 372 |
" if SWEEP_SINGLE_GPU:\n",
|
| 373 |
" cmd.extend([\"--single-gpu\", \"--gpu-indices\", FAIR_GPU_INDICES])\n",
|
|
|
|
|
|
|
| 374 |
" if TOKENIZE_WORKERS:\n",
|
| 375 |
" cmd.extend([\"--tokenize-workers\", TOKENIZE_WORKERS])\n",
|
| 376 |
" if TOKENIZE_JOB_SIZE:\n",
|
|
|
|
| 23 |
"BENCH_DONE ...\n",
|
| 24 |
"```\n",
|
| 25 |
"\n",
|
| 26 |
+
"Preset hiện tại dùng để sweep batch trên Kaggle T4 x2: chạy cả 2 GPU, beam `[1, 2]`, batch `[64, 96, 128]`, window `[4]`. Để so Kaggle với Colab công bằng, bật `USE_SINGLE_GPU_FOR_FAIR_TEST=True`; notebook sẽ tự dùng window `16` cho lần fair test nếu bạn không override `WINDOW_MULTIPLIER`."
|
| 27 |
]
|
| 28 |
},
|
| 29 |
{
|
|
|
|
| 142 |
"NORMALIZE = \"auto\" # auto, t2s, none\n",
|
| 143 |
"PROGRESS_SECONDS = 30\n",
|
| 144 |
"\n",
|
| 145 |
+
"# Preset hiện tại ưu tiên batch sweep nên bỏ qua benchmark đơn khi Run all.\n",
|
| 146 |
+
"# Đổi thành True nếu bạn muốn chạy một cấu hình đơn trước sweep.\n",
|
| 147 |
+
"RUN_SINGLE_BENCHMARK = False\n",
|
| 148 |
+
"\n",
|
| 149 |
"# Bật để so Kaggle x1 T4 công bằng với Colab x1 T4.\n",
|
| 150 |
"# Tắt để Kaggle tự dùng toàn bộ GPU được cấp, ví dụ T4 x2.\n",
|
| 151 |
"USE_SINGLE_GPU_FOR_FAIR_TEST = False\n",
|
|
|
|
| 330 |
" return summary\n",
|
| 331 |
"\n",
|
| 332 |
"\n",
|
| 333 |
+
"if RUN_SINGLE_BENCHMARK:\n",
|
| 334 |
+
" last_summary = run_benchmark_once()\n",
|
| 335 |
+
"else:\n",
|
| 336 |
+
" print(\"RUN_SINGLE_BENCHMARK=False. Bỏ qua benchmark đơn, chạy tiếp cell sweep.\")"
|
| 337 |
]
|
| 338 |
},
|
| 339 |
{
|
|
|
|
| 342 |
"metadata": {},
|
| 343 |
"outputs": [],
|
| 344 |
"source": [
|
| 345 |
+
"# 5. Sweep batch/window/beam bằng script CLI\n",
|
| 346 |
+
"# Preset hiện tại: Kaggle T4 x2 batch sweep.\n",
|
| 347 |
+
"RUN_SWEEP = True\n",
|
| 348 |
+
"SWEEP_SINGLE_GPU = False # False: Kaggle dùng auto/all GPU; True: fair x1 T4\n",
|
| 349 |
"SWEEP_BEAMS = [1, 2]\n",
|
| 350 |
+
"SWEEP_BATCHES = [64, 96, 128]\n",
|
| 351 |
+
"SWEEP_WINDOWS = [4] # Kaggle x2 hiện là window=4x/16x hiệu dụng\n",
|
| 352 |
"SWEEP_PROGRESS_SECONDS = 999999\n",
|
| 353 |
"SWEEP_MAX_RUNS = 0 # 0 = chạy hết combo; đặt 1/2 để smoke nhanh\n",
|
| 354 |
"\n",
|
|
|
|
| 378 |
" ]\n",
|
| 379 |
" if SWEEP_SINGLE_GPU:\n",
|
| 380 |
" cmd.extend([\"--single-gpu\", \"--gpu-indices\", FAIR_GPU_INDICES])\n",
|
| 381 |
+
" else:\n",
|
| 382 |
+
" cmd.append(\"--auto-all-gpus\")\n",
|
| 383 |
" if TOKENIZE_WORKERS:\n",
|
| 384 |
" cmd.extend([\"--tokenize-workers\", TOKENIZE_WORKERS])\n",
|
| 385 |
" if TOKENIZE_JOB_SIZE:\n",
|
hachimimt-local.zip
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:941b95caacc9c56acc8d24312736bad69d486ada6b09df95e6431c51aef56640
|
| 3 |
+
size 109528
|