ngocdang83 commited on
Commit
6e23ef8
·
verified ·
1 Parent(s): f5c91b0

bench: preset Kaggle batch sweep

Browse files
HachimiMT_Benchmark_Profile.ipynb CHANGED
@@ -23,7 +23,7 @@
23
  "BENCH_DONE ...\n",
24
  "```\n",
25
  "\n",
26
- "Để so Kaggle với Colab công bằng, bật `USE_SINGLE_GPU_FOR_FAIR_TEST=True`; notebook sẽ tự dùng window `16` cho lần fair test nếu bạn không override `WINDOW_MULTIPLIER`."
27
  ]
28
  },
29
  {
@@ -142,6 +142,10 @@
142
  "NORMALIZE = \"auto\" # auto, t2s, none\n",
143
  "PROGRESS_SECONDS = 30\n",
144
  "\n",
 
 
 
 
145
  "# Bật để so Kaggle x1 T4 công bằng với Colab x1 T4.\n",
146
  "# Tắt để Kaggle tự dùng toàn bộ GPU được cấp, ví dụ T4 x2.\n",
147
  "USE_SINGLE_GPU_FOR_FAIR_TEST = False\n",
@@ -326,7 +330,10 @@
326
  " return summary\n",
327
  "\n",
328
  "\n",
329
- "last_summary = run_benchmark_once()"
 
 
 
330
  ]
331
  },
332
  {
@@ -335,13 +342,13 @@
335
  "metadata": {},
336
  "outputs": [],
337
  "source": [
338
- "# 5. Sweep batch/window/beam bằng script CLI (tắt mặc định)\n",
339
- "# Bật RUN_SWEEP=True khi muốn tìm cấu hình tốt nhất trên runtime hiện tại.\n",
340
- "RUN_SWEEP = False\n",
341
- "SWEEP_SINGLE_GPU = True # True: fair x1 T4; False: Kaggle dùng auto/all GPU\n",
342
  "SWEEP_BEAMS = [1, 2]\n",
343
- "SWEEP_BATCHES = [96] # mini-sweep; mở rộng thành [64, 96, 128] nếu cần\n",
344
- "SWEEP_WINDOWS = [4, 8, 16]\n",
345
  "SWEEP_PROGRESS_SECONDS = 999999\n",
346
  "SWEEP_MAX_RUNS = 0 # 0 = chạy hết combo; đặt 1/2 để smoke nhanh\n",
347
  "\n",
@@ -371,6 +378,8 @@
371
  " ]\n",
372
  " if SWEEP_SINGLE_GPU:\n",
373
  " cmd.extend([\"--single-gpu\", \"--gpu-indices\", FAIR_GPU_INDICES])\n",
 
 
374
  " if TOKENIZE_WORKERS:\n",
375
  " cmd.extend([\"--tokenize-workers\", TOKENIZE_WORKERS])\n",
376
  " if TOKENIZE_JOB_SIZE:\n",
 
23
  "BENCH_DONE ...\n",
24
  "```\n",
25
  "\n",
26
+ "Preset hiện tại dùng để sweep batch trên Kaggle T4 x2: chạy cả 2 GPU, beam `[1, 2]`, batch `[64, 96, 128]`, window `[4]`. Để so Kaggle với Colab công bằng, bật `USE_SINGLE_GPU_FOR_FAIR_TEST=True`; notebook sẽ tự dùng window `16` cho lần fair test nếu bạn không override `WINDOW_MULTIPLIER`."
27
  ]
28
  },
29
  {
 
142
  "NORMALIZE = \"auto\" # auto, t2s, none\n",
143
  "PROGRESS_SECONDS = 30\n",
144
  "\n",
145
+ "# Preset hiện tại ưu tiên batch sweep nên bỏ qua benchmark đơn khi Run all.\n",
146
+ "# Đổi thành True nếu bạn muốn chạy một cấu hình đơn trước sweep.\n",
147
+ "RUN_SINGLE_BENCHMARK = False\n",
148
+ "\n",
149
  "# Bật để so Kaggle x1 T4 công bằng với Colab x1 T4.\n",
150
  "# Tắt để Kaggle tự dùng toàn bộ GPU được cấp, ví dụ T4 x2.\n",
151
  "USE_SINGLE_GPU_FOR_FAIR_TEST = False\n",
 
330
  " return summary\n",
331
  "\n",
332
  "\n",
333
+ "if RUN_SINGLE_BENCHMARK:\n",
334
+ " last_summary = run_benchmark_once()\n",
335
+ "else:\n",
336
+ " print(\"RUN_SINGLE_BENCHMARK=False. Bỏ qua benchmark đơn, chạy tiếp cell sweep.\")"
337
  ]
338
  },
339
  {
 
342
  "metadata": {},
343
  "outputs": [],
344
  "source": [
345
+ "# 5. Sweep batch/window/beam bằng script CLI\n",
346
+ "# Preset hiện tại: Kaggle T4 x2 batch sweep.\n",
347
+ "RUN_SWEEP = True\n",
348
+ "SWEEP_SINGLE_GPU = False # False: Kaggle dùng auto/all GPU; True: fair x1 T4\n",
349
  "SWEEP_BEAMS = [1, 2]\n",
350
+ "SWEEP_BATCHES = [64, 96, 128]\n",
351
+ "SWEEP_WINDOWS = [4] # Kaggle x2 hiện là window=4x/16x hiệu dụng\n",
352
  "SWEEP_PROGRESS_SECONDS = 999999\n",
353
  "SWEEP_MAX_RUNS = 0 # 0 = chạy hết combo; đặt 1/2 để smoke nhanh\n",
354
  "\n",
 
378
  " ]\n",
379
  " if SWEEP_SINGLE_GPU:\n",
380
  " cmd.extend([\"--single-gpu\", \"--gpu-indices\", FAIR_GPU_INDICES])\n",
381
+ " else:\n",
382
+ " cmd.append(\"--auto-all-gpus\")\n",
383
  " if TOKENIZE_WORKERS:\n",
384
  " cmd.extend([\"--tokenize-workers\", TOKENIZE_WORKERS])\n",
385
  " if TOKENIZE_JOB_SIZE:\n",
hachimimt-local.zip CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d327ed12f4b4b829d254e5fef27dab272c9d6c61ad835c4f5f18f2ba97d35a94
3
- size 109385
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:941b95caacc9c56acc8d24312736bad69d486ada6b09df95e6431c51aef56640
3
+ size 109528