Qwen3.5-4B Dendriva final checkpoint 4328 — MLX LoRA adapter
Adapter LoRA MLX-native dari checkpoint final training Dendriva. Repositori ini hanya berisi bobot adapter dan metadata; base model tidak disalin. Artifact tidak dikuantisasi dan tidak berisi versi 4-bit.
Cara memuat
Gunakan base model unsloth/Qwen3.5-4B pada revision berikut agar arsitektur dan nama modul identik:
- Base revision: 3764fa359b9082ea5a1e4a5e3ac3aaf6e9671636
- Adapter path: kangsyahrul/qwen3.5-4b-dendriva-final-checkpoint-4328-mlx-lora-adapter
- Format: MLX-native LoRA
- Quantization: none
- LoRA rank: 32
- LoRA alpha: 64
- LoRA scale: 2.0
- Target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Nama tensor mengikuti namespace runtime Unsloth Desktop / mlx-vlm: language_model.model.layers.*. Tidak ada bobot base model di repository ini.
Ringkasan training final
| Metrik | Nilai |
|---|---|
| Status | selesai |
| Step | 4328 / 4328 |
| Epoch | 2.0000 |
| Runtime | 8.914 jam |
| Tokens dilihat | 204,342,526 |
| Throughput | 6367.956 tokens/detik |
| Final logged train loss | 0.163085 |
| Rata-rata train loss 50 log terakhir | 0.183422 |
| Final grad norm | 0.323516 |
| Final learning rate | 2.76057640969e-11 |
| Minimum single logged train loss | 0.131321 pada step 2302 |
| Semua loss dan grad norm finite | true |
Evaluasi
Evaluasi terbaik sekaligus evaluasi terjadwal terakhir terjadi pada step 3897, epoch 1.8010, dengan eval loss 0.218322. Perplexity token-level turunan, exp(eval loss), adalah 1.2440. Dibanding evaluasi pertama, eval loss turun 0.050351 atau 18.74%.
| Step | Epoch | Eval loss | exp(loss) |
|---|---|---|---|
| 433 | 0.2001 | 0.268674 | 1.3082 |
| 866 | 0.4003 | 0.251234 | 1.2856 |
| 1299 | 0.6004 | 0.241616 | 1.2733 |
| 1732 | 0.8006 | 0.234759 | 1.2646 |
| 2165 | 1.0005 | 0.228992 | 1.2573 |
| 2598 | 1.2006 | 0.226406 | 1.2541 |
| 3031 | 1.4007 | 0.222595 | 1.2493 |
| 3464 | 1.6009 | 0.219651 | 1.2456 |
| 3897 | 1.8010 | 0.218322 | 1.2440 |
Catatan penting: checkpoint final step 4328 tidak memiliki evaluasi tepat pada step tersebut; evaluasi terakhir dijadwalkan pada step 3897. Karena itu, final checkpoint adalah model paling akhir, tetapi belum otomatis terbukti lebih baik secara generalisasi daripada checkpoint evaluasi terbaik.
Konfigurasi utama
- Sequence length: 8192
- Epochs: 2
- Learning rate: 2e-4
- Batch size: 4
- Gradient accumulation: 4
- Effective batch size per process: 16
- Warmup steps: 100
- Weight decay: 0.001
- Optimizer: adamw_8bit
- Scheduler: cosine
- Packing: false
- Completion-only loss: true
- Gradient checkpointing: unsloth
- LoRA: r=32, alpha=64, dropout=0
- rsLoRA: false
- LoftQ: false
Interpretasi dan batasan
Kurva train dan eval loss sama-sama menurun hingga evaluasi terakhir, sedangkan grad norm tetap finite. Ini merupakan tanda optimisasi stabil dan tidak memberi bukti overfitting dari metrik yang tersedia. Namun loss token-level bukan skor kualitas akhir: ia tidak mengukur apakah kode Manim berhasil dirender, benar secara matematis, bagus secara visual, atau efektif untuk pembelajaran.
Untuk menentukan checkpoint terbaik secara praktis, bandingkan checkpoint final dengan checkpoint step 3897 pada benchmark Manim yang dibekukan: parse/runtime success, render success, kesesuaian instruksi, kualitas visual, dan penilaian pedagogis.
File dan integritas
- adapters.safetensors — 256 tensor LoRA untuk 128 modul
- adapter_config.json — konfigurasi adapter MLX
- training_summary.json — ringkasan konversi dan provenance
- metrics_report.json — laporan metrik machine-readable lengkap
- SHA256SUMS — checksum seluruh artifact
Konversi melakukan pemeriksaan round-trip tensor exact dan tidak mengemas base model atau bobot 4-bit.
Quantized