vdtry06/deveerbench-llama3-v3

DOL DevOps LLaMA-3 8B — Version 3

Model được fine-tune từ Meta-Llama-3-8B-Instruct bằng kỹ thuật LoRA trên bộ dataset DevErrBench.

Thông tin training

Thông số	Giá trị
Base model	mlx-community/Meta-Llama-3-8B-Instruct-4bit
Method	LoRA (rank=8, dropout=0.05)
Optimizer	AdamW (weight_decay=0.01)
LR Schedule	Cosine Decay + Warmup 100
Learning Rate	2e-6
Best Val Loss	0.1620 (Iter 1000)
Early Stopping	Patience=2
Dataset	31k Hard-Negative + 60k Replay = ~92k samples
Framework	MLX (Apple Silicon)

Sử dụng trên Kaggle / Colab (GPU)

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "vdtry06/deveerbench-llama3-v3"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

Sử dụng trên Mac (MLX)

mlx_lm.server \
  --model vdtry06/deveerbench-llama3-v3 \
  --host 0.0.0.0 --port 8080