medgemma-4b_finetuned_175 (LoRA)

LoRA adapter cho google/medgemma-4b-it, fine-tune sinh Impression (kết luận X-quang tiếng Việt) — dữ liệu nội bộ BV175 (đa bộ phận).

• Task: Impression Generation (Stage 2).
• Loss: cross-entropy (mask token assistant), Optim: AdamW, bf16.
• LoRA: r=16, alpha=32, dropout=0.05, target = proj LLM (đóng băng vision SigLIP).
• Data: 1210 train / 156 val / 157 test (split theo bệnh nhân).

Kết quả (test 157, impression)

	ROUGE-1	ROUGE-2	ROUGE-L	BLEU
zero-shot	26.8	9.4	17.8	0.9
fine-tuned	55.9	34.8	45.5	18.3

Dùng

from transformers import AutoProcessor, AutoModelForImageTextToText
from peft import PeftModel
base = "google/medgemma-4b-it"     # gated: cần chấp nhận license + đăng nhập HF
proc = AutoProcessor.from_pretrained(base)
model = AutoModelForImageTextToText.from_pretrained(base, torch_dtype="bfloat16", device_map="cuda")
model = PeftModel.from_pretrained(model, "<user>/medgemma-4b_finetuned_175")

Base model MedGemma là gated (phải xin quyền trên HF).