Congo-digital-service/qwen-vl-lingala-qlora-vf

Qwen-VL Lingala OCR (fusionné / merged)

English

Full merged model (base weights + fine-tuned QLoRA adapters baked in) for OCR on Lingala text. Ready to use directly, no PEFT/adapter loading required.

Base model: Qwen/Qwen2-VL-2B-Instruct Training data: Congo-digital-service/dataset-qwen-vl-lingala-qlora-vf Special characters: this model was fine-tuned to correctly recognize the two Lingala characters absent from standard Latin script — ɔ (U+0254, open o) and ɛ (U+025B, open e) — which were added to the tokenizer vocabulary and fine-tuned end-to-end.

Usage

from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
import torch

model = Qwen2VLForConditionalGeneration.from_pretrained("Congo-digital-service/qwen-vl-lingala-qlora-vf", torch_dtype=torch.float16, device_map="auto")
processor = AutoProcessor.from_pretrained("Congo-digital-service/qwen-vl-lingala-qlora-vf")

messages = [{"role": "user", "content": [
    {"type": "image", "image": your_pil_image},
    {"type": "text", "text": "Transcris le texte de cette image."},
]}]
prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(text=[prompt], images=[your_pil_image], return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)

Français

Modèle complet fusionné (poids de base + adaptateurs QLoRA fine-tunés intégrés) pour l'OCR de texte en lingala. Prêt à l'emploi directement, sans chargement d'adaptateurs PEFT.

Modèle de base : Qwen/Qwen2-VL-2B-Instruct Données d'entraînement : Congo-digital-service/dataset-qwen-vl-lingala-qlora-vf Caractères spéciaux : ce modèle a été fine-tuné pour reconnaître correctement les deux caractères lingala absents de l'alphabet latin standard — ɔ (U+0254) et ɛ (U+025B) — ajoutés au vocabulaire du tokenizer et entraînés de bout en bout.

Utilisation

Voir l'exemple de code ci-dessus (identique en français).