unisistem/qwen2.5-1.5b-tupi-guarani

Qwen2.5-1.5B Tupi-Guarani Dictionary Model

Este é um modelo fine-tuned do Qwen2.5-1.5B-Instruct especializado em responder perguntas sobre o dicionário Tupi-Guarani.

📚 Sobre

O modelo foi treinado para responder perguntas sobre palavras e significados do dicionário Tupi-Guarani da FUNAI, preservando e divulgando esta importante língua indígena brasileira.

🔧 Detalhes do Treinamento

• Modelo Base: Qwen/Qwen2.5-1.5B-Instruct
• Método: QLoRA (Quantized Low-Rank Adaptation)
• Quantização: 4-bit
• Epochs: 3
• Dataset: 1.100 pares de Q&A extraídos do dicionário
• Loss Final: 0.66
• Acurácia: 95.5%

📖 Como Usar

Com Transformers + PEFT

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

MODEL = "Qwen/Qwen2.5-1.5B-Instruct"
ADAPTER = "{HF_USERNAME}/{REPO_NAME}"

tokenizer = AutoTokenizer.from_pretrained(MODEL)
base = AutoModelForCausalLM.from_pretrained(
    MODEL, 
    torch_dtype=torch.float16, 
    device_map="auto"
)
model = PeftModel.from_pretrained(base, ADAPTER)

# Fazer uma pergunta
pergunta = "O que significa Aba em Tupi?"
messages = [{"role": "user", "content": pergunta}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
resposta = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(resposta)

Exemplos de Perguntas

Q: O que significa Aba em Tupi?
A: Em Tupi, 'Aba' significa: mãe - senhora - amanhã

Q: Qual o significado de Abaru?
A: Em Tupi-Guarani, abarú significa: bafo

Q: O que é Aca?
A: Em Tupi-Guarani, 'Aca' significa: araçá - mato fino com palmeiras

📊 Dataset

O dataset foi criado extraindo 270 entradas do dicionário Tupi-Guarani da FUNAI, gerando 1.100 pares de pergunta-resposta com diferentes formulações.

⚠️ Limitações

• O modelo é especializado apenas em palavras do dicionário Tupi-Guarani
• Pode não responder corretamente perguntas fora deste domínio
• O dataset é limitado (270 palavras)

🙏 Agradecimentos

• Dicionário Tupi-Guarani da FUNAI
• Qwen Team pelo modelo base
• Hugging Face pela plataforma

📄 Licença

Apache License 2.0