Instructions to use Davizig10jojo/BlazerApex-2B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Davizig10jojo/BlazerApex-2B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Davizig10jojo/BlazerApex-2B")

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("Davizig10jojo/BlazerApex-2B", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use Davizig10jojo/BlazerApex-2B with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Davizig10jojo/BlazerApex-2B:IQ4_XS
# Run inference directly in the terminal:
llama cli -hf Davizig10jojo/BlazerApex-2B:IQ4_XS

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Davizig10jojo/BlazerApex-2B:IQ4_XS
# Run inference directly in the terminal:
llama cli -hf Davizig10jojo/BlazerApex-2B:IQ4_XS

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Davizig10jojo/BlazerApex-2B:IQ4_XS
# Run inference directly in the terminal:
./llama-cli -hf Davizig10jojo/BlazerApex-2B:IQ4_XS

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Davizig10jojo/BlazerApex-2B:IQ4_XS
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Davizig10jojo/BlazerApex-2B:IQ4_XS

Use Docker

docker model run hf.co/Davizig10jojo/BlazerApex-2B:IQ4_XS

LM Studio
Jan

vLLM

How to use Davizig10jojo/BlazerApex-2B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Davizig10jojo/BlazerApex-2B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Davizig10jojo/BlazerApex-2B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/Davizig10jojo/BlazerApex-2B:IQ4_XS

SGLang

How to use Davizig10jojo/BlazerApex-2B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Davizig10jojo/BlazerApex-2B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Davizig10jojo/BlazerApex-2B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Davizig10jojo/BlazerApex-2B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Davizig10jojo/BlazerApex-2B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Ollama
How to use Davizig10jojo/BlazerApex-2B with Ollama:
```
ollama run hf.co/Davizig10jojo/BlazerApex-2B:IQ4_XS
```
Unsloth Desktop
Docker Model Runner
How to use Davizig10jojo/BlazerApex-2B with Docker Model Runner:
```
docker model run hf.co/Davizig10jojo/BlazerApex-2B:IQ4_XS
```

Lemonade

How to use Davizig10jojo/BlazerApex-2B with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Davizig10jojo/BlazerApex-2B:IQ4_XS

Run and chat with the model

lemonade run user.BlazerApex-2B-IQ4_XS

List all available models

lemonade list

Atomic Chat

BlazerApex-2B / README.md

Davizig10jojo

Update README.md

6fdaa7f verified 4 days ago

preview code

Raw

History Blame Contribute Delete

4.9 kB

	---
	license: apache-2.0
	library_name: transformers
	pipeline_tag: text-generation
	tags:
	- pt-br
	- portuguese
	- programming
	- logic
	- math
	- gguf
	- quantized
	- iq4_xs
	- mobile
	- lora
	- minicpm
	base_model: openbmb/MiniCPM5-2B
	language:
	- pt
	- en
	datasets:
	- Davizig10jojo/Nemotron-SFT-PT-BR-v2-Filtered
	- rhaymison/orca-math-portuguese-64k
	- costadev00/wikipedia-pt-br-instructions-sft
	- Davizig10jojo/BlazerDataset-PT-BR
	- TeichAI/Ox-Alpha-10k
	- rubend18/ChatGPT-Jailbreak-Prompts
	- Qwen3.8_Max_DeepSeek_Distillation_PT-BR
	- amalia-llm/wikipedia-rag
	---

	# 🦅 BlazerApex-2B (IQ4_XS)

	BlazerApex-2B é um modelo de linguagem ultracompacto (2.5B parâmetros), altamente otimizado e fine-tuned com foco total em Português do Brasil (PT-BR), Programação, Lógica e Matemática.

	Projetado especificamente para ser o SOTA (State-of-the-Art) de bolso, este modelo roda 100% offline, de forma rápida e fluida em smartphones intermediários (como o Motorola Moto G34 5G com Snapdragon 695), sem precisar de internet ou servidores externos.

	## 📱 Como usar no Celular (Android)

	Este repositório contém a versão quantizada IQ4_XS (~1.4 GB), ideal para dispositivos com 4GB a 8GB de RAM.

	1. Baixe o arquivo [`BlazerApex-2B-IQ4_XS.gguf`](https://huggingface.co/Davizig10jojo/BlazerApex-2B/blob/main/gguf/BlazerApex-2B-IQ4_XS.gguf) direto no seu celular.
	2. Instale o aplicativo [Maid](https://github.com/Mobile-Artificial-Intelligence/maid) ou [Layla](https://play.google.com/store/apps/details?id=com.layla.assistant) na Play Store.
	3. Abra o app, vá em "Models" (Modelos) e importe o arquivo `.gguf` baixado.
	4. Pronto! Configure a temperatura entre `0.2` e `0.7` e comece a conversar, programar ou resolver problemas de lógica offline.

	## 🧠 Sobre o Treinamento

	O BlazerApex-2B foi construído sobre a excelente arquitetura base do [openbmb/MiniCPM5-2B](https://huggingface.co/openbmb/MiniCPM-2B), utilizando técnicas avançadas de LoRA (Low-Rank Adaptation) no Kaggle (2x NVIDIA Tesla T4).

	### 📊 Mix de Dados (Dataset)
	O modelo foi treinado com um dataset híbrido e balanceado (80% PT-BR / 20% EN) para garantir fluência nativa em português sem perder a capacidade de sintaxe de código em inglês:

	* Nemotron-SFT-PT-BR-v2-Filtered (~15k exemplos): Programação e matemática estruturada em PT-BR.
	* orca-math-portuguese-64k (~15k exemplos): Raciocínio matemático passo-a-passo (Chain-of-Thought) adaptado para PT-BR.
	* wikipedia-pt-br-instructions-sft (~850 exemplos): Extração estruturada de informações e conhecimento geral.
	* wikipedia-rag (~3k exemplos): Regularização de leitura de contexto longo.
	* Qwen3.8_Max_DeepSeek_Distillation_PT-BR & BlazerDataset-PT-BR (~250 exemplos): Destilação complexa, identidade do modelo, saudações e lógica agêntica.
	* ChatGPT-Jailbreak-Prompts (~80 exemplos): Treinamento de segurança e recusa firme contra engenharia social em PT-BR.
	* Ox-Alpha-10k (~3k exemplos): Âncora em inglês puro (Go, Rust, C++, Python) para blindar a sintaxe exata de programação.

	## 📊 Benchmark (juiz LLM: Qwen3-4B-Instruct-2507, escala 0-100)

	![Capability Radar](https://huggingface.co/Davizig10jojo/BlazerApex-2B/resolve/main/benchmark_radar.png)

	\| Modelo \| Média \| Tamanho no celular (GGUF) \| Pontos por GB \|
	\|---\|---\|---\|---\|
	\| BlazerApex-2B (nosso) \| 88.1 \| 1.43 GB (IQ4_XS) \| 61.6 \|
	\| MiniCPM5-2B (base) \| 75.0 \| ~1.5 GB (Q4) \| ~50.0 \|
	\| Qwen2.5-3B-Instruct \| 97.5 \| ~2.0 GB (Q4) \| ~48.8 \|

	BlazerApex-2B supera o próprio modelo base em +13.1 pontos e entrega a melhor
	relação inteligência-por-GB da categoria, sendo otimizado para PT-BR e uso offline em mobile.

	## 🛠️ Especificações Técnicas

	* Arquitetura Base: LlamaForCausalLM (MiniCPM 2.5B)
	* Método de Fine-tuning: LoRA (r=16, alpha=32) + Merge
	* Precisão de Treino: FP16 (Tensor Cores T4)
	* Quantização Final: IQ4_XS (via llama.cpp)
	* Tamanho do Arquivo GGUF: ~1.4 GB
	* Contexto Suportado: Até 4k-8k tokens (otimizado para prompts curtos/médios no celular)

	## 📁 Estrutura do Repositório

	* 📂 `gguf/`: Contém o modelo quantizado `BlazerApex-2B-IQ4_XS.gguf` pronto para uso no Maid/Layla.
	* 📂 `safetensors/`: Contém os pesos completos do modelo mesclado (Merge LoRA + Base) em precisão FP16/BF16.
	* 📂 `lora/`: Contém os adapters LoRA originais gerados durante o treinamento.

	## Créditos

	* Desenvolvido por: Davizig10jojo
	* Modelo Base: [OpenBMB](https://huggingface.co/openbmb)
	* Ferramentas: [Hugging Face](https://huggingface.co/), [Kaggle](https://www.kaggle.com/), [PEFT](https://github.com/huggingface/peft), [TRL](https://github.com/huggingface/trl), [llama.cpp](https://github.com/ggerganov/llama.cpp)

	---
	Se este modelo te ajudou, deixe um ❤️ no repositório!