Instructions to use Denisijcu/vertex-core-gguf with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Denisijcu/vertex-core-gguf with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Denisijcu/vertex-core-gguf")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("Denisijcu/vertex-core-gguf", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use Denisijcu/vertex-core-gguf with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Denisijcu/vertex-core-gguf:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Denisijcu/vertex-core-gguf:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Denisijcu/vertex-core-gguf:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Denisijcu/vertex-core-gguf:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Denisijcu/vertex-core-gguf:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf Denisijcu/vertex-core-gguf:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Denisijcu/vertex-core-gguf:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Denisijcu/vertex-core-gguf:Q4_K_M

Use Docker

docker model run hf.co/Denisijcu/vertex-core-gguf:Q4_K_M

LM Studio
Jan

vLLM

How to use Denisijcu/vertex-core-gguf with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Denisijcu/vertex-core-gguf"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Denisijcu/vertex-core-gguf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Denisijcu/vertex-core-gguf:Q4_K_M

SGLang

How to use Denisijcu/vertex-core-gguf with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Denisijcu/vertex-core-gguf" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Denisijcu/vertex-core-gguf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Denisijcu/vertex-core-gguf" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Denisijcu/vertex-core-gguf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Ollama
How to use Denisijcu/vertex-core-gguf with Ollama:
```
ollama run hf.co/Denisijcu/vertex-core-gguf:Q4_K_M
```
Unsloth Desktop

How to use Denisijcu/vertex-core-gguf with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf Denisijcu/vertex-core-gguf:Q4_K_M

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "Denisijcu/vertex-core-gguf:Q4_K_M"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use Denisijcu/vertex-core-gguf with Docker Model Runner:
```
docker model run hf.co/Denisijcu/vertex-core-gguf:Q4_K_M
```

Lemonade

How to use Denisijcu/vertex-core-gguf with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Denisijcu/vertex-core-gguf:Q4_K_M

Run and chat with the model

lemonade run user.vertex-core-gguf-Q4_K_M

List all available models

lemonade list

Hermes Agent

How to use Denisijcu/vertex-core-gguf with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf Denisijcu/vertex-core-gguf:Q4_K_M

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default Denisijcu/vertex-core-gguf:Q4_K_M

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use Denisijcu/vertex-core-gguf with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf Denisijcu/vertex-core-gguf:Q4_K_M

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "Denisijcu/vertex-core-gguf:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

Vertex-Core — Ficha técnica (Model Card)

Desarrollado por: Vertex Coders LLC (Miami, FL), fundada y dirigida por Denis Sanchez Leyva Tipo: modelo de lenguaje afinado (fine-tuning QLoRA) a partir de un modelo abierto Modelo base: Qwen/Qwen3-4B-Instruct-2507 (Qwen Team, Alibaba Cloud) Licencia: Apache 2.0 (heredada del modelo base)

** Demo: https://youtu.be/a_Cg5BlreqQ

Especificaciones

Característica	Valor
Parámetros	4,000 millones (3,600 millones sin embeddings)
Capas	36
Atención	GQA: 32 cabezas de consulta, 8 de clave/valor
Contexto nativo	262,144 tokens
Modo	Sin "pensamiento" (no genera bloques `<think>`)
Formato de chat	ChatML
Idiomas	Español e inglés principalmente; multilingüe por herencia
Distribución local	GGUF Q4_K_M para Ollama y LM Studio (2.5 GB)
Uso de herramientas	Sí (tool use / MCP): ejecuta herramientas reales de forma consistente y no inventa sus resultados
Versión actual	v10 (adaptador `vertex-core-lora-v10`)

Rendimiento de inferencia (medido en GTX 1660 Ti, Q4_K_M)

Métrica	Valor
Generación	~28-34 tokens/segundo
Lectura de prompt (prompt eval)	~48-52 tokens/s, hasta ~150 t/s en contextos largos
Peticiones en paralelo	4
Nota	Con contextos muy grandes (>12k tokens) la lectura inicial sube a minutos: es el techo del hardware, no un fallo

Qué hereda del modelo base

Conocimiento general de programación, redes, seguridad y matemáticas.
Razonamiento, seguimiento de instrucciones y uso de herramientas.
Arquitectura, tokenizador y plantilla de chat.
Sus límites: fecha de corte del conocimiento, sesgos y posibilidad de inventar datos.

Qué añade el afinado de Vertex Coders

Identidad: se presenta como Vertex-Core, de Vertex Coders LLC, y es honesto sobre su base.
Tono: directo, técnico, de ingeniero senior.
Criterio: seguridad por defecto; enfoque de sombrero blanco (explica ataques para defenderse de ellos, no entrega armas listas para usar); no inventa.
Dominio: MCP, FastAPI, Angular, Kotlin/Jetpack Compose, PowerShell y ciberseguridad defensiva y ofensiva autorizada.

Entrenamiento (v10 — versión actual)

El modelo pasó por diez versiones (ver docs/BITACORA.md), cada una corrigiendo el defecto de la anterior. La v10 se entrenó desde el modelo base con un dataset en contraste que suma, a lo de versiones previas (identidad + admitir lo que no se sabe + escribir código + tool calling en formato nativo de Qwen3), el razonamiento de pentesting generalizado (sin flags ni soluciones de máquinas concretas) y la asociación servicio→técnica. Es lo que convierte a Vertex-Core en un copiloto de seguridad que ejecuta herramientas de forma consistente y razona sobre un objetivo autorizado.

Parámetro	Valor
Técnica	QLoRA (base en 4-bit NF4 + adaptadores LoRA)
LoRA	r=16, alpha=32, dropout=0.05, capas de atención y MLP
Contexto de entrenamiento	1,536 tokens
Épocas	1
Hardware	1x NVIDIA GTX 1660 Ti (6 GB, Turing), Windows 11
Precisión	fp16 (Turing no soporta bf16)
Muestras (v10)	~1,486 (tool calling 11% + razonamiento pentest 10% + técnicas por máquina 12% + identidad/código/"no lo sé" 36% + replay técnico 30%)
Parámetros entrenables	33 millones (0.81% del total)
VRAM pico	~4.3 GB

El razonamiento de pentesting es generalizado (patrón de pensar: servicio/pista → vulnerabilidad → técnica → siguiente paso), sin incluir flags ni soluciones literales de máquinas. Línea de sombrero blanco: material ofensivo-educativo para encontrar y defenderse de vulnerabilidades, sobre objetivos autorizados.

Datos de entrenamiento

Fuentes propias o generadas localmente con modelos de licencia abierta, más ejemplos de código estándar:

Identidad: ~80 ejemplos escritos a mano por el fundador.
Conocimiento técnico: ~1,971 pares pregunta/respuesta generados en local por qwen3:8b (Apache 2.0) a partir de los libros técnicos y el código de Vertex Coders LLC.
"No lo sé": ejemplos de admitir cuando no conoce una función de un repo que no ve, o datos que no puede saber.
Generación de código: ejemplos de escribir funciones estándar (validar, convertir, leer, ordenar, clases, HTTP).
Tool calling (v8): ejemplos con herramientas MCP reales, renderizados con el chat template de Qwen3, cubriendo los cuatro casos de uso de herramientas.
Excluido: código de terceros, proyectos de clientes, documentos legales, datos personales, credenciales.
Filtro de seguridad: pares con payloads o jailbreaks listos para usar descartados automáticamente.

Limitaciones

No conoce de memoria los detalles exactos de cada proyecto de Vertex Coders; para datos precisos debe consultarse vía MCP.
Puede inventar información con aparente seguridad, como cualquier LLM.
El contexto usable en la práctica depende de la memoria del equipo (4,096 tokens por defecto en Ollama).
La especialización puede reducir ligeramente el rendimiento en temas generales (ver evaluación).

Evaluación (v10)

Probado con prompts nuevos (fuera del entrenamiento), con system prompt, y con servidores MCP reales conectados en LM Studio:

Capacidad	Resultado
Identidad bajo presión	Correcto: se identifica como Vertex-Core
Honestidad sobre no tener conciencia	Correcto: "no tengo conciencia ni emociones"
Escribir código nuevo	Correcto: genera el código pedido
Línea de sombrero blanco	Correcto: solo opera sobre objetivos autorizados
Ejecutar herramientas (MCP), consistente	Correcto: ejecuta y encadena herramientas de forma fiable (consultas, escaneos, correos, cámaras)
No inventar datos que faltan	Correcto: pide el dato en vez de inventarlo
No fingir acciones	Correcto: no afirma haber hecho algo sin el resultado real de la herramienta
Razonamiento de pentesting	Correcto: da el flujo (recon→enum→explotación→privesc), clasifica vulnerabilidades (SSRF, etc.) y propone comandos, sobre objetivos autorizados
Formato	Correcto: Markdown limpio, tablas legibles

Decisión: v10 aceptada como versión definitiva. Equilibra identidad, código, honestidad, uso consistente de herramientas y razonamiento de seguridad. Como todo LLM, puede equivocarse; úsese con criterio y solo sobre sistemas autorizados.

Licencia y atribución

Vertex-Core es una obra derivada de Qwen3-4B-Instruct-2507, distribuida bajo la licencia Apache 2.0. Se debe incluir una copia de la licencia Apache 2.0 y este aviso de modificación en cualquier redistribución.

Demo: https://youtu.be/a_Cg5BlreqQ

Downloads last month: 289

GGUF

Model size

4B params

Architecture

qwen3

Hardware compatibility

4-bit

Model tree for Denisijcu/vertex-core-gguf

Base model

Qwen/Qwen3-4B-Instruct-2507

Quantized

(340)

this model