| --- |
| language: |
| - es |
| - en |
| license: apache-2.0 |
| tags: |
| - onnx |
| - feature-extraction |
| - embeddings |
| - nomic-embed-text |
| - sentence-similarity |
| - cpu-optimized |
| - int8 |
| - quantized |
| pipeline_tag: feature-extraction |
| library_name: onnx |
| --- |
| |
| # dra-nomic-embed (Standalone ONNX: FP32 & Dynamic INT8) |
|
|
| > Modelos de embeddings de alto rendimiento optimizados para **inferencia ultra-rápida y soberana en CPU (sin PyTorch ni GPU)**. |
|
|
| Desarrollado como motor central de búsqueda semántica local para **[DRA (DeepRoot Agent)](https://gitlab.com/jonasreyes/dra)**, el agente autónomo de nueva generación creado por **Jonás Reyes** tras la evolución del proyecto fundacional **[DeepRoot](https://gitlab.com/jonasreyes/deeproot)** hacia la Inteligencia Artificial soberana. |
|
|
| --- |
|
|
| ## 📊 Especificaciones Técnicas |
|
|
| | Propiedad | Valor | |
| | :--- | :--- | |
| | **Modelo Base Original** | [`nomic-ai/nomic-embed-text-v1.5`](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5) | |
| | **Formato de Inferencia** | ONNX Runtime (C++ / SIMD AVX2/FMA/VNNI) | |
| | **Dimensiones Vectoriales** | 768 (Soporta Matryoshka downsampling) | |
| | **Contexto Máximo** | **8.192 tokens** | |
| | **Dependencias en Runtime** | `onnxruntime` + `tokenizers` (Cero PyTorch / Cero Transformers) | |
| | **Licencia del Modelo Base** | Apache 2.0 | |
|
|
| --- |
|
|
| ## 🔬 Benchmark en Hardware Real (Intel Core i5-4308U Dual-Core @ 2.80GHz, 2014) |
|
|
| Evaluación comparativa procesando **1.200 textos técnicos reales** (código fuente, consultas SQL, documentación y arquitectura): |
|
|
| | Variante | Archivo | Tamaño en Disco / RAM | Velocidad (CPU Dual-Core) | Retención de Fidelidad | |
| | :--- | :--- | :--- | :--- | :--- | |
| | **INT8 (Recomendado)** | `model_int8.onnx` | **131.49 MB (-74.8%)** | **7.8 textos/seg (1.36x más rápido)** | **93.34%** similitud coseno | |
| | **FP32 (Original)** | `model.onnx` | 522.25 MB | 5.7 textos/seg | 100% (Referencia base) | |
|
|
| > 🚀 **Proyección en Hardware Moderno**: Si en un procesador dual-core de 2014 entrega 7.8 textos/segundo, en procesadores modernos (Intel Core Ultra, AMD Ryzen 7000/9000, Apple Silicon M-Series) el rendimiento supera los **cientos de textos por segundo** con latencias inferiores a 5 ms. |
|
|
| --- |
|
|
| ## 🛠️ Pipeline de Dependencias Efímeras: ¿Cómo se creó este modelo? |
|
|
| Para evitar arrastrar gigabytes de dependencias en entornos de producción: |
|
|
| 1. **Entorno de Compilación Aislado**: Se instalaron temporalmente `optimum[exporters]`, `torch` y `transformers`. |
| 2. **Exportación a Grafo ONNX**: Se compiló el modelo base `nomic-ai/nomic-embed-text-v1.5` a un grafo unificado optimizado. |
| 3. **Cuantización Dinámica INT8**: Se generó la versión compacta optimizada para instrucciones vectoriales. |
| 4. **Purga Total de Dependencias**: Inmediatamente tras la exportación, `torch` y todas las librerías pesadas fueron **completamente eliminadas y desinstaladas**, garantizando un paquete ultra-ligero y autónomo. |
|
|
| --- |
|
|
| ## 📥 Métodos de Instalación y Descarga |
|
|
| ### Opción A: Descarga Manual Rápida en Terminal |
|
|
| ```bash |
| # Crear directorio de destino |
| mkdir -p ~/.dra/models/nomic-embed/ |
| |
| # Descargar desde Hugging Face |
| curl -L https://huggingface.co/jonasreyes/dra-nomic-embed/resolve/main/model_int8.onnx -o ~/.dra/models/nomic-embed/model_int8.onnx |
| curl -L https://huggingface.co/jonasreyes/dra-nomic-embed/resolve/main/tokenizer.json -o ~/.dra/models/nomic-embed/tokenizer.json |
| curl -L https://huggingface.co/jonasreyes/dra-nomic-embed/resolve/main/config.json -o ~/.dra/models/nomic-embed/config.json |
| |
| # (Opcional) Descargar también la variante FP32 completa: |
| curl -L https://huggingface.co/jonasreyes/dra-nomic-embed/resolve/main/model.onnx -o ~/.dra/models/nomic-embed/model.onnx |
| ``` |
|
|
| ### Opción B: Uso Automático con DRA |
|
|
| ```bash |
| # Instalación automática con DRA (descarga o compila según disponibilidad) |
| uv run dra setup |
| |
| # Seleccionar modelo activo |
| uv run dra config set embed-model int8 # Versión ultra-rápida (131 MB) |
| uv run dra config set embed-model fp32 # Versión completa (522 MB) |
| ``` |
|
|
| --- |
|
|
| ## 💻 Uso en Python Puro (Sin PyTorch) |
|
|
| ```python |
| import numpy as np |
| from onnxruntime import InferenceSession, SessionOptions, GraphOptimizationLevel |
| from tokenizers import Tokenizer |
| |
| # 1. Cargar tokenizador y sesión ONNX (INT8 o FP32) |
| tokenizer = Tokenizer.from_file("tokenizer.json") |
| opts = SessionOptions() |
| opts.graph_optimization_level = GraphOptimizationLevel.ORT_ENABLE_ALL |
| session = InferenceSession("model_int8.onnx", sess_options=opts, providers=["CPUExecutionProvider"]) |
| |
| # 2. Generar embeddings |
| texts = ["search_document: Arquitectura de agentes autónomos y soberanía en IA."] |
| enc = tokenizer.encode_batch(texts) |
| max_len = max(len(e.ids) for e in enc) |
| |
| input_ids = np.array([e.ids + [0] * (max_len - len(e.ids)) for e in enc], dtype=np.int64) |
| attention_mask = np.array([e.attention_mask + [0] * (max_len - len(e.attention_mask)) for e in enc], dtype=np.int64) |
| |
| outputs = session.run(None, {"input_ids": input_ids, "attention_mask": attention_mask}) |
| embeddings = outputs[0][:, 0, :] # Mean pooling / CLS representation |
| ``` |
|
|
| --- |
|
|
| ## 🔐 Checksums de Integridad (SHA-256) |
|
|
| | Archivo | Tamaño | SHA-256 | |
| | :--- | :--- | :--- | |
| | `model_int8.onnx` | 131.49 MB | `650fd2bde209bd85d0a842f52182f6cd347044a8fadba72b346840a4d5bfca63` | |
| | `model.onnx` | 522.25 MB | `1c1005bf14c833d0bb52024b6175409efe745245d0c21795b4d0bec4f55d74e9` | |
| | `tokenizer.json` | 711.39 KB | `d241a60d5e8f04cc1b2b3e9ef7a4921b27bf526d9f6050ab90f9267a1f9e5c66` | |
|
|
| --- |
|
|
| ## 🌐 Antecedentes del Proyecto |
|
|
| - **[DeepRoot](https://gitlab.com/jonasreyes/deeproot)**: Proyecto fundacional desarrollado por Jonás Reyes que definió las bases de arquitectura de sistemas y soberanía digital. |
| - **[DRA (DeepRoot Agent)](https://gitlab.com/jonasreyes/dra)**: Agente autónomo local-first, multi-proveedor y seguro, diseñado para competir sólidamente con las mejores herramientas de desarrollo asistido del estado del arte. |
|
|
| --- |
|
|
| ## 📄 Licencia |
|
|
| El modelo original `nomic-embed-text-v1.5` está bajo licencia **Apache 2.0**. |
| Este repositorio distribuye artefactos optimizados en formato ONNX; no modifica la arquitectura base del modelo. |
|
|