Instructions to use JibayAi/Jibay_2_GGUF_Q4-K-M with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use JibayAi/Jibay_2_GGUF_Q4-K-M with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Use Docker

docker model run hf.co/JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

LM Studio
Jan

vLLM

How to use JibayAi/Jibay_2_GGUF_Q4-K-M with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "JibayAi/Jibay_2_GGUF_Q4-K-M"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "JibayAi/Jibay_2_GGUF_Q4-K-M",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Ollama
How to use JibayAi/Jibay_2_GGUF_Q4-K-M with Ollama:
```
ollama run hf.co/JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M
```
Unsloth Desktop

How to use JibayAi/Jibay_2_GGUF_Q4-K-M with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use JibayAi/Jibay_2_GGUF_Q4-K-M with Docker Model Runner:
```
docker model run hf.co/JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M
```

Lemonade

How to use JibayAi/Jibay_2_GGUF_Q4-K-M with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Run and chat with the model

lemonade run user.Jibay_2_GGUF_Q4-K-M-Q4_K_M

List all available models

lemonade list

Hermes Agent

How to use JibayAi/Jibay_2_GGUF_Q4-K-M with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use JibayAi/Jibay_2_GGUF_Q4-K-M with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "JibayAi/Jibay_2_GGUF_Q4-K-M:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

Jibay 2

Jibay 2 is a lightweight, open-source language model released in two major milestones: first published in Ordibehesht 1404 (April/May 2025) and later made fully open-source and publicly available in Khordad 1405 (May/June 2026).

Jibay 2 is designed to be simple, trainable, and customizable. It is built upon the strong foundation of the Qwen 3 family and serves as a practical, efficient alternative for developers, researchers, and AI enthusiasts who need a controllable model without excessive computational overhead.

📌 Key Specifications

Feature	Value
Context Length	32,768 tokens (input + output combined)
Active Parameters	2 billion
MoE (Mixture of Experts)	Not supported
Training Base	Qwen 3
Knowledge Cutoff	Early 2025 (end of 1404)
Release (First publish)	Ordibehesht 1404 (April/May 2025)
Open-Source Release	Khordad 1405 (May/June 2026)

🧠 Intended Use

Jibay 2 is suitable for:

Fine-tuning on domain-specific data
On-device or edge AI applications
Research and educational purposes
Lightweight agentic workflows (with function calling capabilities)
Rapid prototyping and experimentation

The model can be retrained, extended, or adapted to any field or language without major infrastructure requirements.

📊 Benchmarks

All benchmarks reported below have been tested and verified by the Jibay team. Detailed testing methodology remains internal.

Benchmark	Score (%)	Domain
MMLU	~56.9%	General knowledge & problem solving
GSM8K	~70.0%	Math reasoning (grade school level)
ARC (Challenge)	~43.0%	Scientific reasoning (hard)
HumanEval	~68.0%	Python code generation
BoolQ	~79.0%	Yes/No reading comprehension
HellaSwag	~61.1%	Commonsense sentence completion
BFCL Overall	55.0%	Function calling & tool use (Berkeley)
Category Avg	51.2%	Average across BFCL categories
PPRC-BENCH	41٪	Exclusive and private benchmark for Persian conversation

📢 These scores reflect the base Jibay 2 model without task-specific fine-tuning.

🚀 Usage

Recommended Method (GGUF – Optimized)

For best performance, especially on consumer hardware, use the GGUF quantized version (highly optimized).

Alternative Method (Direct Python)

from jibay2.modeling_jibay2 import Jibay2ForCausalLM

Note: While the native Python class is available, GGUF is strongly recommended for production use.

⚙️ Training & Customization

Jibay 2 does not use MoE (Mixture of Experts), meaning all parameters are active during inference, making it easier to understand, debug, and fine-tune.

You can retrain the model entirely or adapt it to specific tasks such as:

Medical or legal text processing
Code generation for niche languages
Conversational AI in low-resource languages
Scientific document understanding

📜 License & Availability

Jibay 2 became publicly available and open-source in Khordad 1405 (May/June 2026).
All core weights, inference code, and documentation are accessible to the community.

📬 Contact

For inquiries, partnerships, or support:
📧 info@jibay.ir

⚠️ Important Notes

Knowledge is current only until early 2025 (end of 1404).
The model is not a Mixture of Experts architecture.
GGUF version is recommended over native PyTorch for most use cases.
Benchmark details, test splits, and exact evaluation parameters remain internal to the Jibay team.

جیبای ۲

جیبای ۲ یک مدل زبانی سبک، متن‌باز و قابل شخصی‌سازی است که در دو مرحلهٔ مهم منتشر شد: انتشار اولیه در اردیبهشت ۱۴۰۴ و انتشار عمومی و متن‌باز در خرداد ۱۴۰۵.

جیبای ۲ بر اساس خانواده مدل Qwen 3 آموزش دیده است و به‌عنوان یک گزینهٔ ساده، کارآمد و قابل آموزش برای توسعه‌دهندگان، پژوهشگران و علاقه‌مندان به هوش مصنوعی طراحی شده است.

📌 مشخصات فنی

ویژگی	مقدار
طول زمینه	۳۲,۷۶۸ توکن (مجموع ورودی و خروجی)
پارامترهای فعال	۲ میلیارد
پشتیبانی از MoE	خیر
پایهٔ آموزش	Qwen 3
تاریخ قطع اطلاعات	اوایل ۲۰۲۵ (اواخر سال ۱۴۰۴)
انتشار اولیه	اردیبهشت ۱۴۰۴
متن‌باز شدن	خرداد ۱۴۰۵

🧠 کاربردهای پیشنهادی

جیبای ۲ برای موارد زیر مناسب است:

تنظیم دقیق (Fine-tuning) روی داده‌های تخصصی
اجرا روی دستگاه‌های شخصی یا لبه (Edge)
اهداف تحقیقاتی و آموزشی
ساخت عامل‌های هوشمند سبک (با قابلیت فراخوانی ابزار)
نمونه‌سازی سریع و آزمایش

این مدل قابلیت بازآموزی، توسعه و تطبیق با هر حوزه یا زبانی را بدون نیاز به زیرساخت سنگین دارد.

📊 بنچمارک‌ها

تمامی بنچمارک‌های زیر توسط تیم جیبای تست و تأیید شده‌اند. جزئیات روش آزمون داخلی است.

بنچمارک	امتیاز (درصد)	حوزه
MMLU	~۵۶.۹٪	دانش عمومی و حل مسئله
GSM8K	~۷۰.۰٪	استدلال ریاضی (سطح دبستان)
ARC (Challenge)	~۴۳.۰٪	استدلال علمی (سخت)
HumanEval	~۶۸.۰٪	تولید کد پایتون
BoolQ	~۷۹.۰٪	درک مطلب بله/خیر
HellaSwag	~۶۱.۱٪	تکمیل جمله با عقل سلیم
BFCL Overall	۵۵.۰٪	فراخوانی ابزار و تابع
Category Avg	۵۱.۲٪	میانگین دسته‌بندی BFCL
PPRC-BENCH	۴۱٪	بنچمارک اختصاصی و خصوصی برای گفتگوی فارسی

📢 این نمرات مربوط به مدل پایهٔ جیبای ۲ بدون تنظیم دقیق روی وظیفهٔ خاصی است.

🚀 روش استفاده

روش پیشنهادی (GGUF – بهینه)

برای بهترین عملکرد، به‌ویژه روی سخت‌افزار معمولی، از نسخه GGUF استفاده کنید (بسیار بهینه‌شده).

روش جایگزین (پایتون مستقیم)

from jibay2.modeling_jibay2 import Jibay2ForCausalLM

توجه: اگرچه کلاس پایتون در دسترس است، برای استفادهٔ واقعی، نسخهٔ GGUF بسیار توصیه می‌شود.

⚙️ آموزش و شخصی‌سازی

جیبای ۲ از MoE استفاده نمی‌کند، یعنی تمام پارامترها در حین استنتاج فعال هستند که درک، اشکال‌زدایی و تنظیم مدل را آسان‌تر می‌کند.

می‌توانید مدل را به طور کامل بازآموزی کنید یا آن را برای وظایف خاصی تطبیق دهید، از جمله:

پردازش متون پزشکی یا حقوقی
تولید کد برای زبان‌های برنامه‌نویسی خاص
چت‌بات در زبان‌های کم‌منبع
درک متون علمی

📜 مجوز و دسترسی

جیبای ۲ در خرداد ۱۴۰۵ به صورت عمومی و متن‌باز در دسترس قرار گرفت.
وزن‌های اصلی، کد استنتاج و مستندات برای جامعه در دسترس است.

📬 تماس

برای همکاری، سؤال یا پشتیبانی:
📧 info@jibay.ir

⚠️ نکات مهم

اطلاعات مدل فقط تا اوایل ۲۰۲۵ (اواخر سال ۱۴۰۴) به‌روز است.
مدل از معماری Mixture of Experts استفاده نمی‌کند.
نسخهٔ GGUF نسبت به نسخهٔ پایتون خام توصیه می‌شود.
جزئیات بنچمارک‌ها و روش آزمون دقیق، داخلی و محفوظ است.

jibay.ir | info@jibay.ir

Downloads last month: 59

GGUF

Model size

2B params

Architecture

qwen3

Hardware compatibility

4-bit

Collection including JibayAi/Jibay_2_GGUF_Q4-K-M

Jibay 2

Collection

Nex Gen after Jibay 1 • 4 items • Updated 19 days ago • 1