Not-For-All-Audiences

abliterated

heretic

uncensor

hermes-lineage

Model card Files Files and versions

xet

Community

Instructions to use oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

Transformers

How to use oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT")
model = AutoModelForMultimodalLM.from_pretrained("oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT

SGLang

How to use oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT with Docker Model Runner:
```
docker model run hf.co/oktayd/Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT
```

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT / BENCHMARK-PLAN.md

oktayd

Publish Q36 v2 naming, complete edition guide and honest benchmark scope

a668ea0 verified 23 days ago

preview code

Raw

History Blame Contribute Delete

3.32 kB

	# Zusätzliche Benchmarks und Laptop-Vergleich

	Alle Einträge sind registriert, nicht ausgeführt. Quelle: [Qwen3.8-27B-Modellkarte](https://huggingface.co/Qwen/Qwen3.8-27B), Revision `1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0`. Veröffentlichte Zahlen sind kein direkter Vergleich zu unseren Kurztests.

	\| Benchmark \| Veröffentlichtes Qwen3.8-Ergebnis \| Lokale Kurztest-Fälle (Vorschlag) \| Voraussetzung \|
	\|---\|---\|---\|---\|
	\| Terminal Bench 2.1 (Terminus) \| 73.0 \| 5 \| version_and_harness_required \|
	\| SWE-bench Pro \| 61.7 \| 5 \| refined_tasks_Claude_Code_256K_temp1_top_p095 \|
	\| NL2Repo-Bench \| 42.3 \| 5 \| Claude_Code_no_repository_download_reward_hacking \|
	\| DeepSWE 1.1 \| 42.2 \| 5 \| Claude_Code_256K_temp1_top_p095 \|
	\| QwenSWEBench \| 79.0 \| offen – intern \| in_house_avg3_8h_timeout_32768_output_256K_context \|
	\| CoWorkBench \| 70.7 \| offen – intern \| in_house_productivity_tasks \|
	\| JobBench \| 33.4 \| 5 \| dataset_and_harness_availability_unverified \|
	\| Agents' Last Exam \| Pass@1 20.4; Score 42.9 \| 5 \| two_distinct_metrics \|
	\| IFBench \| 79.5 \| 20 \| not_IFEval \|
	\| GPQA Diamond \| 89.2 \| 20 \| existing_5_prompt_diagnostic_not_full_benchmark \|
	\| HLE \| 30.8 \| 10 \| publisher_GPT4o_judge_separate_judge_budget \|
	\| LiveCodeBench v6 \| 90.3 \| 10 \| existing_LiveCodeBench_revision_must_be_reconciled \|
	\| OSWorld-Verified \| 84.3 \| 5 \| real_actions_not_static_screenshot_qa \|
	\| WebArena-Verified \| 64.8 \| 5 \| official_grader_OSWorld_scaffold \|
	\| AndroidWorld \| 81.9 \| 5 \| emulator_and_state_reset_required \|
	\| RecreationBench \| 47.1 \| offen – intern \| in_house_Ubuntu_macOS_Windows_Android_web \|
	\| ClawEval-MM \| Pass@3 57.4; Average 56.9 \| 5 \| official_pass3_requires_three_trials; local_single_trial_not_pass3 \|
	\| SWE-MM \| 38.6 \| 5 \| public_dev_split_with_Opus47_appendix8_3_modifications \|
	\| Vision2Web \| 62.9 \| 5 \| Claude_Code_judged_gpt5.4_2026_03_05 \|
	\| MathVision \| Without CI 90.0; With CI 94.6 \| 10 \| corrected_annotations_boxed_final_CI_strata_separate \|
	\| BabyVision \| Without CI 65.7; With CI 85.6 \| 10 \| CI_strata_separate \|
	\| CharXiv (RQ) \| Without CI 83.7; With CI 90.2 \| 10 \| corrected_annotations_CI_strata_separate \|
	\| OmniDocBench 1.5 \| 91.1 \| 10 \| official_metric_not_generic_accuracy \|
	\| RealWorldQA \| 85.9 \| 20 \| dataset_revision_and_image_preprocessing_lock_required \|
	\| ERQA \| 65.5 \| 10 \| dataset_revision_and_official_scoring_required \|

	## Vergleichsregeln

	IFBench ist nicht IFEval, MathVision nicht MathVista und CharXiv nicht ChartQA. Screenshot-Fragen ersetzen keinen OSWorld-/WebArena-Lauf. Die Qwen-Karte nutzt teils korrigierte Referenzen, andere Harnesses, 256K-Kontext, drei Versuche oder externe Richter. Solange diese Voraussetzungen nicht identisch sind, stehen Publisherwerte in einer getrennten Referenzspalte. Bei unbekannter Verfügbarkeit wird kein offizieller Adapter behauptet.

	## Laptop

	4 Quants × 2 Backends × 2 Runtime-Profile = 16 Q36-Konfigurationen. Mit beiden Baselines wären es bis zu 48, aber nur wenn dieselben Quants verfügbar und mit dem Laptop kompatibel sind. Modellidentität und Runtime-Optimierung sind getrennte Achsen. Zunächst kleine Smoke-/Speichertests, dann eine feste Qualitätsstichprobe; Leistung dreimal warm messen. Die große Agentenmatrix ist nicht automatisch ein kostenloser Kurzlauf.

	# Zusätzliche Benchmarks und Laptop-Vergleich

	Alle Einträge sind registriert, nicht ausgeführt. Quelle: [Qwen3.8-27B-Modellkarte](https://huggingface.co/Qwen/Qwen3.8-27B), Revision `1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0`. Veröffentlichte Zahlen sind kein direkter Vergleich zu unseren Kurztests.

	\| Benchmark \| Veröffentlichtes Qwen3.8-Ergebnis \| Lokale Kurztest-Fälle (Vorschlag) \| Voraussetzung \|
	\|---\|---\|---\|---\|
	\| Terminal Bench 2.1 (Terminus) \| 73.0 \| 5 \| version_and_harness_required \|
	\| SWE-bench Pro \| 61.7 \| 5 \| refined_tasks_Claude_Code_256K_temp1_top_p095 \|
	\| NL2Repo-Bench \| 42.3 \| 5 \| Claude_Code_no_repository_download_reward_hacking \|
	\| DeepSWE 1.1 \| 42.2 \| 5 \| Claude_Code_256K_temp1_top_p095 \|
	\| QwenSWEBench \| 79.0 \| offen – intern \| in_house_avg3_8h_timeout_32768_output_256K_context \|
	\| CoWorkBench \| 70.7 \| offen – intern \| in_house_productivity_tasks \|
	\| JobBench \| 33.4 \| 5 \| dataset_and_harness_availability_unverified \|
	\| Agents' Last Exam \| Pass@1 20.4; Score 42.9 \| 5 \| two_distinct_metrics \|
	\| IFBench \| 79.5 \| 20 \| not_IFEval \|
	\| GPQA Diamond \| 89.2 \| 20 \| existing_5_prompt_diagnostic_not_full_benchmark \|
	\| HLE \| 30.8 \| 10 \| publisher_GPT4o_judge_separate_judge_budget \|
	\| LiveCodeBench v6 \| 90.3 \| 10 \| existing_LiveCodeBench_revision_must_be_reconciled \|
	\| OSWorld-Verified \| 84.3 \| 5 \| real_actions_not_static_screenshot_qa \|
	\| WebArena-Verified \| 64.8 \| 5 \| official_grader_OSWorld_scaffold \|
	\| AndroidWorld \| 81.9 \| 5 \| emulator_and_state_reset_required \|
	\| RecreationBench \| 47.1 \| offen – intern \| in_house_Ubuntu_macOS_Windows_Android_web \|
	\| ClawEval-MM \| Pass@3 57.4; Average 56.9 \| 5 \| official_pass3_requires_three_trials; local_single_trial_not_pass3 \|
	\| SWE-MM \| 38.6 \| 5 \| public_dev_split_with_Opus47_appendix8_3_modifications \|
	\| Vision2Web \| 62.9 \| 5 \| Claude_Code_judged_gpt5.4_2026_03_05 \|
	\| MathVision \| Without CI 90.0; With CI 94.6 \| 10 \| corrected_annotations_boxed_final_CI_strata_separate \|
	\| BabyVision \| Without CI 65.7; With CI 85.6 \| 10 \| CI_strata_separate \|
	\| CharXiv (RQ) \| Without CI 83.7; With CI 90.2 \| 10 \| corrected_annotations_CI_strata_separate \|
	\| OmniDocBench 1.5 \| 91.1 \| 10 \| official_metric_not_generic_accuracy \|
	\| RealWorldQA \| 85.9 \| 20 \| dataset_revision_and_image_preprocessing_lock_required \|
	\| ERQA \| 65.5 \| 10 \| dataset_revision_and_official_scoring_required \|

	## Vergleichsregeln

	IFBench ist nicht IFEval, MathVision nicht MathVista und CharXiv nicht ChartQA. Screenshot-Fragen ersetzen keinen OSWorld-/WebArena-Lauf. Die Qwen-Karte nutzt teils korrigierte Referenzen, andere Harnesses, 256K-Kontext, drei Versuche oder externe Richter. Solange diese Voraussetzungen nicht identisch sind, stehen Publisherwerte in einer getrennten Referenzspalte. Bei unbekannter Verfügbarkeit wird kein offizieller Adapter behauptet.

	## Laptop

	4 Quants × 2 Backends × 2 Runtime-Profile = 16 Q36-Konfigurationen. Mit beiden Baselines wären es bis zu 48, aber nur wenn dieselben Quants verfügbar und mit dem Laptop kompatibel sind. Modellidentität und Runtime-Optimierung sind getrennte Achsen. Zunächst kleine Smoke-/Speichertests, dann eine feste Qualitätsstichprobe; Leistung dreimal warm messen. Die große Agentenmatrix ist nicht automatisch ein kostenloser Kurzlauf.