NemoMix-Unleashed-12B — OpenVINO INT4
INT4-квантованная версия MarinaraSpaghetti/NemoMix-Unleashed-12B в формате OpenVINO IR.
Оригинальная модель — merge через mergekit (della_linear) на базе Mistral-Nemo, лицензия apache-2.0.
Конвертация
Квантовано в INT4 через optimum-intel / OpenVINO NNCF.
Использование
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
model = OVModelForCausalLM.from_pretrained("ваш-username/NemoMix-Unleashed-12B-int4-ov")
tokenizer = AutoTokenizer.from_pretrained("ваш-username/NemoMix-Unleashed-12B-int4-ov")
- Downloads last month
- 27
Model tree for FqU/NemoMix-Unleashed-12B-int4-ov
Base model
MarinaraSpaghetti/NemoMix-Unleashed-12B