Instructions to use ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2")
model = AutoModelForMultimodalLM.from_pretrained("ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2

SGLang

How to use ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2 with Docker Model Runner:
```
docker model run hf.co/ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Qwen3.8-27B-Human-KO-Enterprise-v0.2

다키클라우드(ThakiCloud)의 한국어 모델 ThakiCloud/Qwen3.8-27B-Human-KO 를 기업 상담 에이전트로 조정한 체크포인트입니다. 회사 정책(규정과 예외 조항)과 고객 요청을 함께 읽고, 답변·되묻기·확인 요청·도구 호출·상담사 연결·거절 가운데 정책에 맞는 행동 하나를 JSON 으로 고릅니다.

결과 — ThakiCloud/EnterpriseOps-KO-Policy

모델	정확도	거절(REFUSE)	도구 호출(CALL_TOOL)	예외 미발동	예외 없음
`ThakiCloud/Qwen3.8-27B-Human-KO` (기준, 3회 평균)	95.6	97.1	79.4	90.3	97.2
`Qwen3.8-27B-Human-KO-Enterprise-v0.1`	97.2	97.1	80.5	96.6	99.4
`Qwen3.8-27B-Human-KO-Enterprise-v0.2`	97.6	99.2	79.2	94.9	96.4

같은 조건으로 학습한 세 시드 중 가운데 성적의 체크포인트를 공개합니다(세 시드 정확도 97.1~97.6%, 평균 97.4%). 기준 모델 대비 오답이 44.7% 줄었습니다.

안전·일반 능력 (기준 모델과 같은 조건에서 나란히 측정)

항목	기준 모델	이 모델	문항 수
영어 지식 (MMLU)	92.5	95.7	94
한국어 지식 (KMMLU)	63.0	68.0	100
코딩 (HumanEval)	91.1	95.6	90
지시 따르기	82.0	82.0	100
유해 요청 거절	25/25	25/25	25
유해해 보이지만 정상인 요청을 거절한 수	0/25	2/25	25

문항 수가 적어 1~5%p 차이는 통계적으로 구분되지 않습니다. 유해 요청은 두 모델 모두 전부 거절했습니다.

사용법

벤치 저장소의 prompt_contract.txt 지시문을 시스템 또는 사용자 메시지 앞에 두고, 정책과 고객 요청을 이어 붙입니다. 응답은 {"action": ...} JSON 한 개입니다. vLLM 등 Qwen3.8 호환 서빙에서 그대로 동작합니다.

학습

LoRA 지도 미세조정 후 병합. 학습 데이터는 합성 한국어 기업 정책 시나리오이며 공개하지 않습니다. 벤치 문항은 학습에 쓰지 않았습니다.

한계

벤치는 합성 정책·요청으로 만들었습니다. 실제 업무에 쓰기 전에 자사 정책과 도구로 따로 검증하세요. 도구 목록은 이 체크포인트에 내장돼 있지 않습니다 — 도구 호출이 필요한 행동을 고를 뿐, 실제 호출 인자는 서비스 쪽 스키마로 받아야 합니다.

Downloads last month: 379

Safetensors

Model size

28B params

Tensor type

BF16

Model tree for ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2

Base model

Qwen/Qwen3.8-27B

Finetuned

ThakiCloud/Qwen3.8-27B-Human-KO

Finetuned

(4)

this model

Quantizations

3 models

Dataset used to train ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2

Collections including ThakiCloud/Qwen3.8-27B-Human-KO-Enterprise-v0.2