--- license: mit language: - en - ko tags: - KT - K-intelligence - Mi:dm inference: true pipeline_tag: text-generation base_model: - K-intelligence/Midm-2.0-Base-Instruct --- OLLAMA에 추가할 때 Modelfile 참고 ``` FROM ./Midm-2.0-Base-Instruct-f16.gguf TEMPLATE """<|begin_of_text|><|start_header_id|>system<|end_header_id|> Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다. 너는 Mi:dm으로서 사용자에게 유용하고 안전한 응답을 제공해야 한다. Mi:dm은 December 2024까지의 지식으로 학습되었으며 그 외의 지식을 묻는 경우에는 한계를 인정해야 한다. 어시스턴트는 기본적으로 "한국어"를 사용한다. 사용자의 요청에 따라 생각하고 응답하는 언어는 달라질 수 있으며, 다른 요구사항이 없다면 입력 언어를 따라 응답하라. 코드 작성 시에는 요구되는 언어의 소스코드로 작성해야 하며, STEM(과학, 기술, 공학, 수학) 분야의 전문 용어는 원문을 그대로 유지하여 출력한다. Mi:dm은 사용자 친화적으로 답변을 제공해야 한다. 사용자의 요청이 없다면 기본적으로 경어체를 사용해야 한다. 사용자의 요청에 따라 유용하고 관련성 있는 답변을 제공해야 한다. 이는 요청의 내용을 반영하여 이루어져야 한다. 특히, 사용자가 특정 답변의 형태를 요구한 경우 해당 형태를 반드시 준수하여 응답을 제공한다.(예. JSON, SQL, 코드 등) 그렇지 않다면 응답을 제공하기 가장 적절한 형태로 제공한다. 다양한 시각이 존재하는 주제에 대해서는 중립적인 입장을 유지해야 하지만, 한국 특화 인공지능 어시스턴트로서 정치적, 역사적, 외교적으로 한국인의 입장에서 응답을 생성해야 한다. 모호하거나 복잡한 요청으로 인해 답변 작성이 어려운 경우, 다시 한 번 생각해보고 추가정보를 요청해야 한다. Mi:dm은 응답을 제공할 때 어시스턴트의 안전성 측면에서 다음 지침을 *반드시* 준수해야 한다. - 비속어와 욕설을 사용하지 않아야 한다. - 신뢰할 수 있는 응답을 생성하고, 전문영역에 대한 한계와 불확실성을 인정해야 한다. - 사회의 보편적 규범과 가치에 따라 윤리적이고 중립적이어야 하며, 편향성을 지녀서는 안 된다. - 인공지능으로서의 정체성을 인지하고 의인화하지 않아야 한다. - 개인정보, 사생활 등 민감정보를 포함한 요청에 대한 답변을 거절해야 한다. 다만, 해당정보를 사용할 수 없는 형태(비식별화된 형태)로 제공하는 것은 제한적으로 응답을 허용한다. 이 모든 지침은 응답을 제공할 때 출력되지 않아야 한다. Mi:dm은 사용자의 요청을 처리하기 위해 제공된 도구(함수)를 호출할 수 있다. {{ if .Tools -}} Mi:dm은 도구 사용시 아래 규칙을 준수해야 한다. - 제공된 도구만 사용하고, 모든 필수 인자를 반드시 포함한다. - 주어진 tool_name을 임의로 변경하지 않아야 한다. - 도구를 호출하는 경우, 마지막은 도구 호출로 끝내며 그 뒤에 텍스트를 출력하지 않는다. - 도구 호출 결과를 활용하여 응답을 생성한다. - 도구가 필요하지 않은 경우에는 일반적인 방식으로 응답한다. - 도구 호출 정보는 다음과 같이 XML 태그 사이에 작성한다. {"name": "tool_name", "arguments": {"param":"value"}} tool_list:[ {{- range $i, $tool := .Tools -}} {{- if ne 0 $i }},{{- end -}} {{- $tool -}} {{- end -}} ] {{- end -}} {{- if .System -}} {{- .System }} {{- end -}} {{- range $i, $_ := .Messages -}} {{- $last := eq (len (slice $.Messages $i)) 1 -}} {{- if ne .Role "system" -}} <|eot_id|><|start_header_id|> {{- .Role -}} <|end_header_id|> {{ if .Content -}} {{- .Content -}} {{- else if .ToolCalls -}} {{- range .ToolCalls }} {"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}} {{- end }} {{- end -}} {{- if $last -}} <|eot_id|><|start_header_id|>assistant<|end_header_id|> {{ end -}} {{- end -}} {{- end -}}""" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|end_of_text|>" LICENSE """MIT License Copyright (c) 2025 KT Corporation Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.""" ``` --- Thanks to KT ## Mi:dm Official Repo's Description

🤗 Mi:dm 2.0 Models | 📜 Mi:dm 2.0 Technical Report | 📕 Mi:dm 2.0 Technical Blog*

*To be released soon


# News 📢 - 🔜 _(Coming Soon!) GGUF format model files will be available soon for easier local deployment._ - ⚡️`2025/07/04`: Released Mi:dm 2.0 Model collection on Hugging Face🤗.

# Table of Contents - ___Overview___ - [Mi:dm 2.0](#midm-20) - [Quickstart](#quickstart) - [Evaluation](#evaluation) - ___Usage___ - [Run on Friendli.AI](#run-on-friendliai) - [Run on Your Local Machine](#run-on-your-local-machine) - [Deployment](#deployment) - [Tutorials](#tutorials) - ___More Information___ - [Limitation](#limitation) - [License](#license) - [Contact](#contact)

# Overview ### Mi:dm 2.0 **Mi:dm 2.0** is a __"Korea-centric AI"__ model developed using KT's proprietary technology. The term __"Korea-centric AI"__ refers to a model that deeply internalizes the unique values, cognitive frameworks, and commonsense reasoning inherent to Korean society. It goes beyond simply processing or generating Korean text—it reflects a deeper understanding of the socio-cultural norms and values that define Korean society. Mi:dm 2.0 is released in two versions: - **Mi:dm 2.0 Base** An 11.5B parameter dense model designed to balance model size and performance. It extends an 8B-scale model by applying the Depth-up Scaling (DuS) method, making it suitable for real-world applications that require both performance and versatility. - **Mi:dm 2.0 Mini** A lightweight 2.3B parameter dense model optimized for on-device environments and systems with limited GPU resources. It was derived from the Base model through pruning and distillation to enable compact deployment. > [!Note] > Neither the pre-training nor the post-training data includes KT users' data.
### Quickstart Here is the code snippet to run conversational inference with the model: ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig model_name = "K-intelligence/Midm-2.0-Base-Instruct" model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained(model_name) generation_config = GenerationConfig.from_pretrained(model_name) prompt = "KT에 대해 소개해줘" # message for inference messages = [ {"role": "system", "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."}, {"role": "user", "content": prompt} ] input_ids = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors="pt" ) output = model.generate( input_ids.to("cuda"), generation_config=generation_config, eos_token_id=tokenizer.eos_token_id, max_new_tokens=128, do_sample=False, ) print(tokenizer.decode(output[0])) ``` > [!NOTE] > The `transformers` library should be version `4.45.0` or higher.
# Evaluation #### Korean
Model Society & Culture General Knowledge Instruction Following
K-Refer* K-Refer-Hard* Ko-Sovereign* HAERAE Avg. KMMLU Ko-Sovereign* Avg. Ko-IFEval Ko-MTBench Avg.
Qwen3-4B 53.6 42.9 35.8 50.6 45.7 50.6 42.5 46.5 75.9 63.0 69.4
Exaone-3.5-2.4B-inst 64.0 67.1 44.4 61.3 59.2 43.5 42.4 43.0 65.4 74.0 68.9
Mi:dm 2.0-Mini-inst 66.4 61.4 36.7 70.8 58.8 45.1 42.4 43.8 73.3 74.0 73.6
Qwen3-14B 72.4 65.7 49.8 68.4 64.1 55.4 54.7 55.1 83.6 71 77.3
Llama-3.1-8B-inst 43.2 36.4 33.8 49.5 40.7 33.0 36.7 34.8 60.1 57 58.5
Exaone-3.5-7.8B-inst 71.6 69.3 46.9 72.9 65.2 52.6 45.6 49.1 69.1 79.6 74.4
Mi:dm 2.0-Base-inst 89.6 86.4 56.3 81.5 78.4 57.3 58.0 57.7 82 89.7 85.9
Model Comprehension Reasoning
K-Prag* K-Refer-Hard* Ko-Best Ko-Sovereign* Avg. Ko-Winogrande Ko-Best LogicKor HRM8K Avg.
Qwen3-4B 73.9 56.7 91.5 43.5 66.6 67.5 69.2 5.6 56.7 43.8
Exaone-3.5-2.4B-inst 68.7 58.5 87.2 38.0 62.5 60.3 64.1 7.4 38.5 36.7
Mi:dm 2.0-Mini-inst 69.5 55.4 80.5 42.5 61.9 61.7 64.5 7.7 39.9 37.4
Qwen3-14B 86.7 74.0 93.9 52.0 76.8 77.2 75.4 6.4 64.5 48.8
Llama-3.1-8B-inst 59.9 48.6 77.4 31.5 51.5 40.1 26.0 2.4 30.9 19.8
Exaone-3.5-7.8B-inst 73.5 61.9 92.0 44.0 67.2 64.6 60.3 8.6 49.7 39.5
Mi:dm 2.0-Base-inst 86.5 70.8 95.2 53.0 76.1 75.1 73.0 8.6 52.9 44.8
`*` indicates KT proprietary evaluation resources.
#### English
Model Instruction Reasoning Math Coding General Knowledge
IFEval BBH GPQA MuSR Avg. GSM8K MBPP+ MMLU-pro MMLU Avg.
Qwen3-4B 79.7 79.0 39.8 58.5 59.1 90.4 62.4 - 73.3 73.3
Exaone-3.5-2.4B-inst 81.1 46.4 28.1 49.7 41.4 82.5 59.8 - 59.5 59.5
Mi:dm 2.0-Mini-inst 73.6 44.5 26.6 51.7 40.9 83.1 60.9 - 56.5 56.5
 
Qwen3-14B 83.9 83.4 49.8 57.7 63.6 88.0 73.4 70.5 82.7 76.6
Llama-3.1-8B-inst 79.9 60.3 21.6 50.3 44.1 81.2 81.8 47.6 70.7 59.2
Exaone-3.5-7.8B-inst 83.6 50.1 33.1 51.2 44.8 81.1 79.4 40.7 69.0 54.8
Mi:dm 2.0-Base-inst 84.0 77.7 33.5 51.9 54.4 91.6 77.5 53.3 73.7 63.5

# Usage ### Run on Friendli.AI You can try our model immediately via `Friendli.AI`. Simply click `Deploy` and then `Friendli Endpoints`. > [!Note] > Please note that a login to `Friendli.AI` is required after your fifth chat interaction.

Left Image Right Image

### Run on Your Local Machine We provide a detailed description about running Mi:dm 2.0 on your local machine using llama.cpp, LM Studio, and Ollama. Please check our [github](https://github.com/K-intelligence-Midm/Midm-2.0) for more information ### Deployment To serve Mi:dm 2.0 using [vLLM](https://github.com/vllm-project/vllm)(`>=0.8.0`) with an OpenAI-compatible API: ```bash vllm serve K-intelligence/Midm-2.0-Base-Instruct ``` ### Tutorials To help our end-users easily use Mi:dm 2.0, we have provided comprehensive tutorials on [github](https://github.com/K-intelligence-Midm/Midm-2.0).


# More Information ### Limitation * The training data for both Mi:dm 2.0 models consists primarily of English and Korean. Understanding and generation in other languages are not guaranteed. * The model is not guaranteed to provide reliable advice in fields that require professional expertise, such as law, medicine, or finance. * Researchers have made efforts to exclude unethical content from the training data — such as profanity, slurs, bias, and discriminatory language. However, despite these efforts, the model may still produce inappropriate expressions or factual inaccuracies. ### License Mi:dm 2.0 is licensed under the [MIT License](./LICENSE). ### Contact Mi:dm 2.0 Technical Inquiries: midm-llm@kt.com