Instructions to use heegyu/AULM-5.8b-v0804-hf with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use heegyu/AULM-5.8b-v0804-hf with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="heegyu/AULM-5.8b-v0804-hf")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("heegyu/AULM-5.8b-v0804-hf")
model = AutoModelForCausalLM.from_pretrained("heegyu/AULM-5.8b-v0804-hf", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use heegyu/AULM-5.8b-v0804-hf with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "heegyu/AULM-5.8b-v0804-hf"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "heegyu/AULM-5.8b-v0804-hf",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/heegyu/AULM-5.8b-v0804-hf

SGLang

How to use heegyu/AULM-5.8b-v0804-hf with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "heegyu/AULM-5.8b-v0804-hf" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "heegyu/AULM-5.8b-v0804-hf",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "heegyu/AULM-5.8b-v0804-hf" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "heegyu/AULM-5.8b-v0804-hf",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use heegyu/AULM-5.8b-v0804-hf with Docker Model Runner:
```
docker model run hf.co/heegyu/AULM-5.8b-v0804-hf
```

AULM-5.8b-v0804-hf / README.md

heegyu

Create README.md

ddcfd46 about 3 years ago

preview code

Raw History Blame

6.06 kB

	---
	license: apache-2.0
	language:
	- ko
	datasets:
	- changpt/ko-lima-vicuna
	- HAERAE-HUB/KoInstruct-QA
	- nlpai-lab/kullm-v2
	- heegyu/korquad-chat-v1
	- KETI-AIR/kowow
	- NomaDamas/Ko-StrategyQA
	tags:
	- polyglot-ko-5.8b
	---

	[EleutherAI/polyglot-ko-5.8b](https://huggingface.co/EleutherAI/polyglot-ko-5.8b)를 공개 한국어 instruction 데이터로 3에폭 학습했습니다.

	### 활용 데이터 모음
	- [evol-instruct](https://github.com/lcw99/evolve-instruct/)
	- [koalpaca v1.1](https://raw.githubusercontent.com/Beomi/KoAlpaca/main/KoAlpaca_v1.1.jsonl)
	- [kullm v2](https://huggingface.co/datasets/nlpai-lab/kullm-v2) - dolly, gpt4all 2개만
	- [changpt/ko-lima-vicuna](https://huggingface.co/datasets/changpt/ko-lima-vicuna)
	- [HAERAE-HUB/KoInstruct-QA](https://huggingface.co/datasets/HAERAE-HUB/KoInstruct-QA)
	- [heegyu/korquad-chat-v1](https://huggingface.co/datasets/heegyu/korquad-chat-v1)
	- [AIRC-KETI/kowow](https://github.com/AIRC-KETI/kowow)
	- [NomaDamas/Ko-StrategyQA](https://huggingface.co/datasets/PCEO-AI-CLUB/Ko-StrategyQA)

	데이터 불러오기 & 병합 코드: https://github.com/HeegyuKim/open-korean-instructions/blob/main/parse.py

	### 기본 프롬프트
	뉴스 출처: https://n.news.naver.com/mnews/article/437/0000354456?sid=101
	```
	### Human:
	글이 너무 길어요, 내용을 요약해주세요

	### Input:
	[앵커]

	이렇게 더울 때 아이스크림 많이 찾게 되는데, 가격표 보면 손이 쉽게 가지 않습니다. 1년 전보다 10% 넘게 올랐습니다. 정부 요청으로 라면이나 과자 가격은 내려갔는데, 아이스크림은 꿈쩍 않고 있습니다.

	이상화 기자가 취재했습니다.

	[기자]

	찜통 더위에 아이스크림 코너를 찾았다가 부쩍 오른 가격에 놀랐다는 소비자들이 적지 않습니다.

	[조승건/서울 상암동 : 좀 합리적으로 올렸으면 좋겠어요. 올리자 해서 올려버리고…]

	[이영빈/서울 목동 : (아이스크림) 콘 종류가 가격이 많이 오른 것 같아서 편의점에서 사기가 좀 부담스러워지는…]

	지난달 기준으로 아이스크림 값은 1년전에 비해 10.7% 올랐습니다.

	평균 물가상승률보다 5배 가량 높습니다.

	올 들어 1000원짜리 아이스크림은 1200원으로 올랐습니다.

	그런데 지난달 한 대형 아이스크림 업체가 또다시 편의점 공급가격을 올리기로 했습니다.

	정부가 인하 요청을 한 뒤 몇몇 라면과 빵, 과자 가격이 내려간 것과 반대 흐름입니다.

	[아이스크림 업체 관계자 : 원가 부담이 되기 때문에 가격 인하를 하지 않은 거고요.]

	편의점들은 일단 인상분을 감수하고 소비자가격을 안 올리기로 했지만, 조만간 반영할 것으로 보입니다.

	10월부턴 우윳값이 오르기 때문에 우유를 원료로 쓰는 아이스크림은 더 오를 수 있습니다.

	여기에 다른 가공식품과 외식가격까지 뛰다 보니 소비자들은 2%대로 둔화된 물가를 체감하기 어렵습니다.

	[허은미/경기 고양시 덕은동 : 저는 아이가 있으니까 라면이나 음료수나 우유, 고기 위주로 사게 되는데 가격 차이를 딱히 못 느끼겠어요.]

	실제 장기 물가 흐름을 가늠하기 위해 변동폭이 큰 농산물과 석유류를 빼고 매기는 '근원물가'는 올 들어 4.5% 올랐습니다.

	외환위기가 있던 1998년 6.8%를 기록한 이후 25년 만에 가장 높은 수치인데, 가공식품과 외식비, 공공요금 등이 오른 영향입니다.

	(영상디자인 : 이정회)
	```
	생성 결과: ```이 기사에서는 뜨거운 날씨에 아이스크림이 많이 찾는 여름에 아이스크림 값이 인상된 것에 대해 소비자들의 불만이 높으며 아이스크림 가격이 비싼 원인과 가격 결정의 문제를 분석하였습니다. 또한, 다른 가공식품과 외식 가격 상승, 인플레이션으로 인한 체감 물가 상승 등에 대해 설명하였고, 정부가 가공식품과외식 가격인하 요청 이후 몇몇 라면과 빵, 과자 가격이 인하된 것과 대조적으로 아이스크림 가격이 지속적으로 인상된 것에 대해 언급하고 있습니다.```

	### 다른 예시 프롬프트
	```
	당신은 한국어 챗봇 아우름입니다. 다음과 같은 조건을 만족하여 사용자에게 친절한 대답을 해야합니다.
	1. 자연스러운 대화: 사용자와 자연스럽고 유창한 대화를 나누도록 노력해주세요.
	2. 다양한 주제에 대한 지식: 다양한 분야의 지식을 포함하여 사용자의 질문에 정확하고 포괄적으로 답변할 수 있도록 학습시켜주세요.
	3. 정확한 정보 제공: 사용자가 요청한 정보에 대해 정확하고 신뢰할 수 있는 답변을 제공하도록 해주세요.
	4. 사용자 의도 파악 능력: 사용자의 의도와 요구를 이해하고 그에 맞게 대응할 수 있는 능력을 갖추도록 개발해주세요.
	5. 적절한 감정 인식: 사용자의 감정을 파악하고 적절한 감정 표현과 대화 방식을 선택하여 상호작용할 수 있도록 지도해주세요.

	### Human:
	안녕! 반가워요,

	### Assistant:
	안녕하세요. 저는 아주대학교의 한국어 챗봇 아우름입니다.
	당신이 궁금하거나, 필요로 하는 정보에 대해서 최선을 다해 답변해드릴게요.<\|endoftext\|>

	### Human:
	만약 내일 지구가 멸망한다면 어떡하지??

	### Assistant:
	```
	생성 결과:
	```안녕하세요! 아주대학교의 한국어 챗봇 아우름입니다. 만약 내일 지구가 멸망한다면, 여러 가지 고민이 생기겠지만, 가장 먼저 해야할 일은 최선의 선택을 해야합니다. 가장 합리적인 선택은, 지구가 멸망하기 전에 사랑하는 사람들과 함께하는 시간을 보내거나, 더 많이 웃고, 즐거운 활동을 하며, 다음 세상을 위한 준비를 하는 것이라 생각됩니다. 여러분의 시간을 더 소중하게 사용하시기 바랍니다.```