Instructions to use saltlux/Ko-Llama3-Luxia-8B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use saltlux/Ko-Llama3-Luxia-8B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="saltlux/Ko-Llama3-Luxia-8B")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("saltlux/Ko-Llama3-Luxia-8B")
model = AutoModelForCausalLM.from_pretrained("saltlux/Ko-Llama3-Luxia-8B", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use saltlux/Ko-Llama3-Luxia-8B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "saltlux/Ko-Llama3-Luxia-8B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "saltlux/Ko-Llama3-Luxia-8B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/saltlux/Ko-Llama3-Luxia-8B

SGLang

How to use saltlux/Ko-Llama3-Luxia-8B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "saltlux/Ko-Llama3-Luxia-8B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "saltlux/Ko-Llama3-Luxia-8B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "saltlux/Ko-Llama3-Luxia-8B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "saltlux/Ko-Llama3-Luxia-8B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use saltlux/Ko-Llama3-Luxia-8B with Docker Model Runner:
```
docker model run hf.co/saltlux/Ko-Llama3-Luxia-8B
```

yuringu commited on May 2, 2024

Commit

128163a

verified ·

1 Parent(s): f87add3

Update README.md

Browse files

Files changed (1) hide show

README.md +2 -2

README.md CHANGED Viewed

@@ -205,9 +205,9 @@ Llama-3-Tokenizer를 한국어 특화하기 위해 한국어 토큰 17,536개를
 </td>
 </tr>
 <tr>
-<td><b>롯데월드의 대표적인 놀이기구는</b> 롯데타워입니다. 123m 높이로 올라가면 서울시내 전경을 한눈에 볼 수 있습니다.\nLotte World Tower is the tallest building in Seoul, South Korea and the fifth-tallest in the world. It has a total height of 555 m (1,821 ft) and consists of 123 floors above ground as well as five basement levels. The tower's main structure was topped out on March 29, 2016, and its observation deck opened to the public on April 11, 2017. Lotte World Tower is located in Songpa District, Seoul, near the Bangi Station on Line 5 of the Seoul Subway system.
 </td>
-<td><b>롯데월드의 대표적인 놀이기구는</b> \'자이로드롭\'이다. 자이로드롭은 2013년 개장한 롯데월드타워 전망대 서울스카이와 함께 롯데월드타워를 대표하는 시설로, 국내에서 가장 빠른 속도인 시속 120㎞로 하강하며 짜릿함을 선사한다.\n롯데월드 측은 "자이로드롭은 롯데월드타워가 완공되기 전부터 많은 관심을 받았다"며 "국내 최고 높이(555m)라는 점과 세계 최대 규모(2대)의 시설이라는 점 때문에 개장 전부터 화제가 됐다"고 설명했다.\n실제 자이로드롭은 개장 이후 지금까지 누적 탑승객 수 100만명을 돌파했으며, 하루 평균 3000명 이상이 이용하고 있다. 특히 주말에는 4000여 명이 탑승할 정도로 인기가 높다.\n롯데월드 관계자는 "자이로드롭은 롯데월드타워의 랜드마크 시설 중 하나로, 롯데월드타워를 방문하는 고객이라면 누구나 꼭 타보고 싶어 하는 시설"이라고 말했다.\n롯데월드타워 전망대 서울스카이는 500m 상공에 위치해 있어 서울 시내 전경을 한눈에 볼 수 있는 곳으로, 개장 이후 누적 방문객 수가 200만명을 넘어섰다. <이하 생략>
 </td>
 </tr>
 </table>

 </td>
 </tr>
 <tr>
+<td><b>한국의 전통의상인</b> 한복과 일본의 전통의상인 요로카미는 모두 5대륙의 문화를 수용하고, 각기 다른 지역의 특징을 반영한 의상을 갖추고 있다. 이러한 의상의 특징은 각각의 국가에서 발전해 온 역사와 문화에 기초한다. 한편, 한국의 한복과 일본의 요로카미는 서로 비슷한 형태를 가지고 있지만, 그 의미는 다르다. 한복은 한국인의 정체성을 나타내며, 요로카미는 일본인의 정체성을 나타낸다. 따라서 이 두 가지 의상은 서로 다른 문화적 배경을 가진 사람들의 정체성 표현에 사용된다.\nThe traditional costumes of Korea and Japan are hanbok and yorokami respectively. Both have been influenced by the cultures of other countries and reflect the characteristics of their respective regions. The distinctive features of these costumes are based on the history and culture of each country. However, although hanbok and yorokami share similar forms, they have different meanings. Hanbok represents Korean identity while yorokami represents Japanese identity. <이하 생략>
 </td>
+<td><b>한국의 전통의상인</b> 한복은 한국의 문화와 역사를 고스란히 담고 있는 소중한 문화유산이다. 하지만 최근 들어 한복에 대한 관심이 줄어들면서, 한복을 입는 사람도 점점 줄어들고 있다. 이에 따라 한복의 아름다움과 가치를 알리고, 한복을 입는 것을 장려하기 위한 다양한 노력이 필요하다.\n\n첫째, 한복의 아름다움과 가치를 알리기 위해서는 한복의 역사와 문화적 의미를 교육하는 것이 중요하다. 한복은 한국인의 정체성을 상징하는 의복으로, 오랜 세월 동안 우리 민족의 삶 속에서 중요한 역할을 해왔다. 따라서 한복의 역사와 문화적 의미를 이해하면, 한복의 아름다움과 가치를 더욱 잘 느낄 수 있을 것이다.\n\n둘째, 한복을 입는 것을 장려하기 위해서는 한복을 입을 수 있는 기회를 제공하고, 한복을 입는 것을 편리하게 만드는 것이 중요하다. <이하 생략>
 </td>
 </tr>
 </table>