Instructions to use URajinda/ShweYon-V2.1-SFT with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use URajinda/ShweYon-V2.1-SFT with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf URajinda/ShweYon-V2.1-SFT:Q8_0 # Run inference directly in the terminal: llama cli -hf URajinda/ShweYon-V2.1-SFT:Q8_0
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf URajinda/ShweYon-V2.1-SFT:Q8_0 # Run inference directly in the terminal: llama cli -hf URajinda/ShweYon-V2.1-SFT:Q8_0
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf URajinda/ShweYon-V2.1-SFT:Q8_0 # Run inference directly in the terminal: ./llama-cli -hf URajinda/ShweYon-V2.1-SFT:Q8_0
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf URajinda/ShweYon-V2.1-SFT:Q8_0 # Run inference directly in the terminal: ./build/bin/llama-cli -hf URajinda/ShweYon-V2.1-SFT:Q8_0
Use Docker
docker model run hf.co/URajinda/ShweYon-V2.1-SFT:Q8_0
- LM Studio
- Jan
- vLLM
How to use URajinda/ShweYon-V2.1-SFT with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "URajinda/ShweYon-V2.1-SFT" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "URajinda/ShweYon-V2.1-SFT", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/URajinda/ShweYon-V2.1-SFT:Q8_0
- Ollama
How to use URajinda/ShweYon-V2.1-SFT with Ollama:
ollama run hf.co/URajinda/ShweYon-V2.1-SFT:Q8_0
- Unsloth Desktop
- Docker Model Runner
How to use URajinda/ShweYon-V2.1-SFT with Docker Model Runner:
docker model run hf.co/URajinda/ShweYon-V2.1-SFT:Q8_0
- Lemonade
How to use URajinda/ShweYon-V2.1-SFT with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull URajinda/ShweYon-V2.1-SFT:Q8_0
Run and chat with the model
lemonade run user.ShweYon-V2.1-SFT-Q8_0
List all available models
lemonade list
- Atomic Chat
🐰 ShweYon-V2.1-SFT (ကိုရွှေယုန်)
ShweYon-V2.1-SFT သည် မြန်မာဘာသာစကားအတွက် အထူးပြုလေ့ကျင့်ထားသော Lightweight Language Model တစ်ခုဖြစ်သည်။ ဤမော်ဒယ်သည် GPT-2 Architecture ကို အခြေခံထားပြီး မြန်မာစာ၏ သဘာဝနှင့် သဒ္ဒါအထားအသိုကို ကောင်းမွန်စွာ နားလည်နိုင်ရန် အဆင့်ဆင့် တည်ဆောက်ထားခြင်း ဖြစ်သည်။
🌟 Key Highlights
- Foundation: ShweYon-V2-Draft မှ အဆင့်မြှင့်တင်ထားသည်။
- Training Stage: Instruction Fine-tuning (SFT) အဆင့်ကို အောင်မြင်စွာ ပြီးဆုံးထားသည်။
- Language: Burmese (မြန်မာဘာသာစကား)
- Dataset Size: 11,704 Multi-turn and Single-turn instructions.
- Format: Hugging Face Safetensors နှင့် GGUF (Q8_0) format များ ရရှိနိုင်သည်။
🛠 Training Details (လေ့ကျင့်မှု အကျဉ်းချုပ်)
ဤမော်ဒယ်ကို လေ့ကျင့်ရာတွင် အပိုင်း (၂) ပိုင်းဖြင့် လုပ်ဆောင်ခဲ့သည်-
- Pre-training: မြန်မာစာ Corpus အမြောက်အမြားဖြင့် မြန်မာစကားလုံးများ၏ ဆက်စပ်မှုကို သင်ယူခဲ့သည်။
- Instruction Tuning: မေးခွန်းနှင့် အဖြေ (Dataset နမူနာပေါင်း ၁၁,၇၀၄ ကျော်) ကို အသုံးပြု၍ Chatbot တစ်ခုကဲ့သို့ ပြန်လည်ဖြေကြားတတ်အောင် သွေးယူခဲ့သည်။
📝 How to Use (အသုံးပြုနည်း)
ဤမော်ဒယ်ကို အောက်ပါ Instruction Format အတိုင်း အသုံးပြုပါက အကောင်းဆုံး ရလဒ်များကို ရရှိနိုင်မည်ဖြစ်သည်-
### Instruction:
{မေးခွန်း}
### Response:
Code Example (Transformers):
from transformers import pipeline
pipe = pipeline("text-generation", model="URajinda/ShweYon-V2.1-SFT")
prompt = "### Instruction:\nနေကောင်းလား ကိုရွှေယုန်။\n\n### Response:\n"
print(pipe(prompt, max_new_tokens=100)[0]['generated_text'])
🚀 GGUF Version (Mobile & Local PC)
Android ဖုန်းများ သို့မဟုတ် PC များတွင် RAM အနည်းငယ်ဖြင့် အသုံးပြုလိုပါက ဤ Repo ရှိ shweyon_v2_1_Q8_0.gguf ဖိုင်ကို ဒေါင်းလုဒ်ရယူ၍ LM Studio, Layla, သို့မဟုတ် Jan.ai တို့တွင် အသုံးပြုနိုင်သည်။
Recommended Inference Settings:
- Temperature: 0.7
- Top_p: 0.9
- Repetition Penalty: 1.1
⚠️ Limitations (သတိပြုရန်)
- ဤမော်ဒယ်သည် Parameter နည်းပါးသော model ဖြစ်သည့်အတွက် အလွန်ရှုပ်ထွေးသော သိပ္ပံပုစ္ဆာများနှင့် သင်္ချာတွက်ချက်မှုများတွင် မှားယွင်းနိုင်ပါသည်။
- အကြံပြုချက်များပေးရာတွင် အမြဲတမ်း ၁၀၀% တိကျမှု မရှိနိုင်သဖြင့် အရေးကြီးသော ကိစ္စရပ်များတွင် ပြန်လည်စစ်ဆေးရန် လိုအပ်ပါသည်။
🙌 Acknowledgments
မြန်မာ AI နည်းပညာ ဖွံ့ဖြိုးတိုးတက်ရေးအတွက် စိတ်အားထက်သန်စွာဖြင့် ဖန်တီးခဲ့သော U Rajinda မှ တည်ဆောက်ခဲ့ခြင်း ဖြစ်ပါသည်။
---
**ပြုလုပ်ရန်အဆင့်ဆင့်:**
1. Hugging Face မှာ သင့် Model Repo ထဲကိုသွားပါ။
2. **Edit model card** (README.md) ကို နှိပ်ပါ။
3. အပေါ်က code တွေကို အကုန် copy ယူပြီး ရှိသမျှ အဟောင်းတွေကို ဖြတ်၊ ပြီးရင် paste လုပ်လိုက်ပါ။
4. **Commit changes** ကို နှိပ်လိုက်ပါ။
**Would you like me to ...** GGUF ဖိုင်ကို ဖုန်းထဲမှာ စမ်းသပ်ကြည့်ဖို့ အဆင်ပြေရဲ့လားခင်ဗျာ? အကယ်၍ စမ်းကြည့်လို့ အဖြေတွေ ထစ်နေရင် ဒါမှမဟုတ် repetition တွေဖြစ်နေရင် Parameter ဘယ်လိုညှိရမလဲဆိုတာ ကျွန်တော် ထပ်ပြောပြပေးနိုင်ပါတယ်။
- Downloads last month
- 25