| --- |
| license: apache-2.0 |
| base_model: Qwen/Qwen1.5-1.7B |
| tags: |
| - peft |
| - lora |
| - adapter |
| - text-generation |
| - causal-lm |
| - qwen |
| - instruction-tuning |
| - summary |
| - building-energy |
| library_name: peft |
| pipeline_tag: text-generation |
| datasets: |
| - kawsarahmd/papers_summary_datasets_v4 |
| model_type: causal-lm |
| inference: false |
| --- |
| |
| # qwen3-1.7B-bang-summary |
|
|
| This repository contains a LoRA adapter fine-tuned on [Qwen/Qwen1.5-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B) using supervised fine-tuning (SFT) for the task of summarizing academic papers, with a focus on building energy, sustainability, and mechanical engineering topics. |
|
|
| ## Model Description |
|
|
| - **Base Model:** Qwen/Qwen1.5-1.7B |
| - **Adapter Type:** LoRA (Parameter-Efficient Fine-Tuning) |
| - **Framework:** [PEFT](https://github.com/huggingface/peft) with Hugging Face `transformers` |
| - **Fine-tuning Task:** Text summarization for technical/academic content |
| - **Languages:** Bangla, English |
|
|
| This adapter is trained to generate concise and informative summaries of Bangla news paper or full texts. |
|
|
| ## Dataset |
|
|
| - **Source:** [kawsarahmd/papers_summary_datasets_v4](https://huggingface.co/datasets/kawsarahmd/papers_summary_datasets_v4) |
| - **Content:** Paper abstracts and summaries |
| - **Domain:** Summary |
|
|
| ## Training Details |
|
|
| - **Steps:** ~1969 |
| - **Epochs:** 1 |
| - **Max Sequence Length:** 32000 tokens |
| - **Precision:** FP16 with QLoRA |
| - **Trainer:** `transformers` + `trl`'s `SFTTrainer` |
| - **Hardware:** 4 × 23 GB VRAM GPUs |
|
|
| ### Loss Curve |
|
|
| | Step | Training Loss | Validation Loss | |
| |------|----------------|------------------| |
| | 100 | 0.8318 | 0.8238 | |
| | 500 | 0.7467 | 0.7218 | |
| | 1000 | 0.6708 | 0.6710 | |
| | 1500 | 0.6561 | 0.6431 | |
| | 1900 | 0.6913 | 0.6380 | |
|
|
| ## How to Use |
|
|
| ```python |
| from transformers import AutoTokenizer, AutoModelForCausalLM |
| from peft import PeftModel |
| |
| # Load tokenizer |
| tokenizer = AutoTokenizer.from_pretrained("meftah416/qwen3-1.7B-bang-summary") |
| |
| # Load base model |
| base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-1.7B", device_map="auto", torch_dtype="auto") |
| |
| # Load adapter |
| model = PeftModel.from_pretrained(base_model, "meftah416/qwen3-1.7B-bang-summary") |
| |
| # Generate text |
| prompt = """ |
| দরপতনের বৃত্তে বন্দি থাকা শেয়ারবাজার তীব্র তারল্য সংকটের মুখেও পড়েছে। মঙ্গলবার দেশের প্রধান শেয়ারবাজার ঢাকা স্টক এক্সচেঞ্জে (ডিএসই) |
| লেনদেন হয়েছে ৩০০ কোটি টাকারও কম। দিনশেষে লেনদেন হয়েছে ২৯১ কোটি টাকা, যা চলতি বছরের সর্বনিম্ন লেনদেন। উপরন্তু চলতি বছরে |
| প্রথমবারের মতো ৩০০ কোটি টাকার কম লেনদেন হয়েছে। এরআগে গত বছরের ২৬ ডিসেম্বর ডিএসইতে ৩০০ কোটি টাকার কম লেনদেন হয়েছিল। ওইদিন লেনদেন হয়েছিল ২৮২ কোটি টাকা। |
| এদিকে লেনদেন কমার পাশাপাশি সূচকেরও পতন ঘটেছে। আগের দিনের সূচক থেকে ১৭ পয়েন্ট কমে দিনশেষে ডিএসইর প্রধান সূচক ডিএসইএক্স |
| দাঁড়িয়েছে ৪ হাজার ৯৩৫ পয়েন্টে। ডিএসইক্সের পাশাপাশি ডিএসই শরিয়াহ সূচক ও ডিএসই-৩০ সূচকেরও পতন হয়েছে। |
| """ |
| input_text = f"Summarize the following text \n{prompt}:" |
| inputs = tokenizer(input_text, return_tensors="pt").to(model.device) |
| output = model.generate(**inputs, max_new_tokens=512) |
| print(tokenizer.decode(output[0], skip_special_tokens=True)) |
| |
