---
license: apache-2.0
language:
- ta
- si
- en
metrics:
- bleu
- ter
base_model:
- google/mt5-large
pipeline_tag: text-generation
tags:
- text2text-generation
- headline-generation
- sri-lanka
- ceynews
- multilingual
---
# CeyNews mT5-Large Headline Generation
 
This model is [mT5-Large](https://huggingface.co/google/mt5-large) fine-tuned on the **CeyNews** trilingual Sri Lankan news corpus for headline generation. Given the content of a news article, it generates a headline in the same language — supporting Tamil, Sinhala, and English.
 
## Model Details
 
| Field | Details |
|---|---|
| **Base model** | `google/mt5-large` |
| **Task** | Headline Generation (Text2Text) |
| **Languages** | Tamil (`ta`), Sinhala (`si`), English (`en`) |
| **License** | Apache 2.0 |
<!-- | **Organization** | University of Jaffna | -->
 
<!-- ## Training Details
 
| Hyperparameter | Value |
|---|---|
| Epochs | 1 |
| Learning rate | 1e-5 |
| Batch size | 8 |
| Max input length | 256 tokens |
| Max target length | 64 tokens |
| Optimizer | AdamW |
| Training data | CeyNews trilingual train split |
| Training type | Trilingual fine-tuning (single model, all languages) |
 
## Evaluation Results
 
Evaluation was performed on the CeyNews test split, per language.
 
| Language | BLEU | TER | Token F1 |
|---|---|---|---|
| Tamil | — | — | — |
| Sinhala | — | — | — |
| English | — | — | — |
 
> Fill in your final BLEU / TER / Token F1 scores above before publishing. -->
 
## Usage
 
```python
from transformers import AutoTokenizer, MT5ForConditionalGeneration
 
model_name = "ltguoj/CeyNews-headline-mt5-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)
model.eval()
 
article = """
மாற்றுத்திறனாளிகளின் விளையாட்டுத் திறனையும் மன உறுதியையும் வெளிப்படுத்தும் வகையில், புத்தளம் மாவட்ட மாற்றுத்திறனாளிகளின் மெய்வல்லுநர் விளையாட்டு
விழா மிகுந்த உற்சாகத்துடனும் உணர்வுபூர்வமாகவும் நடைபெற்றது. புத்தளம் நகர சபை விளையாட்டரங்கில் முழு நாள் நிகழ்வாக நடைபெற்ற இந்த விளையாட்டு விழாவில்,
மாவட்டத்தின் பல்வேறு பிரதேச செயலகப் பிரிவுகளைச் சேர்ந்த மாற்றுத்திறனாளிகள் ஆர்வத்துடன் கலந்துகொண்டனர். போட்டியின் முடிவில், 108 புள்ளிகளைப் பெற்று மஹவெவ
பிரதேச செயலகப் பிரிவு சம்பியன் பட்டத்தைத் தட்டிக்கொண்டது. 98 புள்ளிகளைப் பெற்ற முந்தல் பிரதேச செயலகப் பிரிவு இரண்டாம் இடத்தைப் பெற்றுக்கொண்டது. புத்தளம்
மாவட்டச் செயலாளர் மற்றும் மேலதிக மாவட்டச் செயலாளர் ஆகியோர் நிகழ்வில் கலந்துகொண்டு போட்டிகளை உத்தியோகபூர்வமாக ஆரம்பித்து வைத்தனர். ஒலிம்பிக் தீபம்
ஏற்றப்பட்டதைத் தொடர்ந்து மெய்வல்லுநர் போட்டிகள் ஆரம்பமாகின. இந்த விளையாட்டு விழாவில் நீண்ட தூர ஓட்டப்போட்டி, குண்டு எறிதல், உயரம் பாய்தல், ஒரு காலை
இழந்தவர்களுக்கான சிறப்பு ஓட்டப்போட்டி, வட்டு எறிதல் மற்றும் சக்கர நாற்காலி ஓட்டப்போட்டி உள்ளிட்ட பல்வேறு திறன் வெளிப்பாட்டுப் போட்டிகள் இடம்பெற்றன. உடல்
வரம்புகளைத் தனது மனவலிமையால் வென்ற வீரர், வீராங்கனைகள் தங்களது திறமைகளை நிரூபித்துப் பார்வையாளர்களின் கைதட்டல்களையும் பாராட்டுகளையும் பெற்றனர்.
அவர்களின் உறுதியும் விடாமுயற்சியும் பலருக்கும் ஊக்கமளிக்கும் வகையில் அமைந்திருந்தது. போட்டிகளில் வெற்றி பெற்ற வீரர், வீராங்கனைகளுக்குப் புத்தளம் மாவட்ட சமூக
சேவை உத்தியோகத்தர் எம். எம். ஜயதிலக மற்றும் புத்தளம் மாவட்ட முன்னாள் விளையாட்டு உத்தியோகத்தர் தனபால ஜயபத்ம ஆகியோர் வெற்றிக் கேடயங்களையும்
பரிசுகளையும் வழங்கி கௌரவித்தனர். மாற்றுத்திறனாளிகளின் திறமைகளுக்கு மதிப்பளித்து, அவர்களுக்குச் சமமான வாய்ப்புகளை உருவாக்கும் சமூகப் பொறுப்புணர்வின்
சிறந்த எடுத்துக்காட்டாக இந்த மாவட்ட மெய்வல்லுநர் விளையாட்டு விழா அமைந்தது.
"""
 
inputs = tokenizer(article, return_tensors="pt", truncation=True, max_length=256)
output_ids = model.generate(
    **inputs,
    max_new_tokens=64,
    num_beams=4,
    decoder_start_token_id=tokenizer.pad_token_id,
)
headline = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(headline)
```
 
<!-- > **Note:** Input should be the full news article body, not the headline itself. This model is trilingual (Tamil, Sinhala, English) — the example above shows Tamil, but Sinhala and English input work the same way.
 
## Dataset
 
The CeyNews corpus is available at:
[`ltguoj/ceynews`](https://huggingface.co/datasets/ltguoj/ceynews)
 
The corpus comprises ~1.026 million trilingual news articles collected from three major Sri Lankan news outlets — Ada Derana, Hiru News, and ITN News.
 
## Citation
 
If you use this model, please cite:
 
```bibtex
@inproceedings{ceynews2026,
  title     = {CeyNews: A Trilingual Sri Lankan News Corpus for Multilingual NLP},
  author    = {[Authors]},
  booktitle = {Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM)},
  year      = {2026}
}
```
 
## Contact
 
For questions, please open an issue in this repository or contact the University of Jaffna NLP group.
 -->