Model card, license notes, training records

LICENSE.md

@@ -0,0 +1,14 @@
+# Lisans notları
+
+Bu model `hayriyigit/decider-4b-tr` üzerine (o da `Mapika/decider-4b`, Apache-2.0 üzerine) aşağıdaki verilerle LoRA ile eğitildi.
+Model ağırlıklarının kullanım koşulları bu kaynakların koşullarından etkilenebilir.
+
+| Kaynak | Kullanım | Lisans |
+|---|---|---|
+| hayriyigit/decider-4b-tr | başlangıç modeli | other (karışık eğitim verisi; o modelin LICENSE.md'si) |
+| 2WikiMultihopQA (Türkçesi hayriyigit/2wikimultihopqa-tr-answerability) | eğitim + test | Apache-2.0 |
+| HotpotQA (Türkçesi hayriyigit/hotpotqa-tr-answerability) | eğitim + test | CC BY-SA 4.0 |
+| MuSiQue (Türkçesi hayriyigit/musique-tr-answerability) | eğitim + test | CC BY 4.0 |
+| hayriyigit/answerability-synth-tr | eğitim + test | LLM üretimi; üreten modellerin ve servis sağlayıcının şartları geçerli olabilir |
+| SQuAD 2.0 (Türkçesi hayriyigit/squad_v2-tr) | eğitim + test | CC BY-SA 4.0 |
+| avbiswas/bev-decision-150K (ve Türkçesi) | replay | belirtilmemiş ("unknown") |

README.md

@@ -0,0 +1,159 @@
+---
+language:
+- tr
+- en
+license: other
+license_name: mixed-training-data
+license_link: LICENSE.md
+base_model: hayriyigit/decider-4b-tr
+pipeline_tag: text-classification
+tags:
+- decision-model
+- calibrated
+- answerability
+- rag
+- turkish
+- lora
+datasets:
+- hayriyigit/2wikimultihopqa-tr-answerability
+- hayriyigit/hotpotqa-tr-answerability
+- hayriyigit/musique-tr-answerability
+- hayriyigit/answerability-synth-tr
+- hayriyigit/squad_v2-tr
+---
+
+# decider-4b-tr-rag: Türkçe RAG için cevaplanabilirlik
+
+**English summary.** A second LoRA round (rank 64, merged into the bf16 weights) on
+[`hayriyigit/decider-4b-tr`](https://huggingface.co/hayriyigit/decider-4b-tr) for one decision: can this retrieved document answer
+this question? Trained for one epoch on 87.318 Turkish rows built so that the negative documents are on topic and hold the
+same kind of information, for another entity, institution, place or period (translated 2WikiMultihopQA, HotpotQA and MuSiQue, an
+LLM judge filtering their answerable rows, LLM-written Turkish minimal pairs, SQuAD 2.0-tr) plus replay rows. On held-out rows
+built the same way it is close to perfect (2WikiMultihopQA-tr 1.000, synthetic 0.992);
+on the independent SQuAD 2.0-tr dev set it is unchanged (0.862 → 0.861). Treat the in-distribution
+numbers as an upper bound, and check it on your own documents.
+
+[`hayriyigit/decider-4b-tr`](https://huggingface.co/hayriyigit/decider-4b-tr) üzerine, tek bir karar için yapılmış ikinci bir LoRA
+turu: **RAG'de getirilen belge, kullanıcının sorusunu cevaplıyor mu?** Hedef hata türü, belgenin konuyla ilgili olup aynı
+türden bilgiyi başka bir varlık, kurum, yer ya da dönem için içermesi: model "belgede bu türden bir bilgi var mı?" sorusuna
+bakıp "bu bilgi sorulan varlığa ve döneme mi ait?" sorusuna bakmadığında "evet" diyordu.
+
+## Kullanım
+
+```python
+import sys
+from huggingface_hub import snapshot_download
+
+path = snapshot_download("hayriyigit/decider-4b-tr-rag", token="hf_...")   # private repo: okuma yetkili bir token
+sys.path.insert(0, path)
+from decider.infer import Decider
+
+d = Decider(path)
+QUESTION = {"answerable": {"type": "noul", "instructions": "Verilen `document`, `question` sorusunun TÜM kısımlarını doğru ve eksiksiz şekilde cevaplamak için yeterli bilgiyi açıkç…"}}   # tam metin aşağıda
+p_yes = d.system_one({"question": "Türksat 6A hangi tarihte uzaya fırlatıldı?", "document": belge}, QUESTION)["answers"]["answerable"]["noul"]
+```
+
+Eğitimde kullanılan soru metni (eğitim satırlarının yarısında bu metin, yarısında üç farklı ifade vardı):
+
+> Verilen `document`, `question` sorusunun TÜM kısımlarını doğru ve eksiksiz şekilde cevaplamak için yeterli bilgiyi açıkça içeriyor mu? Yalnızca belgede açıkça belirtilen veya belgeden doğrudan ve tartışmasız biçimde çıkarılabilen bilgileri kullan. Konusal olarak ilgili olmak yeterli değildir. Soruda belirli bir tarih, sayı, isim, konum, neden, yöntem veya başka bir bilgi isteniyorsa, istenen bilgi belgede doğru olay, varlık ve ilişkiyle bağlantılı olmalıdır. İstenen cevaba benzeyen bir bilginin belgede başka bir olay veya varlık için geçmesi cevap sayılmaz. Sorunun birden fazla kısmı varsa TÜM kısımlar cevaplanabiliyorsa EVET, herhangi bir gerekli kısım eksikse HAYIR döndür. Dış bilgi kullanma.
+
+State `{"question": …, "document": …}`: `document` düz metindir (başlık, tarih ve kaynak satırları metnin içinde olabilir).
+noul temperature değeri 1,097 (`decider_config.json`), ayrılmış 1.500 Türkçe kararda fit edildi.
+
+Bu modelin bazı örneklerde verdiği P(evet):
+
+| Soru | Belge (son kısmı) | P(evet) |
+|---|---|---:|
+| Türksat 6A hangi tarihte uzaya fırlatıldı? | …yöneticilerin katıldığı bir değerlendirme toplantısı gerçekleştirildi. | 0,032 |
+| Türksat 6A hangi tarihte uzaya fırlatıldı? | …Uydu SpaceX'in Falcon 9 roketiyle Cape Canaveral'dan uzaya gönderildi. | 0,003 |
+| Türksat 6A hangi tarihte uzaya fırlatıldı? | …roketiyle Cape Canaveral'dan 9 Temmuz 2024 tarihinde uzaya gönderildi. | 1,000 |
+| Siparişim ne zaman teslim edilecek? | …verilir ve kargoya verildikten sonra 1-3 iş günü içinde teslim edilir. | 0,932 |
+| Siparişimin kargo takip numarası nedir? | …verilir ve kargoya verildikten sonra 1-3 iş günü içinde teslim edilir. | 0,000 |
+
+İlk iki satırda belgede aynı türden bilgi (bir tarih) başka bir olay için geçiyor ya da hiç geçmiyor: model "hayır" diyor;
+tarih fırlatmanın kendisine ait olduğunda (üçüncü satır) "evet". Dördüncü satır tartışmalıdır: belge kişinin kendi siparişinin tarihini değil, genel bir süreyi verir; katı kurala göre
+cevap hayır olmalıdır, model ise genel kuralı cevap sayıyor. Genel bir politikanın belirli bir vakayı cevaplayıp
+cevaplamadığına kendi verinizle bakın.
+
+## Değerlendirme
+
+Test satırları eğitimde görülmedi. "Önce" başlangıç modelidir (`decider-4b-tr`). Toplam: 16.243 karar, doğruluk
+0,860 → 0,893, ECE 0,023 → 0,043.
+
+| Test seti | Karar | Doğruluk (önce) | Doğruluk (sonra) | Cevaplanabilirde doğru | Cevaplanamazda doğru | AUROC | ECE |
+|---|---:|---:|---:|---:|---:|---:|---:|
+| 2WikiMultihopQA-tr: aynı alan, başka varlık | 1.200 | 0,962 | **1,000** | 0,987 → 1,000 | 0,935 → 1,000 | 0,997 → 1,000 | 0,022 → 0,001 |
+| Sentetik Türkçe minimal pair'ler | 1.170 | 0,906 | **0,992** | 0,997 → 0,983 | 0,862 → 0,996 | 0,996 → 1,000 | 0,028 → 0,004 |
+| HotpotQA-tr: tüm hop'lar / eksik hop / distractor | 1.500 | 0,806 | **0,980** | 0,618 → 0,970 | 0,899 → 0,984 | 0,871 → 0,997 | 0,065 → 0,006 |
+| MuSiQue-tr: tüm hop'lar / eksik hop | 500 | 0,634 | **0,898** | 0,376 → 0,832 | 0,908 → 0,972 | 0,751 → 0,978 | 0,186 → 0,030 |
+| SQuAD 2.0-tr dev (bağımsız, insan yazımı) | 11.873 | 0,862 | 0,861 | 0,937 → 0,924 | 0,783 → 0,798 | 0,940 → 0,935 | 0,016 → 0,057 |
+
+Sentetik setin tuzak türlerinde "hayır"ı bilme oranı:
+
+| Tuzak | Karar | Önce | Sonra |
+|---|---:|---:|---:|
+| `kurum` (başka bir kurumun aynı bilgisi) | 113 | 0,779 | 1,000 |
+| `varlik` (aynı türden başka bir varlık) | 115 | 0,913 | 0,991 |
+| `zaman` (yayın tarihinden sonraki ya da kapsanmayan dönem) | 113 | 0,894 | 1,000 |
+| `yer_facet` (başka şehir/bölge ya da başka yön) | 113 | 0,929 | 1,000 |
+| `eksik_oznitelik` (belgede olmayan öznitelik) | 127 | 0,913 | 0,992 |
+| `kismi` (iki parçalı soru, bir parçası cevapsız) | 232 | 0,797 | 0,996 |
+
+### Nasıl okunmalı
+
+- **Büyük kazançlar eğitim verisiyle aynı yöntemle kurulmuş test setlerinde.** 2WikiMultihopQA, HotpotQA, MuSiQue ve sentetik
+  test satırları, eğitim satırlarıyla aynı şablon, aynı writer model ve aynı paragraf düzeniyle kuruldu; model bu kalıpları
+  öğrendi. Bu sayılar gerçek belgelerdeki başarının üst sınırı olarak okunmalı.
+- **Bağımsız SQuAD 2.0-tr'de değişiklik yok:** doğruluk 0,862 → 0,861,
+  cevaplanamazları bilme 0,783 → 0,798, cevaplanabilirleri bilme
+  0,937 → 0,924; kalibrasyon biraz kötüleşti (ECE 0,016 → 0,057).
+- **HotpotQA ve MuSiQue testlerinin evet satırları judge ile filtrelenmedi.** Train'de bu satırların sırasıyla ~%19 ve ~%46'sı
+  katı kurala göre cevaplanamaz bulunup çıkarılmıştı; testte de benzer bir pay vardır. Modelin MuSiQue evet satırlarında "evet"
+  oranının 0,376 → 0,832 çıkması, bu tür belgelere sorunun gerçekten cevaplanıp cevaplanmadığına bakmadan evet
+  demeyi öğrenmiş olabileceğine işaret ediyor.
+- Genel karar becerisinin (bev, jev-bench vb.) korunup korunmadığı ölçülmedi; eğitimde 7.000 replay satırı vardı.
+
+### Validation
+
+Eğitim karışımından belgeye göre gruplanarak ayrılmış 1.500 Türkçe satır: doğruluk 0,981,
+cross-entropy 0,056. Bu satırlar eğitim verisiyle aynı kaynaklardan geldiği için yukarıdaki ilk uyarı onlar için de geçerli.
+
+## Eğitim verisi
+
+| Kaynak | Evet | Hayır |
+|---|---:|---:|
+| [2WikiMultihopQA-tr](https://huggingface.co/datasets/hayriyigit/2wikimultihopqa-tr-answerability): doğru varlık / aynı alan, başka varlık | 12.000 | 12.000 |
+| [HotpotQA-tr](https://huggingface.co/datasets/hayriyigit/hotpotqa-tr-answerability): judge onaylı tüm hop'lar / eksik hop + distractor | 8.090 | 10.112 |
+| [MuSiQue-tr](https://huggingface.co/datasets/hayriyigit/musique-tr-answerability): judge onaylı tüm hop'lar / eksik hop | 2.697 | 3.371 |
+| [Sentetik Türkçe](https://huggingface.co/datasets/hayriyigit/answerability-synth-tr) (iki kez, iki farklı soru ifadesiyle) | 6.490 | 15.058 |
+| [SQuAD 2.0-tr](https://huggingface.co/datasets/hayriyigit/squad_v2-tr) | 8.027 | 3.973 |
+| Replay: bev-decision-150K-tr ve İngilizce bev satırları, başlangıç modelinin kendi cevaplarına (KL) | 7.000 satır | |
+
+- HotpotQA ve MuSiQue'nin evet satırları `deepseek-v4.1-flash` judge'ı ile filtrelendi (sırasıyla 1.910 ve 2.303 satır çıkarıldı);
+  bu iki kaynakta judge yalnızca evet satırlarını elediği için hayır satırları, evetlerin 1,25 katına indirildi (türler arasında eşit).
+- Soru metni satırların yarısında yukarıdaki metin, yarısında üç farklı ifade; model tek bir cümleye bağlanmasın diye.
+- Belirli bir değerlendirme setiyle (judge set) örtüşmemesi için bazı adlar ve kombinasyonlar sentetik üretimden çıkarıldı.
+
+## Eğitim
+
+| | |
+|---|---|
+| Başlangıç | `hayriyigit/decider-4b-tr` (`df9aacb`), o da `Mapika/decider-4b` v2.1 üzerine bir LoRA turu |
+| Yöntem | LoRA rank 64, alpha 128; attention ve MLP projeksiyonları; 121,9M trainable parametre; bf16 ağırlıklara merge edildi |
+| Loss | Türkçe satırlarda label'a cross-entropy; replay satırlarında frozen başlangıç modelinin cevap dağılımına (KL) |
+| Program | 1 epoch, 660 adım × 65.536 token (106.021 prompt satırı, 49.019.781 token); learning rate 1e-4, %5 warmup, cosine |
+| Donanım ve süre | 1 × RTX 5090 (32 GB), bf16, gradient checkpointing, `causal-conv1d`; eğitim 3 sa 24 dk (~4.290 token/s) |
+
+Eğitim ve değerlendirme kayıtları [`training/`](training/) klasöründe.
+
+## Sınırlamalar
+
+- Gerçek RAG belgelerinde (ürün sayfaları, haberler, kurum duyuruları) ayrıca doğrulanmadı; yukarıdaki test setlerinin çoğu
+  eğitim verisiyle aynı yöntemle kuruldu.
+- Hayır örnekleri eğitimde evetlerden fazlaydı; model belirsiz durumlarda "hayır"a kayabilir. Threshold'u kendi verinizle seçin.
+- Eğitim verisinin çoğu makine çevirisi ve LLM üretimidir.
+- Genel karar becerisi ve FP8 bu model için ölçülmedi.
+
+## Lisans
+
+Taban modelin ve eğitim verilerinin lisansları farklıdır; ayrıntılar [`LICENSE.md`](LICENSE.md)'de.

training/answerability_eval_start.json

@@ -0,0 +1,330 @@
+{
+ "model": "decider-4b-v2.1-tr-lora",
+ "path": "hayriyigit/decider-4b-tr",
+ "revision": "df9aacb9f4c9e4e64178176502f51ae4db271f26",
+ "fp8_layers": 0,
+ "limit": 0,
+ "skipped": {},
+ "seconds": 579,
+ "report": {
+  "all": {
+   "n": 16243,
+   "accuracy": 0.8601,
+   "brier": 0.2038,
+   "nll": 0.3316,
+   "ece": 0.0234
+  },
+  "source/hotpot_tr": {
+   "n": 1500,
+   "accuracy": 0.806,
+   "brier": 0.2812,
+   "nll": 0.4504,
+   "ece": 0.0652
+  },
+  "source/hotpot_tr/noul": {
+   "n": 1500,
+   "accuracy": 0.806,
+   "brier": 0.2812,
+   "nll": 0.4504,
+   "ece": 0.0652
+  },
+  "source/musique_tr": {
+   "n": 500,
+   "accuracy": 0.634,
+   "brier": 0.523,
+   "nll": 0.8011,
+   "ece": 0.1863
+  },
+  "source/musique_tr/noul": {
+   "n": 500,
+   "accuracy": 0.634,
+   "brier": 0.523,
+   "nll": 0.8011,
+   "ece": 0.1863
+  },
+  "source/squad_tr": {
+   "n": 11873,
+   "accuracy": 0.8617,
+   "brier": 0.2028,
+   "nll": 0.3322,
+   "ece": 0.0159
+  },
+  "source/squad_tr/noul": {
+   "n": 11873,
+   "accuracy": 0.8617,
+   "brier": 0.2028,
+   "nll": 0.3322,
+   "ece": 0.0159
+  },
+  "source/synth_tr": {
+   "n": 1170,
+   "accuracy": 0.906,
+   "brier": 0.1319,
+   "nll": 0.2137,
+   "ece": 0.0275
+  },
+  "source/synth_tr/noul": {
+   "n": 1170,
+   "accuracy": 0.906,
+   "brier": 0.1319,
+   "nll": 0.2137,
+   "ece": 0.0275
+  },
+  "source/wiki2_tr": {
+   "n": 1200,
+   "accuracy": 0.9617,
+   "brier": 0.0538,
+   "nll": 0.0966,
+   "ece": 0.0221
+  },
+  "source/wiki2_tr/noul": {
+   "n": 1200,
+   "accuracy": 0.9617,
+   "brier": 0.0538,
+   "nll": 0.0966,
+   "ece": 0.0221
+  },
+  "type/noul": {
+   "n": 16243,
+   "accuracy": 0.8601,
+   "brier": 0.2038,
+   "nll": 0.3316,
+   "ece": 0.0234
+  },
+  "workflow/hotpot_tr/all_hops": {
+   "n": 500,
+   "accuracy": 0.616,
+   "brier": 0.5436,
+   "nll": 0.8223,
+   "ece": 0.2049
+  },
+  "workflow/hotpot_tr/distractors_only": {
+   "n": 500,
+   "accuracy": 0.952,
+   "brier": 0.0703,
+   "nll": 0.1353,
+   "ece": 0.0447
+  },
+  "workflow/hotpot_tr/missing_hop": {
+   "n": 500,
+   "accuracy": 0.85,
+   "brier": 0.2297,
+   "nll": 0.3936,
+   "ece": 0.0512
+  },
+  "workflow/musique_tr/all_hops": {
+   "n": 250,
+   "accuracy": 0.36,
+   "brier": 0.9114,
+   "nll": 1.371,
+   "ece": 0.4278
+  },
+  "workflow/musique_tr/missing_hop": {
+   "n": 250,
+   "accuracy": 0.908,
+   "brier": 0.1345,
+   "nll": 0.2311,
+   "ece": 0.0685
+  },
+  "workflow/squad_tr/answerability": {
+   "n": 11873,
+   "accuracy": 0.8617,
+   "brier": 0.2028,
+   "nll": 0.3322,
+   "ece": 0.0159
+  },
+  "workflow/synth_tr/synth_answerable": {
+   "n": 352,
+   "accuracy": 0.9972,
+   "brier": 0.0062,
+   "nll": 0.0253,
+   "ece": 0.0232
+  },
+  "workflow/synth_tr/synth_eksik_oznitelik": {
+   "n": 127,
+   "accuracy": 0.9134,
+   "brier": 0.1201,
+   "nll": 0.193,
+   "ece": 0.0363
+  },
+  "workflow/synth_tr/synth_kismi": {
+   "n": 232,
+   "accuracy": 0.8103,
+   "brier": 0.2776,
+   "nll": 0.4405,
+   "ece": 0.0786
+  },
+  "workflow/synth_tr/synth_kurum": {
+   "n": 113,
+   "accuracy": 0.7788,
+   "brier": 0.2835,
+   "nll": 0.4126,
+   "ece": 0.1197
+  },
+  "workflow/synth_tr/synth_k\u0131smi": {
+   "n": 2,
+   "accuracy": 1.0,
+   "brier": 0.0007,
+   "nll": 0.0162,
+   "ece": 0.0161
+  },
+  "workflow/synth_tr/synth_varlik": {
+   "n": 115,
+   "accuracy": 0.913,
+   "brier": 0.1032,
+   "nll": 0.168,
+   "ece": 0.0349
+  },
+  "workflow/synth_tr/synth_varl\u0131k": {
+   "n": 3,
+   "accuracy": 1.0,
+   "brier": 0.0195,
+   "nll": 0.0668,
+   "ece": 0.0613
+  },
+  "workflow/synth_tr/synth_yer_facet": {
+   "n": 113,
+   "accuracy": 0.9292,
+   "brier": 0.1065,
+   "nll": 0.1809,
+   "ece": 0.0365
+  },
+  "workflow/synth_tr/synth_zaman": {
+   "n": 113,
+   "accuracy": 0.9027,
+   "brier": 0.1455,
+   "nll": 0.2456,
+   "ece": 0.0386
+  },
+  "workflow/wiki2_tr/other_entity_same_attribute": {
+   "n": 600,
+   "accuracy": 0.9367,
+   "brier": 0.089,
+   "nll": 0.1505,
+   "ece": 0.0317
+  },
+  "workflow/wiki2_tr/same_entity": {
+   "n": 600,
+   "accuracy": 0.9867,
+   "brier": 0.0186,
+   "nll": 0.0426,
+   "ece": 0.0192
+  },
+  "hotpot_tr/answerability": {
+   "n": 1500,
+   "acc_answerable": 0.618,
+   "acc_unanswerable": 0.899,
+   "auroc": 0.8713
+  },
+  "hotpot_tr/all_hops/answerability": {
+   "n": 500,
+   "acc_answerable": 0.618,
+   "acc_unanswerable": null
+  },
+  "hotpot_tr/distractors_only/answerability": {
+   "n": 500,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.952
+  },
+  "hotpot_tr/missing_hop/answerability": {
+   "n": 500,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.846
+  },
+  "musique_tr/answerability": {
+   "n": 500,
+   "acc_answerable": 0.376,
+   "acc_unanswerable": 0.908,
+   "auroc": 0.7513
+  },
+  "musique_tr/all_hops/answerability": {
+   "n": 250,
+   "acc_answerable": 0.376,
+   "acc_unanswerable": null
+  },
+  "musique_tr/missing_hop/answerability": {
+   "n": 250,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.908
+  },
+  "squad_tr/answerability": {
+   "n": 11873,
+   "acc_answerable": 0.9374,
+   "acc_unanswerable": 0.7827,
+   "auroc": 0.9398
+  },
+  "squad_tr/answerability/answerability": {
+   "n": 11873,
+   "acc_answerable": 0.9374,
+   "acc_unanswerable": 0.7827,
+   "auroc": 0.9398
+  },
+  "synth_tr/answerability": {
+   "n": 1170,
+   "acc_answerable": 0.9972,
+   "acc_unanswerable": 0.8619,
+   "auroc": 0.996
+  },
+  "synth_tr/synth_answerable/answerability": {
+   "n": 352,
+   "acc_answerable": 0.9972,
+   "acc_unanswerable": null
+  },
+  "synth_tr/synth_eksik_oznitelik/answerability": {
+   "n": 127,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.9134
+  },
+  "synth_tr/synth_kismi/answerability": {
+   "n": 232,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.7974
+  },
+  "synth_tr/synth_kurum/answerability": {
+   "n": 113,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.7788
+  },
+  "synth_tr/synth_k\u0131smi/answerability": {
+   "n": 2,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "synth_tr/synth_varlik/answerability": {
+   "n": 115,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.913
+  },
+  "synth_tr/synth_varl\u0131k/answerability": {
+   "n": 3,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "synth_tr/synth_yer_facet/answerability": {
+   "n": 113,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.9292
+  },
+  "synth_tr/synth_zaman/answerability": {
+   "n": 113,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.8938
+  },
+  "wiki2_tr/answerability": {
+   "n": 1200,
+   "acc_answerable": 0.9867,
+   "acc_unanswerable": 0.935,
+   "auroc": 0.997
+  },
+  "wiki2_tr/other_entity_same_attribute/answerability": {
+   "n": 600,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.935
+  },
+  "wiki2_tr/same_entity/answerability": {
+   "n": 600,
+   "acc_answerable": 0.9867,
+   "acc_unanswerable": null
+  }
+ }
+}

training/answerability_lora.log

@@ -0,0 +1,136 @@
+05:11:09   hotpot_tr: 18,202 of 18,202 rows
+05:11:09   musique_tr: 6,068 of 6,068 rows
+05:11:09   replay_bev_tr: 4,000 of 4,000 rows
+05:11:09   replay_bev_tr_en: 3,000 of 3,000 rows
+05:11:09   squad_tr: 12,000 of 12,000 rows
+05:11:09   synth_tr: 21,548 of 21,548 rows
+05:11:09   wiki2_tr: 24,000 of 24,000 rows
+05:11:54 items train: 87,318 rows -> 106,021 prompt rows, 49,019,781 tokens
+05:11:55 items holdout: 1,500 rows -> 1,500 prompt rows, 772,790 tokens
+05:12:03 LoRA r=64: 121.9M trainable parameters
+[transformers] `use_cache=True` is incompatible with gradient checkpointing. Setting `use_cache=False`.
+05:19:07 train epoch=1 step=20 of=660 ce=0.1464 kl=0.0000 acc=0.956 lr=6.06e-05 tok_per_s=3774 eta_h=3.77
+05:25:25 train epoch=1 step=40 of=660 ce=0.2318 kl=0.0000 acc=0.906 lr=1.00e-04 tok_per_s=4000 eta_h=3.45
+05:31:38 train epoch=1 step=60 of=660 ce=0.0799 kl=0.0000 acc=0.984 lr=9.95e-05 tok_per_s=4065 eta_h=3.26
+05:37:58 train epoch=1 step=80 of=660 ce=0.1024 kl=0.2941 acc=0.960 lr=9.86e-05 tok_per_s=4094 eta_h=3.13
+05:42:16 checkpoint: step 94 / 660
+05:44:06 train epoch=1 step=100 of=660 ce=0.1029 kl=0.0000 acc=0.960 lr=9.72e-05 tok_per_s=4135 eta_h=2.99
+05:50:20 train epoch=1 step=120 of=660 ce=0.1264 kl=0.3063 acc=0.973 lr=9.53e-05 tok_per_s=4145 eta_h=2.87
+05:56:29 train epoch=1 step=140 of=660 ce=0.0482 kl=0.3015 acc=0.975 lr=9.30e-05 tok_per_s=4173 eta_h=2.75
+06:02:38 train epoch=1 step=160 of=660 ce=0.0612 kl=0.3076 acc=0.962 lr=9.02e-05 tok_per_s=4192 eta_h=2.63
+06:08:49 train epoch=1 step=180 of=660 ce=0.0780 kl=0.3077 acc=0.969 lr=8.70e-05 tok_per_s=4206 eta_h=2.52
+06:12:28 checkpoint: step 192 / 660
+06:14:55 train epoch=1 step=200 of=660 ce=0.0092 kl=0.2882 acc=1.000 lr=8.35e-05 tok_per_s=4219 eta_h=2.41
+06:21:05 train epoch=1 step=220 of=660 ce=0.0616 kl=0.0000 acc=0.971 lr=7.96e-05 tok_per_s=4229 eta_h=2.30
+06:27:14 train epoch=1 step=240 of=660 ce=0.0167 kl=0.2768 acc=1.000 lr=7.54e-05 tok_per_s=4235 eta_h=2.19
+06:33:19 train epoch=1 step=260 of=660 ce=0.0510 kl=0.2752 acc=0.987 lr=7.10e-05 tok_per_s=4241 eta_h=2.08
+06:39:26 train epoch=1 step=280 of=660 ce=0.0538 kl=0.0000 acc=0.976 lr=6.64e-05 tok_per_s=4250 eta_h=1.98
+06:42:30 checkpoint: step 290 / 660
+06:45:29 train epoch=1 step=300 of=660 ce=0.0165 kl=0.0000 acc=0.994 lr=6.15e-05 tok_per_s=4257 eta_h=1.87
+06:51:38 train epoch=1 step=320 of=660 ce=0.0986 kl=0.0000 acc=0.951 lr=5.66e-05 tok_per_s=4261 eta_h=1.76
+06:57:33 train epoch=1 step=340 of=660 ce=0.0847 kl=0.0000 acc=0.975 lr=5.16e-05 tok_per_s=4263 eta_h=1.65
+07:03:42 train epoch=1 step=360 of=660 ce=0.0057 kl=0.2554 acc=0.981 lr=4.66e-05 tok_per_s=4264 eta_h=1.55
+07:09:45 train epoch=1 step=380 of=660 ce=0.0736 kl=1.0762 acc=0.957 lr=4.16e-05 tok_per_s=4269 eta_h=1.45
+07:12:47 checkpoint: step 390 / 660
+07:15:44 train epoch=1 step=400 of=660 ce=0.0026 kl=0.2418 acc=1.000 lr=3.68e-05 tok_per_s=4272 eta_h=1.34
+07:21:55 train epoch=1 step=420 of=660 ce=0.0876 kl=0.2455 acc=0.985 lr=3.20e-05 tok_per_s=4273 eta_h=1.24
+07:28:02 train epoch=1 step=440 of=660 ce=0.0553 kl=0.4678 acc=0.990 lr=2.74e-05 tok_per_s=4274 eta_h=1.13
+07:34:11 train epoch=1 step=460 of=660 ce=0.0090 kl=0.3076 acc=0.963 lr=2.31e-05 tok_per_s=4276 eta_h=1.03
+07:40:18 train epoch=1 step=480 of=660 ce=0.0804 kl=0.0000 acc=0.981 lr=1.90e-05 tok_per_s=4278 eta_h=0.93
+07:42:49 checkpoint: step 488 / 660
+07:46:26 train epoch=1 step=500 of=660 ce=0.0376 kl=0.0000 acc=0.987 lr=1.52e-05 tok_per_s=4280 eta_h=0.82
+07:52:30 train epoch=1 step=520 of=660 ce=0.0204 kl=0.0000 acc=1.000 lr=1.18e-05 tok_per_s=4284 eta_h=0.72
+07:58:29 train epoch=1 step=540 of=660 ce=0.0495 kl=0.0000 acc=0.990 lr=8.77e-06 tok_per_s=4287 eta_h=0.62
+08:04:35 train epoch=1 step=560 of=660 ce=0.0728 kl=0.2521 acc=0.989 lr=6.15e-06 tok_per_s=4291 eta_h=0.51
+08:10:43 train epoch=1 step=580 of=660 ce=0.0332 kl=0.0000 acc=0.988 lr=3.96e-06 tok_per_s=4293 eta_h=0.41
+08:12:57 checkpoint: step 587 / 660
+08:16:58 train epoch=1 step=600 of=660 ce=0.0545 kl=0.2792 acc=0.978 lr=2.24e-06 tok_per_s=4293 eta_h=0.31
+08:23:00 train epoch=1 step=620 of=660 ce=0.0631 kl=0.6144 acc=0.965 lr=1.00e-06 tok_per_s=4292 eta_h=0.21
+08:29:10 train epoch=1 step=640 of=660 ce=0.0139 kl=0.4028 acc=0.994 lr=2.51e-07 tok_per_s=4292 eta_h=0.10
+08:35:16 train epoch=1 step=660 of=660 ce=0.0369 kl=0.0000 acc=0.987 lr=0.00e+00 tok_per_s=4294 eta_h=0.00
+08:36:11 validation epoch_end=1 val_rows=1500 val_slot_accuracy=0.9813 val_ce=0.0555
+08:36:11 checkpoint: step 660 / 660, training complete
+08:37:11 temperatures on 1,500 held-out answers: {'noul': 1.097} (pooled 1.097)
+08:37:11 exported: answerability_run/model (load with Decider('answerability_run/model'))
+decider-4b-v2.1-tr-lora-tr-lora on 16,243 rows (16,243 decisions)
+256 / 16,243 rows  8s  accuracy so far 0.871
+512 / 16,243 rows  16s  accuracy so far 0.879
+768 / 16,243 rows  24s  accuracy so far 0.872
+1,024 / 16,243 rows  32s  accuracy so far 0.883
+1,280 / 16,243 rows  40s  accuracy so far 0.885
+1,536 / 16,243 rows  48s  accuracy so far 0.889
+1,792 / 16,243 rows  56s  accuracy so far 0.884
+2,048 / 16,243 rows  64s  accuracy so far 0.882
+2,304 / 16,243 rows  72s  accuracy so far 0.884
+2,560 / 16,243 rows  80s  accuracy so far 0.881
+2,816 / 16,243 rows  88s  accuracy so far 0.881
+3,072 / 16,243 rows  95s  accuracy so far 0.882
+3,328 / 16,243 rows  103s  accuracy so far 0.884
+3,584 / 16,243 rows  111s  accuracy so far 0.884
+3,840 / 16,243 rows  119s  accuracy so far 0.885
+4,096 / 16,243 rows  127s  accuracy so far 0.885
+4,352 / 16,243 rows  135s  accuracy so far 0.887
+4,608 / 16,243 rows  143s  accuracy so far 0.888
+4,864 / 16,243 rows  151s  accuracy so far 0.889
+5,120 / 16,243 rows  159s  accuracy so far 0.890
+5,376 / 16,243 rows  167s  accuracy so far 0.889
+5,632 / 16,243 rows  174s  accuracy so far 0.889
+5,888 / 16,243 rows  182s  accuracy so far 0.891
+6,144 / 16,243 rows  190s  accuracy so far 0.891
+6,400 / 16,243 rows  197s  accuracy so far 0.891
+6,656 / 16,243 rows  205s  accuracy so far 0.890
+6,912 / 16,243 rows  213s  accuracy so far 0.891
+7,168 / 16,243 rows  221s  accuracy so far 0.892
+7,424 / 16,243 rows  229s  accuracy so far 0.891
+7,680 / 16,243 rows  237s  accuracy so far 0.891
+7,936 / 16,243 rows  244s  accuracy so far 0.890
+8,192 / 16,243 rows  253s  accuracy so far 0.890
+8,448 / 16,243 rows  260s  accuracy so far 0.889
+8,704 / 16,243 rows  268s  accuracy so far 0.889
+8,960 / 16,243 rows  276s  accuracy so far 0.890
+9,216 / 16,243 rows  284s  accuracy so far 0.891
+9,472 / 16,243 rows  292s  accuracy so far 0.891
+9,728 / 16,243 rows  300s  accuracy so far 0.892
+9,984 / 16,243 rows  307s  accuracy so far 0.892
+10,240 / 16,243 rows  316s  accuracy so far 0.892
+10,496 / 16,243 rows  324s  accuracy so far 0.892
+10,752 / 16,243 rows  332s  accuracy so far 0.892
+11,008 / 16,243 rows  339s  accuracy so far 0.891
+11,264 / 16,243 rows  347s  accuracy so far 0.892
+11,520 / 16,243 rows  355s  accuracy so far 0.892
+11,776 / 16,243 rows  363s  accuracy so far 0.892
+12,032 / 16,243 rows  371s  accuracy so far 0.892
+12,288 / 16,243 rows  379s  accuracy so far 0.892
+12,544 / 16,243 rows  386s  accuracy so far 0.892
+12,800 / 16,243 rows  394s  accuracy so far 0.892
+13,056 / 16,243 rows  403s  accuracy so far 0.892
+13,312 / 16,243 rows  411s  accuracy so far 0.893
+13,568 / 16,243 rows  418s  accuracy so far 0.893
+13,824 / 16,243 rows  426s  accuracy so far 0.893
+14,080 / 16,243 rows  434s  accuracy so far 0.893
+14,336 / 16,243 rows  441s  accuracy so far 0.893
+14,592 / 16,243 rows  449s  accuracy so far 0.894
+14,848 / 16,243 rows  458s  accuracy so far 0.894
+15,104 / 16,243 rows  466s  accuracy so far 0.893
+15,360 / 16,243 rows  474s  accuracy so far 0.893
+15,616 / 16,243 rows  482s  accuracy so far 0.893
+15,872 / 16,243 rows  490s  accuracy so far 0.893
+16,128 / 16,243 rows  498s  accuracy so far 0.893
+16,243 / 16,243 rows  502s  accuracy so far 0.893
+all {'n': 16243, 'accuracy': 0.8931, 'brier': 0.1653, 'nll': 0.2898, 'ece': 0.0426}
+source/hotpot_tr {'n': 1500, 'accuracy': 0.98, 'brier': 0.032, 'nll': 0.0605, 'ece': 0.0063}
+source/musique_tr {'n': 500, 'accuracy': 0.898, 'brier': 0.1518, 'nll': 0.2529, 'ece': 0.0296}
+source/squad_tr {'n': 11873, 'accuracy': 0.8614, 'brier': 0.2146, 'nll': 0.3759, 'ece': 0.0572}
+source/synth_tr {'n': 1170, 'accuracy': 0.9923, 'brier': 0.0113, 'nll': 0.023, 'ece': 0.0038}
+source/wiki2_tr {'n': 1200, 'accuracy': 1.0, 'brier': 0.0001, 'nll': 0.0006, 'ece': 0.0006}
+type/noul {'n': 16243, 'accuracy': 0.8931, 'brier': 0.1653, 'nll': 0.2898, 'ece': 0.0426}
+hotpot_tr/answerability {'n': 1500, 'acc_answerable': 0.97, 'acc_unanswerable': 0.984, 'auroc': 0.997}
+musique_tr/answerability {'n': 500, 'acc_answerable': 0.832, 'acc_unanswerable': 0.972, 'auroc': 0.9783}
+squad_tr/answerability {'n': 11873, 'acc_answerable': 0.9239, 'acc_unanswerable': 0.7978, 'auroc': 0.9346}
+synth_tr/answerability {'n': 1170, 'acc_answerable': 0.983, 'acc_unanswerable': 0.9963, 'auroc': 0.9996}
+wiki2_tr/answerability {'n': 1200, 'acc_answerable': 1.0, 'acc_unanswerable': 1.0, 'auroc': 1.0}
+skipped decisions: {}
+08:45:39 eval: accuracy 0.8931, ECE 0.0426 (answerability_run/eval_report.json)
+08:46:52 pushed: https://huggingface.co/hayriyigit/decider-4b-tr-rag (8fe5d78d3bb3)
+08:46:52 done
+EXIT 0

training/answerability_mix.log

@@ -0,0 +1,25 @@
+train: 88,818 rows
+  hotpot_tr              false    10,112
+  hotpot_tr              true      8,090
+  musique_tr             false     3,371
+  musique_tr             true      2,697
+  replay_bev_tr          replay    4,000
+  replay_bev_tr_en       replay    3,000
+  squad_tr               false     3,973
+  squad_tr               true      8,027
+  synth_tr               false    15,058
+  synth_tr               true      6,490
+  wiki2_tr               false    12,000
+  wiki2_tr               true     12,000
+test: 16,243 rows
+  hotpot_tr              false     1,000
+  hotpot_tr              true        500
+  musique_tr             false       250
+  musique_tr             true        250
+  squad_tr               false     5,945
+  squad_tr               true      5,928
+  synth_tr               false       818
+  synth_tr               true        352
+  wiki2_tr               false       600
+  wiki2_tr               true        600
+dropped: {'hotpot answerable dropped by judge': 1910, 'musique answerable dropped by judge': 2303, 'hotpot_tr negatives capped': 9888, 'musique_tr negatives capped': 1629}

training/decider_answerability.yaml

@@ -0,0 +1,43 @@
+# Second LoRA round: answerability for RAG (can this document answer this question?), on top of hayriyigit/decider-4b-tr.
+#   scripts/answerability_run.sh   (builds data/answerability_mix, scores the starting model, then this)
+workdir: ./answerability_run
+
+model:
+  repo: hayriyigit/decider-4b-tr                # private: HF_TOKEN in .env
+  revision: df9aacb9f4c9e4e64178176502f51ae4db271f26
+
+data:
+  train: data/answerability_mix/train-00000-of-00001.parquet   # scripts/build_answerability_mix.py
+  test: data/answerability_mix/test-00000-of-00001.parquet
+  rows:                                         # everything the mix holds; replay rows train toward the starting model
+    wiki2_tr: 24000                             # same attribute, other entity (the judge set's entity errors)
+    hotpot_tr: 30000                            # all hops / a missing hop / on-topic distractors only
+    musique_tr: 10000                           # all hops (judge-checked) / a missing hop
+    synth_tr: 30000                             # Turkish pairs: institution, entity, time, place/facet, attribute, partial
+    squad_tr: 12000
+    replay_bev_tr: 4000
+    replay_bev_tr_en: 3000
+  holdout_rows: 1500
+  max_state_tokens: 4096
+  seed: 0
+
+lora:
+  r: 64
+  alpha: 128
+
+train:
+  epochs: 1
+  lr: 1.0e-4
+  warmup: 0.05
+  tokens_per_step: 65536
+  micro_tokens: 16384
+
+checkpoint:
+  every_minutes: 30
+
+limits:
+  max_hours: 6
+  reserve_minutes: 20
+
+export:
+  push_to_hub: {repo: hayriyigit/decider-4b-tr-rag, private: true}

training/eval_report.json

@@ -0,0 +1,331 @@
+{
+ "model": "decider-4b-v2.1-tr-lora-tr-lora",
+ "path": "/workspace/laya/answerability_run/model",
+ "revision": "eb5fbdfc9448473ec25e399882912863afbdb70e",
+ "fp8_layers": 0,
+ "limit": 0,
+ "skipped": {},
+ "seconds": 502,
+ "report": {
+  "all": {
+   "n": 16243,
+   "accuracy": 0.8931,
+   "brier": 0.1653,
+   "nll": 0.2898,
+   "ece": 0.0426
+  },
+  "source/hotpot_tr": {
+   "n": 1500,
+   "accuracy": 0.98,
+   "brier": 0.032,
+   "nll": 0.0605,
+   "ece": 0.0063
+  },
+  "source/hotpot_tr/noul": {
+   "n": 1500,
+   "accuracy": 0.98,
+   "brier": 0.032,
+   "nll": 0.0605,
+   "ece": 0.0063
+  },
+  "source/musique_tr": {
+   "n": 500,
+   "accuracy": 0.898,
+   "brier": 0.1518,
+   "nll": 0.2529,
+   "ece": 0.0296
+  },
+  "source/musique_tr/noul": {
+   "n": 500,
+   "accuracy": 0.898,
+   "brier": 0.1518,
+   "nll": 0.2529,
+   "ece": 0.0296
+  },
+  "source/squad_tr": {
+   "n": 11873,
+   "accuracy": 0.8614,
+   "brier": 0.2146,
+   "nll": 0.3759,
+   "ece": 0.0572
+  },
+  "source/squad_tr/noul": {
+   "n": 11873,
+   "accuracy": 0.8614,
+   "brier": 0.2146,
+   "nll": 0.3759,
+   "ece": 0.0572
+  },
+  "source/synth_tr": {
+   "n": 1170,
+   "accuracy": 0.9923,
+   "brier": 0.0113,
+   "nll": 0.023,
+   "ece": 0.0038
+  },
+  "source/synth_tr/noul": {
+   "n": 1170,
+   "accuracy": 0.9923,
+   "brier": 0.0113,
+   "nll": 0.023,
+   "ece": 0.0038
+  },
+  "source/wiki2_tr": {
+   "n": 1200,
+   "accuracy": 1.0,
+   "brier": 0.0001,
+   "nll": 0.0006,
+   "ece": 0.0006
+  },
+  "source/wiki2_tr/noul": {
+   "n": 1200,
+   "accuracy": 1.0,
+   "brier": 0.0001,
+   "nll": 0.0006,
+   "ece": 0.0006
+  },
+  "type/noul": {
+   "n": 16243,
+   "accuracy": 0.8931,
+   "brier": 0.1653,
+   "nll": 0.2898,
+   "ece": 0.0426
+  },
+  "workflow/hotpot_tr/all_hops": {
+   "n": 500,
+   "accuracy": 0.97,
+   "brier": 0.0527,
+   "nll": 0.1011,
+   "ece": 0.0126
+  },
+  "workflow/hotpot_tr/distractors_only": {
+   "n": 500,
+   "accuracy": 0.996,
+   "brier": 0.0059,
+   "nll": 0.01,
+   "ece": 0.0065
+  },
+  "workflow/hotpot_tr/missing_hop": {
+   "n": 500,
+   "accuracy": 0.974,
+   "brier": 0.0374,
+   "nll": 0.0704,
+   "ece": 0.0127
+  },
+  "workflow/musique_tr/all_hops": {
+   "n": 250,
+   "accuracy": 0.824,
+   "brier": 0.2596,
+   "nll": 0.4257,
+   "ece": 0.0587
+  },
+  "workflow/musique_tr/missing_hop": {
+   "n": 250,
+   "accuracy": 0.972,
+   "brier": 0.044,
+   "nll": 0.0801,
+   "ece": 0.0199
+  },
+  "workflow/squad_tr/answerability": {
+   "n": 11873,
+   "accuracy": 0.8614,
+   "brier": 0.2146,
+   "nll": 0.3759,
+   "ece": 0.0572
+  },
+  "workflow/synth_tr/synth_answerable": {
+   "n": 352,
+   "accuracy": 0.983,
+   "brier": 0.0226,
+   "nll": 0.0439,
+   "ece": 0.0118
+  },
+  "workflow/synth_tr/synth_eksik_oznitelik": {
+   "n": 127,
+   "accuracy": 0.9921,
+   "brier": 0.0208,
+   "nll": 0.0531,
+   "ece": 0.014
+  },
+  "workflow/synth_tr/synth_kismi": {
+   "n": 232,
+   "accuracy": 0.9957,
+   "brier": 0.0055,
+   "nll": 0.0096,
+   "ece": 0.0073
+  },
+  "workflow/synth_tr/synth_kurum": {
+   "n": 113,
+   "accuracy": 1.0,
+   "brier": 0.0,
+   "nll": 0.0005,
+   "ece": 0.0005
+  },
+  "workflow/synth_tr/synth_kısmi": {
+   "n": 2,
+   "accuracy": 1.0,
+   "brier": 0.0,
+   "nll": 0.0001,
+   "ece": 0.0001
+  },
+  "workflow/synth_tr/synth_varlik": {
+   "n": 115,
+   "accuracy": 0.9913,
+   "brier": 0.0115,
+   "nll": 0.016,
+   "ece": 0.0056
+  },
+  "workflow/synth_tr/synth_varlık": {
+   "n": 3,
+   "accuracy": 1.0,
+   "brier": 0.0,
+   "nll": 0.0002,
+   "ece": 0.0002
+  },
+  "workflow/synth_tr/synth_yer_facet": {
+   "n": 113,
+   "accuracy": 1.0,
+   "brier": 0.0002,
+   "nll": 0.0025,
+   "ece": 0.0025
+  },
+  "workflow/synth_tr/synth_zaman": {
+   "n": 113,
+   "accuracy": 1.0,
+   "brier": 0.0001,
+   "nll": 0.0023,
+   "ece": 0.0023
+  },
+  "workflow/wiki2_tr/other_entity_same_attribute": {
+   "n": 600,
+   "accuracy": 1.0,
+   "brier": 0.0,
+   "nll": 0.0002,
+   "ece": 0.0002
+  },
+  "workflow/wiki2_tr/same_entity": {
+   "n": 600,
+   "accuracy": 1.0,
+   "brier": 0.0003,
+   "nll": 0.001,
+   "ece": 0.0009
+  },
+  "hotpot_tr/answerability": {
+   "n": 1500,
+   "acc_answerable": 0.97,
+   "acc_unanswerable": 0.984,
+   "auroc": 0.997
+  },
+  "hotpot_tr/all_hops/answerability": {
+   "n": 500,
+   "acc_answerable": 0.97,
+   "acc_unanswerable": null
+  },
+  "hotpot_tr/distractors_only/answerability": {
+   "n": 500,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.996
+  },
+  "hotpot_tr/missing_hop/answerability": {
+   "n": 500,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.972
+  },
+  "musique_tr/answerability": {
+   "n": 500,
+   "acc_answerable": 0.832,
+   "acc_unanswerable": 0.972,
+   "auroc": 0.9783
+  },
+  "musique_tr/all_hops/answerability": {
+   "n": 250,
+   "acc_answerable": 0.832,
+   "acc_unanswerable": null
+  },
+  "musique_tr/missing_hop/answerability": {
+   "n": 250,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.972
+  },
+  "squad_tr/answerability": {
+   "n": 11873,
+   "acc_answerable": 0.9239,
+   "acc_unanswerable": 0.7978,
+   "auroc": 0.9346
+  },
+  "squad_tr/answerability/answerability": {
+   "n": 11873,
+   "acc_answerable": 0.9239,
+   "acc_unanswerable": 0.7978,
+   "auroc": 0.9346
+  },
+  "synth_tr/answerability": {
+   "n": 1170,
+   "acc_answerable": 0.983,
+   "acc_unanswerable": 0.9963,
+   "auroc": 0.9996
+  },
+  "synth_tr/synth_answerable/answerability": {
+   "n": 352,
+   "acc_answerable": 0.983,
+   "acc_unanswerable": null
+  },
+  "synth_tr/synth_eksik_oznitelik/answerability": {
+   "n": 127,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.9921
+  },
+  "synth_tr/synth_kismi/answerability": {
+   "n": 232,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.9957
+  },
+  "synth_tr/synth_kurum/answerability": {
+   "n": 113,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "synth_tr/synth_kısmi/answerability": {
+   "n": 2,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "synth_tr/synth_varlik/answerability": {
+   "n": 115,
+   "acc_answerable": null,
+   "acc_unanswerable": 0.9913
+  },
+  "synth_tr/synth_varlık/answerability": {
+   "n": 3,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "synth_tr/synth_yer_facet/answerability": {
+   "n": 113,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "synth_tr/synth_zaman/answerability": {
+   "n": 113,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "wiki2_tr/answerability": {
+   "n": 1200,
+   "acc_answerable": 1.0,
+   "acc_unanswerable": 1.0,
+   "auroc": 1.0
+  },
+  "wiki2_tr/other_entity_same_attribute/answerability": {
+   "n": 600,
+   "acc_answerable": null,
+   "acc_unanswerable": 1.0
+  },
+  "wiki2_tr/same_entity/answerability": {
+   "n": 600,
+   "acc_answerable": 1.0,
+   "acc_unanswerable": null
+  }
+ },
+ "train_key": "dc5d693207f19271"
+}

training/meta.json

@@ -0,0 +1,21 @@
+{
+ "key": "8202ca60057ee74c",
+ "train": {
+  "rows": 87318,
+  "items": 106021,
+  "replay_items": 25703,
+  "tokens": 49019781,
+  "tokens_p50": 437,
+  "tokens_max": 4303,
+  "skipped": {}
+ },
+ "holdout": {
+  "rows": 1500,
+  "items": 1500,
+  "replay_items": 0,
+  "tokens": 772790,
+  "tokens_p50": 487,
+  "tokens_max": 2512,
+  "skipped": {}
+ }
+}

training/train_log.jsonl

@@ -0,0 +1 @@
+{"epoch_end": 1, "val_rows": 1500, "val_slot_accuracy": 0.9813, "val_ce": 0.0555}