muratcanlaloglu
Publish the v0.2 leadboard.
de8702b
Raw History Blame Contribute Delete
14.8 kB
"""Shipping cases. See scripts/build_v02.py for the row format."""
D = "shipping"
RT = "shipping.request_type"
DS = "shipping.delivery_status"
WC = "shipping.wants_compensation"
URG, TGT = "common.urgency", "common.target_of_two"
CASES = [
# (id, domain, task, category, phenomena, difficulty, group, position, state, expected)
# ---------------- shipping.request_type (16) ----------------
("shp_001", D, RT, "correction", ["correction", "negation"], "hard", "shp_g01", "start",
"Paketi Kadıköy şubenize bırakın, evim yerine oradan alacağım; demin teslimatı pazartesiye erteleyin yazmıştım, ona gerek kalmadı.",
"redirect"),
("shp_002", D, RT, "correction", ["correction", "negation"], "hard", "shp_g01", "end",
"Demin paketi Kadıköy şubenize yönlendirin yazmıştım ama vazgeçtim, şube bana çok uzak. Ev adresime gelsin, yalnız bugün değil pazartesi öğleden sonra getirin.",
"reschedule"),
("shp_003", D, RT, "negation", ["ne_ne", "negation", "indirect_request"], "hard", "shp_g01", "middle",
"Paketi ne şubeye yönlendirin ne de günü değiştirin; kuryenin bugün kaçta kapımda olacağını bilsem planımı ona göre yaparım, o kadar.",
"track"),
("shp_004", D, RT, "implicit_intent", ["indirect_request"], "medium", "shp_g02", "end",
"Gönderdiğim seramik vazo alıcıya üç parça hâlinde ulaşmış, fotoğrafları ekledim. Kargo ücretini de vazonun 1.800 TL'lik bedelini de sizin karşılamanızı bekliyorum.",
"claim"),
("shp_005", D, RT, "negation", ["negation", "pragmatic"], "hard", "shp_g02", "middle",
"Gönderdiğim seramik vazo alıcıya kırık ulaşmış ama sizden bir şey istemiyorum; paketlemeyi ben kötü yaptım, bir dahakine daha çok balonlu naylon kullanırım.",
"none"),
("shp_006", D, RT, "distractor", ["lexical_distractor", "indirect_request"], "hard", "shp_g02", "start",
"Kırılan vazonun yerine yenisini alıcıya ben yollayacağım, yarın sabah evden teslim alabilir misiniz? İlk vazo için tazminat başvurum zaten açık, onu bekliyorum.",
"pickup"),
("shp_007", D, RT, "conditional", ["conditional", "fallback", "lexical_distractor"], "hard", None, "middle",
"Yarın gün boyu evde olmayacağım. Mümkünse paketi bina girişindeki kuru temizlemeciye bırakın, olmuyorsa en yakın şubenize alın, oradan kendim alırım.",
"redirect"),
("shp_008", D, RT, "conditional", ["conditional", "condition_resolved", "correction"], "hard", None, "end",
"Paket bugün dağıtıma çıktıysa adresi değiştirmenize gerek yok, çıkmadıysa Ataşehir'deki iş yerime yollayın. Takipte 'dağıtımda' yazıyor; o zaman kurye bugün değil yarın akşam uğrasın, bugün evde kimse yok.",
"reschedule"),
("shp_009", D, RT, "reported_speech", ["reported_speech", "negation"], "hard", None, "middle",
"Komşum 'kargo firmaları kayıp paketin parasını ödemez, boşuna uğraşma' dedi ama ben 2.400 TL'lik kulaklığımın bedelini sizden istiyorum; paket on gündür ortada yok.",
"claim"),
("shp_010", D, RT, "temporal_reasoning", ["past_vs_present", "lexical_distractor"], "medium", None, "end",
"Geçen hafta teslim gününü perşembeye almıştım, perşembe de geçti ve kimse gelmedi. Şimdi bilmek istediğim, paketin hangi depoda beklediği ve bana kaç gün sonra ulaşacağı.",
"track"),
("shp_011", D, RT, "correction", ["correction", "changed_plan"], "medium", None, "end",
"Yarın sabah koliyi almaya kurye gelsin demiştim. Kardeşim dün şubeye götürüp kendisi göndermiş, o talebe artık gerek yok.",
"none"),
("shp_012", D, RT, "numeric_date", ["date_compare", "correction"], "hard", None, "end",
"Teslimatı 12 Nisan'a ertelemiştim ama sistemde hâlâ 10 Nisan yazıyor; bugün de ayın 10'u ve ben akşama kadar şehir dışındayım. Kaydı düzeltip paketi söylediğim gün getirin lütfen.",
"reschedule"),
("shp_013", D, RT, "implicit_intent", ["indirect_request"], "medium", None, "middle",
"Evim bu hafta tadilatta, kapıda kimseyi bulamazsınız; paket annemin Bakırköy'deki evine giderse ben oradan alırım, açık adresi aşağıya yazıyorum.",
"redirect"),
("shp_014", D, RT, "noisy_turkish", ["ascii", "colloquial"], "easy", None, "start",
"slm yarin sabah evden 2 koli alcak birini yollayabilir misiniz ankaraya gondericem adresim sistemde kayitli",
"pickup"),
("shp_015", D, RT, "noisy_turkish", ["ascii", "colloquial", "typo"], "medium", None, "middle",
"paket acilmis icinden telefon cikmadi bos kutu geldi, parasini odeyecek misiniz yoksa tuketici hakemine mi gideyim 3 haftadir oyaliyonuz",
"claim"),
("shp_016", D, RT, "distractor", ["lexical_distractor", "negation", "scope_sadece"], "hard", None, "start",
"Paketin şu an hangi şehirde olduğunu soracaktım sadece; adresi değiştirmeyeceğim, teslim günü de uygun, bir hasar olursa ayrıca yazarım.",
"track"),
# ---------------- shipping.delivery_status (10) ----------------
("shp_017", D, DS, "reported_speech", ["reported_speech", "correction"], "hard", "shp_g03", "end",
"Sistem 'teslim edildi' diyordu, ben de bulamayınca paketi kayıp sandım. Kapıcımız paketi kendisinin alıp bana vermeyi unuttuğunu söyledi, şu an masamın üstünde duruyor.",
"delivered"),
("shp_018", D, DS, "reported_speech", ["reported_speech", "lexical_distractor"], "hard", "shp_g03", "middle",
"Sistem 'teslim edildi' diyor ama kapıcımız o gün kuryenin zili çalıp kimseyi bulamayınca paketi geri götürdüğünü söyledi; paket hâlâ bende değil.",
"attempt_failed"),
("shp_019", D, DS, "distractor", ["lexical_distractor", "reported_speech"], "hard", "shp_g03", "end",
"Sistem on gün önce 'teslim edildi' dedi ama kapıcı paketi hiç görmediğini söylüyor, kurye de hatırlamıyor. Şubeniz de kayıtlarında paketin izine rastlayamadı.",
"lost"),
("shp_020", D, DS, "numeric_date", ["date_compare"], "medium", "shp_g04", "start",
"Paket dün akşam Ankara transfer merkezinde okutulmuş, tahmini varış yarın görünüyor. Bugün 8 Kasım, yani bir aksilik yok gibi.",
"in_transit"),
("shp_021", D, DS, "numeric_date", ["date_compare", "duration"], "hard", "shp_g04", "middle",
"Paket 7 Kasım'da Ankara transfer merkezinde okutulmuş, bugün 28 Kasım ve o günden beri tek bir hareket yok; çağrı merkeziniz de başka bir kayda ulaşamadı.",
"lost"),
("shp_022", D, DS, "temporal_reasoning", ["past_vs_present", "lexical_distractor"], "medium", None, "start",
"Bu ikinci koli şu an İzmir'deki depoda duruyor, daha dağıtıma çıkmadı. Geçen ay yolladığınız ilk koli ise adreste kimse olmadığı için geri dönmüştü.",
"in_transit"),
("shp_023", D, DS, "temporal_reasoning", ["past_vs_present", "sequence"], "medium", None, "middle",
"Paket üç gün Kocaeli'de bekledikten sonra bu sabah dağıtıma çıktı; kurye öğlen gelmiş, zili duymamışız, kapıya not bırakıp gitmiş. Yarın tekrar uğrayacakmış.",
"attempt_failed"),
("shp_024", D, DS, "correction", ["correction"], "medium", None, "start",
"Kusura bakmayın, paket elime ulaştı; dün 'hâlâ gelmedi' diye yazmıştım ama eşim öğlen kapıda alıp çekmeceye koymuş.",
"delivered"),
("shp_025", D, DS, "conditional", ["counterfactual", "-sAydI"], "hard", None, "start",
"Takipte hâlâ 'transfer merkezinden çıktı' yazıyor. Kurye gelip beni bulamasaydı kapıya not bırakırdı, öyle bir not da yok.",
"in_transit"),
("shp_026", D, DS, "implicit_intent", ["implicature"], "medium", None, "start",
"Kutuyu açtım, kazağın rengi fotoğraftakinden biraz farklı ama sorun değil; sadece faturanın kutudan çıkmadığını söylemek istedim.",
"delivered"),
# ---------------- shipping.wants_compensation (8) ----------------
("shp_027", D, WC, "reported_speech", ["reported_speech", "negation"], "hard", "shp_g05", "middle",
"Şubedeki görevli 'hasar tutanağı açalım, kupanın bedelini öderiz' dedi, ben istemedim; kırılan kupa zaten eski ve ucuzdu. Sadece paketlerken biraz daha özen gösterin.",
"no_compensation"),
("shp_028", D, WC, "reported_speech", ["reported_speech", "negation"], "hard", "shp_g05", "middle",
"Şubedeki görevli 'kupa zaten ucuzmuş, tutanağa gerek yok' dedi; ben ise kırılan kupanın değerini ödemenizi istiyorum, annemden kalmaydı ve kutuyu siz ezdiniz.",
"compensation"),
("shp_029", D, WC, "negation", ["-mAdAn", "negation", "reported_speech"], "hard", "shp_g05", "start",
"Kupanın parasını almadan bu işi kapatmam; görevli tutanağa gerek yok dese de kırılan parça benim için değerliydi.",
"compensation"),
("shp_030", D, WC, "conditional", ["counterfactual", "-sAydI"], "hard", "shp_g06", "end",
"Laptop çantasının köşesi ezik geldi. İçindeki bilgisayar çalışmasaydı tazminat isterdim ama açıp denedim, sorunsuz çalışıyor; kayıt olsun diye yazıyorum.",
"no_compensation"),
("shp_031", D, WC, "implicit_intent", ["indirect_request", "presupposition"], "hard", "shp_g06", "start",
"Servisin faturasını size yolluyorum, 6.500 TL'lik onarımı karşılayacağınızı varsayıyorum; laptop çantasının köşesi ezik geldi, ekran da çatlamış.",
"compensation"),
("shp_032", D, WC, "temporal_reasoning", ["past_vs_present", "lexical_distractor"], "medium", None, "end",
"Geçen ay kaybolan kolim için tazminat başvurusu yapmıştım. Dün koli bulunup sağlam şekilde elime ulaştı, başvuruyu kapatabilirsiniz.",
"no_compensation"),
("shp_033", D, WC, "correction", ["correction"], "medium", None, "start",
"Çerçeveciye verdiğim 900 TL'yi sizden istiyorum; önceki mesajımda 'önemli değil' demiştim ama paketi tamamen açınca iki tablonun da camının kırıldığını gördüm.",
"compensation"),
("shp_034", D, WC, "negation", ["negation", "lexical_distractor"], "medium", None, "middle",
"Paketin iki gün geç gelmesi canımı sıktı, para falan istemiyorum ama bu gecikmenin kayda geçmesi benim için önemli.",
"no_compensation"),
# ---------------- common.urgency (5) ----------------
("shp_035", D, URG, "numeric_date", ["date_compare", "deadline"], "hard", "shp_g07", "middle",
"Bugün 3 Haziran. Vize evraklarım 4 Haziran sabahı konsoloslukta olmalı, paket ise hâlâ Ankara'da görünüyor.",
"high"),
("shp_036", D, URG, "temporal_reasoning", ["past_vs_present", "deadline"], "hard", "shp_g07", "middle",
"Bugün 3 Haziran. Vize evraklarım 4 Haziran'da konsoloslukta olacaktı ama randevumu temmuz sonuna aldılar; paket Ankara'da beklese de şimdilik dert değil.",
"low"),
("shp_037", D, URG, "conditional", ["conditional", "fallback"], "hard", "shp_g07", "end",
"Bugün 3 Haziran. Vize evraklarımın bu hafta gelmesini isterim; gelmezse randevumu kolayca ileri bir güne alabiliyorum, yani bir kaybım olmaz.",
"medium"),
("shp_038", D, URG, "noisy_turkish", ["ascii", "colloquial", "deadline"], "medium", None, "middle",
"abi kargoda insulin var sogutucu kutuda, aksama kadar gelmezse bozulur annem kullanamaz",
"high"),
("shp_039", D, URG, "distractor", ["lexical_distractor", "correction"], "medium", None, "end",
"Gönderiyi acil diye işaretlemişim ama yanlışlıkla oldu. Kitaplar gelecek ay taşınacağım yeni eve gidecek, iki üç hafta gecikse bile fark etmez.",
"low"),
# ---------------- common.target_of_two (5) ----------------
("shp_040", D, TGT, "coreference_scope", ["descriptive_reference", "negation"], "hard", "shp_g08", "na",
"Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. Zarfa dokunmayın, acelesi var; annemin yolladığını cumartesiye erteleyin.",
"first_item"),
("shp_041", D, TGT, "coreference_scope", ["descriptive_reference"], "medium", "shp_g08", "na",
"Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. Koli gelsin, evdeyim; ötekinin alıcısı pazartesiye kadar ofiste yokmuş, onu pazartesi teslim edin.",
"second_item"),
("shp_042", D, TGT, "coreference_scope", ["quantifier", "negation", "lexical_distractor"], "hard", "shp_g08", "na",
"Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. Cuma günü ne ben evdeyim ne de Ankara'daki alıcım; hiçbiri cuma teslim edilmesin, pazartesiye alın.",
"both"),
("shp_043", D, TGT, "coreference_scope", ["quantifier", "changed_plan"], "hard", "shp_g08", "na",
"Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. İkisinin de teslim gününü değiştirtecektim ama programım boşaldı; oldukları gibi kalsınlar.",
"neither"),
("shp_044", D, TGT, "noisy_turkish", ["ascii", "colloquial", "scope_de"], "medium", None, "na",
"iki paketim var biri ayakkabi biri telefon kilifi. kilifi bekleyebilirim de ayakkabiyi yarina alin bugun evde yokum",
"first_item"),
# ---------------- ambiguous (unscored) ----------------
("shp_a01", D, RT, "ambiguous", ["ambiguous", "multi_intent"], "hard", None, "na",
"Kurye yarın gelmesin, evde olmayacağım; paketi ya salı getirin ya da iş yerime bırakın, hangisi kolayınıza gelirse.",
["reschedule", "redirect"]),
("shp_a02", D, RT, "ambiguous", ["ambiguous", "multi_intent"], "hard", None, "na",
"Paketin içinden kırık bir tabak çıktı; kurye gelip kutuyu geri alsın, uğradığım kaybı da karşılayın.",
["claim", "pickup"]),
("shp_a03", D, DS, "ambiguous", ["ambiguous"], "hard", None, "na",
"Kurye 'paketi komşunuza bıraktım' dedi, komşu da tatilde; paketi henüz göremedim.",
["delivered", "attempt_failed"]),
("shp_a04", D, DS, "ambiguous", ["ambiguous"], "hard", None, "na",
"Takipte beş gündür 'transfer merkezinde' yazıyor, çağrı merkezi de net bir şey söyleyemiyor.",
["in_transit", "lost"]),
("shp_a05", D, URG, "ambiguous", ["ambiguous", "deadline"], "hard", None, "na",
"Bugün perşembe. Hediyeyi doğum günü partisinde vereceğim, parti cumartesi mi pazar mı henüz belli değil.",
["medium", "high"]),
("shp_a06", D, TGT, "ambiguous", ["ambiguous", "descriptive_reference"], "hard", None, "na",
"Annemin gönderdiği koliyle kardeşimin gönderdiği zarf yolda; ailemden gelen paketi pazartesiye erteleyin.",
["first_item", "both"]),
]