File size: 14,774 Bytes
de8702b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
"""Shipping cases. See scripts/build_v02.py for the row format."""

D = "shipping"
RT = "shipping.request_type"
DS = "shipping.delivery_status"
WC = "shipping.wants_compensation"
URG, TGT = "common.urgency", "common.target_of_two"

CASES = [
    # (id, domain, task, category, phenomena, difficulty, group, position, state, expected)

    # ---------------- shipping.request_type (16) ----------------
    ("shp_001", D, RT, "correction", ["correction", "negation"], "hard", "shp_g01", "start",
     "Paketi Kadıköy şubenize bırakın, evim yerine oradan alacağım; demin teslimatı pazartesiye erteleyin yazmıştım, ona gerek kalmadı.",
     "redirect"),
    ("shp_002", D, RT, "correction", ["correction", "negation"], "hard", "shp_g01", "end",
     "Demin paketi Kadıköy şubenize yönlendirin yazmıştım ama vazgeçtim, şube bana çok uzak. Ev adresime gelsin, yalnız bugün değil pazartesi öğleden sonra getirin.",
     "reschedule"),
    ("shp_003", D, RT, "negation", ["ne_ne", "negation", "indirect_request"], "hard", "shp_g01", "middle",
     "Paketi ne şubeye yönlendirin ne de günü değiştirin; kuryenin bugün kaçta kapımda olacağını bilsem planımı ona göre yaparım, o kadar.",
     "track"),
    ("shp_004", D, RT, "implicit_intent", ["indirect_request"], "medium", "shp_g02", "end",
     "Gönderdiğim seramik vazo alıcıya üç parça hâlinde ulaşmış, fotoğrafları ekledim. Kargo ücretini de vazonun 1.800 TL'lik bedelini de sizin karşılamanızı bekliyorum.",
     "claim"),
    ("shp_005", D, RT, "negation", ["negation", "pragmatic"], "hard", "shp_g02", "middle",
     "Gönderdiğim seramik vazo alıcıya kırık ulaşmış ama sizden bir şey istemiyorum; paketlemeyi ben kötü yaptım, bir dahakine daha çok balonlu naylon kullanırım.",
     "none"),
    ("shp_006", D, RT, "distractor", ["lexical_distractor", "indirect_request"], "hard", "shp_g02", "start",
     "Kırılan vazonun yerine yenisini alıcıya ben yollayacağım, yarın sabah evden teslim alabilir misiniz? İlk vazo için tazminat başvurum zaten açık, onu bekliyorum.",
     "pickup"),
    ("shp_007", D, RT, "conditional", ["conditional", "fallback", "lexical_distractor"], "hard", None, "middle",
     "Yarın gün boyu evde olmayacağım. Mümkünse paketi bina girişindeki kuru temizlemeciye bırakın, olmuyorsa en yakın şubenize alın, oradan kendim alırım.",
     "redirect"),
    ("shp_008", D, RT, "conditional", ["conditional", "condition_resolved", "correction"], "hard", None, "end",
     "Paket bugün dağıtıma çıktıysa adresi değiştirmenize gerek yok, çıkmadıysa Ataşehir'deki iş yerime yollayın. Takipte 'dağıtımda' yazıyor; o zaman kurye bugün değil yarın akşam uğrasın, bugün evde kimse yok.",
     "reschedule"),
    ("shp_009", D, RT, "reported_speech", ["reported_speech", "negation"], "hard", None, "middle",
     "Komşum 'kargo firmaları kayıp paketin parasını ödemez, boşuna uğraşma' dedi ama ben 2.400 TL'lik kulaklığımın bedelini sizden istiyorum; paket on gündür ortada yok.",
     "claim"),
    ("shp_010", D, RT, "temporal_reasoning", ["past_vs_present", "lexical_distractor"], "medium", None, "end",
     "Geçen hafta teslim gününü perşembeye almıştım, perşembe de geçti ve kimse gelmedi. Şimdi bilmek istediğim, paketin hangi depoda beklediği ve bana kaç gün sonra ulaşacağı.",
     "track"),
    ("shp_011", D, RT, "correction", ["correction", "changed_plan"], "medium", None, "end",
     "Yarın sabah koliyi almaya kurye gelsin demiştim. Kardeşim dün şubeye götürüp kendisi göndermiş, o talebe artık gerek yok.",
     "none"),
    ("shp_012", D, RT, "numeric_date", ["date_compare", "correction"], "hard", None, "end",
     "Teslimatı 12 Nisan'a ertelemiştim ama sistemde hâlâ 10 Nisan yazıyor; bugün de ayın 10'u ve ben akşama kadar şehir dışındayım. Kaydı düzeltip paketi söylediğim gün getirin lütfen.",
     "reschedule"),
    ("shp_013", D, RT, "implicit_intent", ["indirect_request"], "medium", None, "middle",
     "Evim bu hafta tadilatta, kapıda kimseyi bulamazsınız; paket annemin Bakırköy'deki evine giderse ben oradan alırım, açık adresi aşağıya yazıyorum.",
     "redirect"),
    ("shp_014", D, RT, "noisy_turkish", ["ascii", "colloquial"], "easy", None, "start",
     "slm yarin sabah evden 2 koli alcak birini yollayabilir misiniz ankaraya gondericem adresim sistemde kayitli",
     "pickup"),
    ("shp_015", D, RT, "noisy_turkish", ["ascii", "colloquial", "typo"], "medium", None, "middle",
     "paket acilmis icinden telefon cikmadi bos kutu geldi, parasini odeyecek misiniz yoksa tuketici hakemine mi gideyim 3 haftadir oyaliyonuz",
     "claim"),
    ("shp_016", D, RT, "distractor", ["lexical_distractor", "negation", "scope_sadece"], "hard", None, "start",
     "Paketin şu an hangi şehirde olduğunu soracaktım sadece; adresi değiştirmeyeceğim, teslim günü de uygun, bir hasar olursa ayrıca yazarım.",
     "track"),

    # ---------------- shipping.delivery_status (10) ----------------
    ("shp_017", D, DS, "reported_speech", ["reported_speech", "correction"], "hard", "shp_g03", "end",
     "Sistem 'teslim edildi' diyordu, ben de bulamayınca paketi kayıp sandım. Kapıcımız paketi kendisinin alıp bana vermeyi unuttuğunu söyledi, şu an masamın üstünde duruyor.",
     "delivered"),
    ("shp_018", D, DS, "reported_speech", ["reported_speech", "lexical_distractor"], "hard", "shp_g03", "middle",
     "Sistem 'teslim edildi' diyor ama kapıcımız o gün kuryenin zili çalıp kimseyi bulamayınca paketi geri götürdüğünü söyledi; paket hâlâ bende değil.",
     "attempt_failed"),
    ("shp_019", D, DS, "distractor", ["lexical_distractor", "reported_speech"], "hard", "shp_g03", "end",
     "Sistem on gün önce 'teslim edildi' dedi ama kapıcı paketi hiç görmediğini söylüyor, kurye de hatırlamıyor. Şubeniz de kayıtlarında paketin izine rastlayamadı.",
     "lost"),
    ("shp_020", D, DS, "numeric_date", ["date_compare"], "medium", "shp_g04", "start",
     "Paket dün akşam Ankara transfer merkezinde okutulmuş, tahmini varış yarın görünüyor. Bugün 8 Kasım, yani bir aksilik yok gibi.",
     "in_transit"),
    ("shp_021", D, DS, "numeric_date", ["date_compare", "duration"], "hard", "shp_g04", "middle",
     "Paket 7 Kasım'da Ankara transfer merkezinde okutulmuş, bugün 28 Kasım ve o günden beri tek bir hareket yok; çağrı merkeziniz de başka bir kayda ulaşamadı.",
     "lost"),
    ("shp_022", D, DS, "temporal_reasoning", ["past_vs_present", "lexical_distractor"], "medium", None, "start",
     "Bu ikinci koli şu an İzmir'deki depoda duruyor, daha dağıtıma çıkmadı. Geçen ay yolladığınız ilk koli ise adreste kimse olmadığı için geri dönmüştü.",
     "in_transit"),
    ("shp_023", D, DS, "temporal_reasoning", ["past_vs_present", "sequence"], "medium", None, "middle",
     "Paket üç gün Kocaeli'de bekledikten sonra bu sabah dağıtıma çıktı; kurye öğlen gelmiş, zili duymamışız, kapıya not bırakıp gitmiş. Yarın tekrar uğrayacakmış.",
     "attempt_failed"),
    ("shp_024", D, DS, "correction", ["correction"], "medium", None, "start",
     "Kusura bakmayın, paket elime ulaştı; dün 'hâlâ gelmedi' diye yazmıştım ama eşim öğlen kapıda alıp çekmeceye koymuş.",
     "delivered"),
    ("shp_025", D, DS, "conditional", ["counterfactual", "-sAydI"], "hard", None, "start",
     "Takipte hâlâ 'transfer merkezinden çıktı' yazıyor. Kurye gelip beni bulamasaydı kapıya not bırakırdı, öyle bir not da yok.",
     "in_transit"),
    ("shp_026", D, DS, "implicit_intent", ["implicature"], "medium", None, "start",
     "Kutuyu açtım, kazağın rengi fotoğraftakinden biraz farklı ama sorun değil; sadece faturanın kutudan çıkmadığını söylemek istedim.",
     "delivered"),

    # ---------------- shipping.wants_compensation (8) ----------------
    ("shp_027", D, WC, "reported_speech", ["reported_speech", "negation"], "hard", "shp_g05", "middle",
     "Şubedeki görevli 'hasar tutanağı açalım, kupanın bedelini öderiz' dedi, ben istemedim; kırılan kupa zaten eski ve ucuzdu. Sadece paketlerken biraz daha özen gösterin.",
     "no_compensation"),
    ("shp_028", D, WC, "reported_speech", ["reported_speech", "negation"], "hard", "shp_g05", "middle",
     "Şubedeki görevli 'kupa zaten ucuzmuş, tutanağa gerek yok' dedi; ben ise kırılan kupanın değerini ödemenizi istiyorum, annemden kalmaydı ve kutuyu siz ezdiniz.",
     "compensation"),
    ("shp_029", D, WC, "negation", ["-mAdAn", "negation", "reported_speech"], "hard", "shp_g05", "start",
     "Kupanın parasını almadan bu işi kapatmam; görevli tutanağa gerek yok dese de kırılan parça benim için değerliydi.",
     "compensation"),
    ("shp_030", D, WC, "conditional", ["counterfactual", "-sAydI"], "hard", "shp_g06", "end",
     "Laptop çantasının köşesi ezik geldi. İçindeki bilgisayar çalışmasaydı tazminat isterdim ama açıp denedim, sorunsuz çalışıyor; kayıt olsun diye yazıyorum.",
     "no_compensation"),
    ("shp_031", D, WC, "implicit_intent", ["indirect_request", "presupposition"], "hard", "shp_g06", "start",
     "Servisin faturasını size yolluyorum, 6.500 TL'lik onarımı karşılayacağınızı varsayıyorum; laptop çantasının köşesi ezik geldi, ekran da çatlamış.",
     "compensation"),
    ("shp_032", D, WC, "temporal_reasoning", ["past_vs_present", "lexical_distractor"], "medium", None, "end",
     "Geçen ay kaybolan kolim için tazminat başvurusu yapmıştım. Dün koli bulunup sağlam şekilde elime ulaştı, başvuruyu kapatabilirsiniz.",
     "no_compensation"),
    ("shp_033", D, WC, "correction", ["correction"], "medium", None, "start",
     "Çerçeveciye verdiğim 900 TL'yi sizden istiyorum; önceki mesajımda 'önemli değil' demiştim ama paketi tamamen açınca iki tablonun da camının kırıldığını gördüm.",
     "compensation"),
    ("shp_034", D, WC, "negation", ["negation", "lexical_distractor"], "medium", None, "middle",
     "Paketin iki gün geç gelmesi canımı sıktı, para falan istemiyorum ama bu gecikmenin kayda geçmesi benim için önemli.",
     "no_compensation"),

    # ---------------- common.urgency (5) ----------------
    ("shp_035", D, URG, "numeric_date", ["date_compare", "deadline"], "hard", "shp_g07", "middle",
     "Bugün 3 Haziran. Vize evraklarım 4 Haziran sabahı konsoloslukta olmalı, paket ise hâlâ Ankara'da görünüyor.",
     "high"),
    ("shp_036", D, URG, "temporal_reasoning", ["past_vs_present", "deadline"], "hard", "shp_g07", "middle",
     "Bugün 3 Haziran. Vize evraklarım 4 Haziran'da konsoloslukta olacaktı ama randevumu temmuz sonuna aldılar; paket Ankara'da beklese de şimdilik dert değil.",
     "low"),
    ("shp_037", D, URG, "conditional", ["conditional", "fallback"], "hard", "shp_g07", "end",
     "Bugün 3 Haziran. Vize evraklarımın bu hafta gelmesini isterim; gelmezse randevumu kolayca ileri bir güne alabiliyorum, yani bir kaybım olmaz.",
     "medium"),
    ("shp_038", D, URG, "noisy_turkish", ["ascii", "colloquial", "deadline"], "medium", None, "middle",
     "abi kargoda insulin var sogutucu kutuda, aksama kadar gelmezse bozulur annem kullanamaz",
     "high"),
    ("shp_039", D, URG, "distractor", ["lexical_distractor", "correction"], "medium", None, "end",
     "Gönderiyi acil diye işaretlemişim ama yanlışlıkla oldu. Kitaplar gelecek ay taşınacağım yeni eve gidecek, iki üç hafta gecikse bile fark etmez.",
     "low"),

    # ---------------- common.target_of_two (5) ----------------
    ("shp_040", D, TGT, "coreference_scope", ["descriptive_reference", "negation"], "hard", "shp_g08", "na",
     "Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. Zarfa dokunmayın, acelesi var; annemin yolladığını cumartesiye erteleyin.",
     "first_item"),
    ("shp_041", D, TGT, "coreference_scope", ["descriptive_reference"], "medium", "shp_g08", "na",
     "Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. Koli gelsin, evdeyim; ötekinin alıcısı pazartesiye kadar ofiste yokmuş, onu pazartesi teslim edin.",
     "second_item"),
    ("shp_042", D, TGT, "coreference_scope", ["quantifier", "negation", "lexical_distractor"], "hard", "shp_g08", "na",
     "Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. Cuma günü ne ben evdeyim ne de Ankara'daki alıcım; hiçbiri cuma teslim edilmesin, pazartesiye alın.",
     "both"),
    ("shp_043", D, TGT, "coreference_scope", ["quantifier", "changed_plan"], "hard", "shp_g08", "na",
     "Bu hafta iki gönderim var: annemin Bursa'dan yolladığı koli ve Ankara'ya gönderdiğim evrak zarfı. İkisinin de teslim gününü değiştirtecektim ama programım boşaldı; oldukları gibi kalsınlar.",
     "neither"),
    ("shp_044", D, TGT, "noisy_turkish", ["ascii", "colloquial", "scope_de"], "medium", None, "na",
     "iki paketim var biri ayakkabi biri telefon kilifi. kilifi bekleyebilirim de ayakkabiyi yarina alin bugun evde yokum",
     "first_item"),

    # ---------------- ambiguous (unscored) ----------------
    ("shp_a01", D, RT, "ambiguous", ["ambiguous", "multi_intent"], "hard", None, "na",
     "Kurye yarın gelmesin, evde olmayacağım; paketi ya salı getirin ya da iş yerime bırakın, hangisi kolayınıza gelirse.",
     ["reschedule", "redirect"]),
    ("shp_a02", D, RT, "ambiguous", ["ambiguous", "multi_intent"], "hard", None, "na",
     "Paketin içinden kırık bir tabak çıktı; kurye gelip kutuyu geri alsın, uğradığım kaybı da karşılayın.",
     ["claim", "pickup"]),
    ("shp_a03", D, DS, "ambiguous", ["ambiguous"], "hard", None, "na",
     "Kurye 'paketi komşunuza bıraktım' dedi, komşu da tatilde; paketi henüz göremedim.",
     ["delivered", "attempt_failed"]),
    ("shp_a04", D, DS, "ambiguous", ["ambiguous"], "hard", None, "na",
     "Takipte beş gündür 'transfer merkezinde' yazıyor, çağrı merkezi de net bir şey söyleyemiyor.",
     ["in_transit", "lost"]),
    ("shp_a05", D, URG, "ambiguous", ["ambiguous", "deadline"], "hard", None, "na",
     "Bugün perşembe. Hediyeyi doğum günü partisinde vereceğim, parti cumartesi mi pazar mı henüz belli değil.",
     ["medium", "high"]),
    ("shp_a06", D, TGT, "ambiguous", ["ambiguous", "descriptive_reference"], "hard", None, "na",
     "Annemin gönderdiği koliyle kardeşimin gönderdiği zarf yolda; ailemden gelen paketi pazartesiye erteleyin.",
     ["first_item", "both"]),
]