| { |
| "add_prefix_space": false, |
| "additional_special_token": [ |
| "[unused0]", |
| "[unused1]", |
| "[unused2]", |
| "[unused3]", |
| "[unused4]", |
| "[unused5]", |
| "[unused6]", |
| "[unused7]", |
| "[unused8]", |
| "[unused9]", |
| "[unused10]", |
| "[unused11]", |
| "[unused12]", |
| "[unused13]", |
| "[unused14]", |
| "[unused15]", |
| "[unused16]", |
| "[unused17]", |
| "[unused18]", |
| "[unused19]", |
| "[unused20]", |
| "[unused21]", |
| "[unused22]", |
| "[unused23]", |
| "[unused24]", |
| "[unused25]", |
| "[unused26]", |
| "[unused27]", |
| "[unused28]", |
| "[unused29]", |
| "[unused30]", |
| "[unused31]", |
| "[unused32]", |
| "[unused33]", |
| "[unused34]", |
| "[unused35]", |
| "[unused36]", |
| "[unused37]", |
| "[unused38]", |
| "[unused39]", |
| "[unused40]", |
| "[unused41]", |
| "[unused42]", |
| "[unused43]", |
| "[unused44]", |
| "[unused45]", |
| "[unused46]", |
| "[unused47]", |
| "[unused48]", |
| "[unused49]", |
| "[unused50]", |
| "[unused51]", |
| "[unused52]", |
| "[unused53]", |
| "[unused54]", |
| "[unused55]", |
| "[unused56]", |
| "[unused57]", |
| "[unused58]", |
| "[unused59]", |
| "[unused60]", |
| "[unused61]", |
| "[unused62]", |
| "[unused63]", |
| "[unused64]", |
| "[unused65]", |
| "[unused66]", |
| "[unused67]", |
| "[unused68]", |
| "[unused69]", |
| "[unused70]", |
| "[unused71]", |
| "[unused72]", |
| "[unused73]", |
| "[unused74]", |
| "[unused75]", |
| "[unused76]", |
| "[unused77]", |
| "[unused78]", |
| "[unused79]", |
| "[unused80]", |
| "[unused81]", |
| "[unused82]", |
| "[unused83]", |
| "[unused84]", |
| "[unused85]", |
| "[unused86]", |
| "[unused87]", |
| "[unused88]", |
| "[unused89]", |
| "[unused90]", |
| "[unused91]", |
| "[unused92]", |
| "[unused93]", |
| "[unused94]", |
| "[unused95]", |
| "[unused96]", |
| "[unused97]", |
| "[unused98]", |
| "[unused99]", |
| "[extra_id_0]", |
| "[extra_id_1]", |
| "[extra_id_2]", |
| "[extra_id_3]", |
| "[extra_id_4]", |
| "[extra_id_5]", |
| "[extra_id_6]", |
| "[extra_id_7]", |
| "[extra_id_8]", |
| "[extra_id_9]", |
| "[extra_id_10]", |
| "[extra_id_11]", |
| "[extra_id_12]", |
| "[extra_id_13]", |
| "[extra_id_14]", |
| "[extra_id_15]", |
| "[extra_id_16]", |
| "[extra_id_17]", |
| "[extra_id_18]", |
| "[extra_id_19]", |
| "[extra_id_20]", |
| "[extra_id_21]", |
| "[extra_id_22]", |
| "[extra_id_23]", |
| "[extra_id_24]", |
| "[extra_id_25]", |
| "[extra_id_26]", |
| "[extra_id_27]", |
| "[extra_id_28]", |
| "[extra_id_29]", |
| "[extra_id_30]", |
| "[extra_id_31]", |
| "[extra_id_32]", |
| "[extra_id_33]", |
| "[extra_id_34]", |
| "[extra_id_35]", |
| "[extra_id_36]", |
| "[extra_id_37]", |
| "[extra_id_38]", |
| "[extra_id_39]", |
| "[extra_id_40]", |
| "[extra_id_41]", |
| "[extra_id_42]", |
| "[extra_id_43]", |
| "[extra_id_44]", |
| "[extra_id_45]", |
| "[extra_id_46]", |
| "[extra_id_47]", |
| "[extra_id_48]", |
| "[extra_id_49]", |
| "[extra_id_50]", |
| "[extra_id_51]", |
| "[extra_id_52]", |
| "[extra_id_53]", |
| "[extra_id_54]", |
| "[extra_id_55]", |
| "[extra_id_56]", |
| "[extra_id_57]", |
| "[extra_id_58]", |
| "[extra_id_59]", |
| "[extra_id_60]", |
| "[extra_id_61]", |
| "[extra_id_62]", |
| "[extra_id_63]", |
| "[extra_id_64]", |
| "[extra_id_65]", |
| "[extra_id_66]", |
| "[extra_id_67]", |
| "[extra_id_68]", |
| "[extra_id_69]", |
| "[extra_id_70]", |
| "[extra_id_71]", |
| "[extra_id_72]", |
| "[extra_id_73]", |
| "[extra_id_74]", |
| "[extra_id_75]", |
| "[extra_id_76]", |
| "[extra_id_77]", |
| "[extra_id_78]", |
| "[extra_id_79]", |
| "[extra_id_80]", |
| "[extra_id_81]", |
| "[extra_id_82]", |
| "[extra_id_83]", |
| "[extra_id_84]", |
| "[extra_id_85]", |
| "[extra_id_86]", |
| "[extra_id_87]", |
| "[extra_id_88]", |
| "[extra_id_89]", |
| "[extra_id_90]", |
| "[extra_id_91]", |
| "[extra_id_92]", |
| "[extra_id_93]", |
| "[extra_id_94]", |
| "[extra_id_95]", |
| "[extra_id_96]", |
| "[extra_id_97]", |
| "[extra_id_98]", |
| "[extra_id_99]", |
| "[extra_id_100]", |
| "[extra_id_101]", |
| "[extra_id_102]", |
| "[extra_id_103]", |
| "[extra_id_104]", |
| "[extra_id_105]", |
| "[extra_id_106]", |
| "[extra_id_107]", |
| "[extra_id_108]", |
| "[extra_id_109]", |
| "[extra_id_110]", |
| "[extra_id_111]", |
| "[extra_id_112]", |
| "[extra_id_113]", |
| "[extra_id_114]", |
| "[extra_id_115]", |
| "[extra_id_116]", |
| "[extra_id_117]", |
| "[extra_id_118]", |
| "[extra_id_119]", |
| "[extra_id_120]", |
| "[extra_id_121]", |
| "[extra_id_122]", |
| "[extra_id_123]", |
| "[extra_id_124]", |
| "[extra_id_125]", |
| "[extra_id_126]", |
| "[extra_id_127]", |
| "[extra_id_128]", |
| "[extra_id_129]", |
| "[extra_id_130]", |
| "[extra_id_131]", |
| "[extra_id_132]", |
| "[extra_id_133]", |
| "[extra_id_134]", |
| "[extra_id_135]", |
| "[extra_id_136]", |
| "[extra_id_137]", |
| "[extra_id_138]", |
| "[extra_id_139]", |
| "[extra_id_140]", |
| "[extra_id_141]", |
| "[extra_id_142]", |
| "[extra_id_143]", |
| "[extra_id_144]", |
| "[extra_id_145]", |
| "[extra_id_146]", |
| "[extra_id_147]", |
| "[extra_id_148]", |
| "[extra_id_149]", |
| "[extra_id_150]", |
| "[extra_id_151]", |
| "[extra_id_152]", |
| "[extra_id_153]", |
| "[extra_id_154]", |
| "[extra_id_155]", |
| "[extra_id_156]", |
| "[extra_id_157]", |
| "[extra_id_158]", |
| "[extra_id_159]", |
| "[extra_id_160]", |
| "[extra_id_161]", |
| "[extra_id_162]", |
| "[extra_id_163]", |
| "[extra_id_164]", |
| "[extra_id_165]", |
| "[extra_id_166]", |
| "[extra_id_167]", |
| "[extra_id_168]", |
| "[extra_id_169]", |
| "[extra_id_170]", |
| "[extra_id_171]", |
| "[extra_id_172]", |
| "[extra_id_173]", |
| "[extra_id_174]", |
| "[extra_id_175]", |
| "[extra_id_176]", |
| "[extra_id_177]", |
| "[extra_id_178]", |
| "[extra_id_179]", |
| "[extra_id_180]", |
| "[extra_id_181]", |
| "[extra_id_182]", |
| "[extra_id_183]", |
| "[extra_id_184]", |
| "[extra_id_185]", |
| "[extra_id_186]", |
| "[extra_id_187]", |
| "[extra_id_188]", |
| "[extra_id_189]", |
| "[extra_id_190]", |
| "[extra_id_191]", |
| "[extra_id_192]", |
| "[extra_id_193]", |
| "[extra_id_194]", |
| "[extra_id_195]", |
| "[extra_id_196]", |
| "[extra_id_197]", |
| "[extra_id_198]", |
| "[|endofturn|]", |
| "PI:URL", |
| "PI:EMAIL", |
| "PI:ACCOUNT_NUM", |
| "PI:PHONE_NUM", |
| "PI:BUSINESS_NUM", |
| "PI:ANNON", |
| "PI:KEY", |
| "PI:ID", |
| "PI:IP_ADDRESS", |
| "PI:USER" |
| ], |
| "backend": "tokenizers", |
| "bos_token": "[BOS]", |
| "clean_up_tokenization_spaces": true, |
| "eos_token": "[|endofturn|]", |
| "errors": "replace", |
| "is_local": false, |
| "local_files_only": false, |
| "model_max_length": 1000000000000000019884624838656, |
| "pad_token": "[PAD]", |
| "tokenizer_class": "GPT2Tokenizer", |
| "unk_token": "[UNK]" |
| } |
|
|
