tokenizer_config.json

{
  "backend": "tokenizers",
  "clean_up_tokenization_spaces": false,
  "extra_special_tokens": [
    "<ar-AR>",
    "<bg-BG>",
    "<cs-CZ>",
    "<da-DK>",
    "<de-DE>",
    "<el-GR>",
    "<en-GB>",
    "<en-US>",
    "<es-ES>",
    "<es-US>",
    "<et-EE>",
    "<fi-FI>",
    "<fr-CA>",
    "<fr-FR>",
    "<he-IL>",
    "<hi-IN>",
    "<hr-HR>",
    "<hu-HU>",
    "<it-IT>",
    "<ja-JP>",
    "<ko-KR>",
    "<lt-LT>",
    "<lv-LV>",
    "<nb-NO>",
    "<nl-NL>",
    "<nn-NO>",
    "<pl-PL>",
    "<pt-BR>",
    "<pt-PT>",
    "<ro-RO>",
    "<ru-RU>",
    "<sk-SK>",
    "<sl-SL>",
    "<sv-SE>",
    "<th-TH>",
    "<tr-TR>",
    "<uk-UA>",
    "<vi-VN>",
    "<zh-CN>"
  ],
  "model_max_length": 1000000000000000019884624838656,
  "pad_token": "<pad>",
  "processor_class": "Nemotron3_5AsrProcessor",
  "tokenizer_class": "ParakeetTokenizer",
  "unk_token": "<unk>"
}