tokenizer_config.json

{
  "add_prefix_space": false,
  "backend": "tokenizers",
  "bos_token": null,
  "clean_up_tokenization_spaces": false,
  "eos_token": "<|im_end|>",
  "errors": "replace",
  "extra_special_tokens": [
    "<|dur_0|>",
    "<|dur_1|>",
    "<|dur_2|>",
    "<|dur_3|>",
    "<|dur_4|>",
    "<|dur_5|>",
    "<|dur_6|>",
    "<|dur_7|>",
    "<|dur_8|>",
    "<|dur_9|>",
    "<|dur_10|>",
    "<|dur_11|>",
    "<|dur_12|>",
    "<|dur_13|>",
    "<|dur_14|>",
    "<|dur_15|>",
    "<|dur_16|>",
    "<|dur_17|>",
    "<|dur_18|>",
    "<|dur_19|>",
    "<|dur_20|>",
    "<|dur_21|>",
    "<|dur_22|>",
    "<|dur_23|>",
    "<|dur_24|>",
    "<|dur_25|>",
    "<|dur_26|>",
    "<|dur_27|>",
    "<|dur_28|>",
    "<|dur_29|>",
    "<|dur_30|>",
    "<|dur_31|>",
    "<|dur_32|>",
    "<|dur_33|>",
    "<|dur_34|>",
    "<|dur_35|>",
    "<|dur_36|>",
    "<|dur_37|>",
    "<|dur_38|>",
    "<|dur_39|>",
    "<|dur_40|>",
    "<|dur_41|>",
    "<|dur_42|>",
    "<|dur_43|>",
    "<|dur_44|>",
    "<|dur_45|>",
    "<|dur_46|>",
    "<|dur_47|>",
    "<|dur_48|>",
    "<|dur_49|>",
    "<|dur_50|>",
    "<|dur_51|>",
    "<|dur_52|>",
    "<|dur_53|>",
    "<|dur_54|>",
    "<|dur_55|>",
    "<|dur_56|>",
    "<|dur_57|>",
    "<|dur_58|>",
    "<|dur_59|>",
    "<|dur_60|>",
    "<|dur_61|>",
    "<|dur_62|>",
    "<|dur_63|>",
    "<|bnd_0|>",
    "<|bnd_1|>",
    "<|bnd_2|>",
    "<|bnd_3|>",
    "<|bnd_4|>",
    "<|eng_0|>",
    "<|eng_1|>",
    "<|eng_2|>",
    "<|eng_3|>",
    "<|eng_4|>",
    "<|eng_5|>",
    "<|eng_6|>",
    "<|eng_7|>",
    "<|eng_8|>",
    "<|eng_9|>",
    "<|eng_10|>",
    "<|eng_11|>",
    "<|eng_12|>",
    "<|eng_13|>",
    "<|eng_14|>",
    "<|eng_15|>",
    "<|eng_16|>",
    "<|eng_17|>",
    "<|eng_18|>",
    "<|eng_19|>",
    "<|pit_0|>",
    "<|pit_1|>",
    "<|pit_2|>",
    "<|pit_3|>",
    "<|pit_4|>",
    "<|pit_5|>",
    "<|pit_6|>",
    "<|pit_7|>",
    "<|pit_8|>",
    "<|pit_9|>",
    "<|pit_10|>",
    "<|pit_11|>",
    "<|pit_12|>",
    "<|pit_13|>",
    "<|pit_14|>",
    "<|pit_15|>",
    "<|pit_16|>",
    "<|pit_17|>",
    "<|pit_18|>",
    "<|pit_19|>",
    "<|ton_flat|>",
    "<|ton_rise|>",
    "<|ton_rrise|>",
    "<|ton_fall|>",
    "<|ton_ffall|>",
    "<|ton_peak|>",
    "<|ton_valley|>"
  ],
  "is_local": true,
  "local_files_only": false,
  "model_max_length": 131072,
  "pad_token": "<|endoftext|>",
  "split_special_tokens": false,
  "tokenizer_class": "Qwen2Tokenizer",
  "unk_token": null
}