tokenizer_config.json

{
  "add_prefix_space": false,
  "backend": "tokenizers",
  "bos_token": "<|endoftext|>",
  "clean_up_tokenization_spaces": true,
  "eos_token": "<|endoftext|>",
  "errors": "replace",
  "extra_special_tokens": {
    "<|endoftext|>": "<|endoftext|>",
    "<|startoftranscript|>": "<|startoftranscript|>",
    "<|en|>": "<|en|>",
    "<|zh|>": "<|zh|>",
    "<|de|>": "<|de|>",
    "<|es|>": "<|es|>",
    "<|ru|>": "<|ru|>",
    "<|ko|>": "<|ko|>",
    "<|fr|>": "<|fr|>",
    "<|ja|>": "<|ja|>",
    "<|pt|>": "<|pt|>",
    "<|tr|>": "<|tr|>",
    "<|pl|>": "<|pl|>",
    "<|ca|>": "<|ca|>",
    "<|nl|>": "<|nl|>",
    "<|ar|>": "<|ar|>",
    "<|sv|>": "<|sv|>",
    "<|it|>": "<|it|>",
    "<|id|>": "<|id|>",
    "<|hi|>": "<|hi|>",
    "<|fi|>": "<|fi|>",
    "<|vi|>": "<|vi|>",
    "<|he|>": "<|he|>",
    "<|uk|>": "<|uk|>",
    "<|el|>": "<|el|>",
    "<|ms|>": "<|ms|>",
    "<|cs|>": "<|cs|>",
    "<|ro|>": "<|ro|>",
    "<|da|>": "<|da|>",
    "<|hu|>": "<|hu|>",
    "<|ta|>": "<|ta|>",
    "<|no|>": "<|no|>",
    "<|th|>": "<|th|>",
    "<|ur|>": "<|ur|>",
    "<|hr|>": "<|hr|>",
    "<|bg|>": "<|bg|>",
    "<|lt|>": "<|lt|>",
    "<|la|>": "<|la|>",
    "<|mi|>": "<|mi|>",
    "<|ml|>": "<|ml|>",
    "<|cy|>": "<|cy|>",
    "<|sk|>": "<|sk|>",
    "<|te|>": "<|te|>",
    "<|fa|>": "<|fa|>",
    "<|lv|>": "<|lv|>",
    "<|bn|>": "<|bn|>",
    "<|sr|>": "<|sr|>",
    "<|az|>": "<|az|>",
    "<|sl|>": "<|sl|>",
    "<|kn|>": "<|kn|>",
    "<|et|>": "<|et|>",
    "<|mk|>": "<|mk|>",
    "<|br|>": "<|br|>",
    "<|eu|>": "<|eu|>",
    "<|is|>": "<|is|>",
    "<|hy|>": "<|hy|>",
    "<|ne|>": "<|ne|>",
    "<|mn|>": "<|mn|>",
    "<|bs|>": "<|bs|>",
    "<|kk|>": "<|kk|>",
    "<|sq|>": "<|sq|>",
    "<|sw|>": "<|sw|>",
    "<|gl|>": "<|gl|>",
    "<|mr|>": "<|mr|>",
    "<|pa|>": "<|pa|>",
    "<|si|>": "<|si|>",
    "<|km|>": "<|km|>",
    "<|sn|>": "<|sn|>",
    "<|yo|>": "<|yo|>",
    "<|so|>": "<|so|>",
    "<|af|>": "<|af|>",
    "<|oc|>": "<|oc|>",
    "<|ka|>": "<|ka|>",
    "<|be|>": "<|be|>",
    "<|tg|>": "<|tg|>",
    "<|sd|>": "<|sd|>",
    "<|gu|>": "<|gu|>",
    "<|am|>": "<|am|>",
    "<|yi|>": "<|yi|>",
    "<|lo|>": "<|lo|>",
    "<|uz|>": "<|uz|>",
    "<|fo|>": "<|fo|>",
    "<|ht|>": "<|ht|>",
    "<|ps|>": "<|ps|>",
    "<|tk|>": "<|tk|>",
    "<|nn|>": "<|nn|>",
    "<|mt|>": "<|mt|>",
    "<|sa|>": "<|sa|>",
    "<|lb|>": "<|lb|>",
    "<|my|>": "<|my|>",
    "<|bo|>": "<|bo|>",
    "<|tl|>": "<|tl|>",
    "<|mg|>": "<|mg|>",
    "<|as|>": "<|as|>",
    "<|tt|>": "<|tt|>",
    "<|haw|>": "<|haw|>",
    "<|ln|>": "<|ln|>",
    "<|ha|>": "<|ha|>",
    "<|ba|>": "<|ba|>",
    "<|jw|>": "<|jw|>",
    "<|su|>": "<|su|>",
    "<|translate|>": "<|translate|>",
    "<|transcribe|>": "<|transcribe|>",
    "<|startoflm|>": "<|startoflm|>",
    "<|startofprev|>": "<|startofprev|>",
    "<|nocaptions|>": "<|nocaptions|>",
    "<|notimestamps|>": "<|notimestamps|>"
  },
  "is_local": true,
  "language": "english",
  "model_max_length": 1024,
  "pad_token": "<|endoftext|>",
  "predict_timestamps": false,
  "processor_class": "WhisperProcessor",
  "return_attention_mask": false,
  "task": "transcribe",
  "tokenizer_class": "WhisperTokenizer",
  "unk_token": "<|endoftext|>"
}