tokens.txt

<blk> 0
<pad> 1
▁n 2
▁b 3
▁y 4
▁l 5
▁m 6
▁s 7
▁t 8
▁r 9
▁d 10
▁g 11
▁I 12
▁bə 13
▁h 14
▁w 15
▁a 16
▁k 17
▁yə 18
▁nI 19
▁z 20
▁lə 21
▁ya 22
▁mə 23
▁sI 24
▁c 25
▁də 26
▁tə 27
▁f 28
▁q 29
▁na 30
▁kə 31
▁ʒ 32
▁nə 33
▁wə 34
▁gI 35
▁la 36
▁ra 37
▁sə 38
▁gə 39
▁bI 40
▁rI 41
▁hu 42
▁fə 43
▁mI 44
▁lI 45
▁ba 46
▁tI 47
▁yI 48
▁ma 49
▁zə 50
oc 51
▁ta 52
▁rə 53
▁dI 54
▁zi 55
əw 56
▁mi 57
▁da 58
▁wI 59
▁hI 60
▁lu 61
▁cəw 62
▁sa 63
▁ǧ 64
▁qə 65
▁cI 66
▁su 67
▁he 68
▁ñ 69
▁ʒə 70
▁wa 71
nm 72
▁ɲ 73
▁ga 74
▁her 75
▁tu 76
▁š 77
▁ru 78
▁kI 79
▁di 80
▁i 81
▁ka 82
▁ho 83
nd 84
▁ha 85
▁mo 86
▁e 87
▁ri 88
▁ʒI 89
▁yo 90
▁qa 91
▁ʒa 92
▁to 93
▁qI 94
▁be 95
▁ña 96
▁za 97
▁lay 98
▁gu 99
▁ro 100
▁le 101
▁č 102
▁wi 103
▁ne 104
▁lo 105
▁mu 106
▁bi 107
▁woc 108
▁nəw 109
▁li 110
▁nu 111
▁fi 112
▁gər 113
▁p 114
▁zənd 115
▁se 116
▁ca 117
▁bu 118
▁re 119
▁gIn 120
▁ze 121
▁gi 122
▁fa 123
▁du 124
st 125
▁cu 126
▁səw 127
▁no 128
▁Q 129
▁pI 130
▁el 131
▁ləw 132
▁so 133
▁zih 134
▁ṕ 135
▁gar 136
▁dih 137
▁zu 138
▁qo 139
▁sum 140
▁G 141
▁ɲI 142
▁te 143
▁qu 144
▁ge 145
▁ǧə 146
▁si 147
▁hə 148
▁yIh 149
▁nət 150
▁bət 151
▁yan 152
▁ɲə 153
wn 154
▁K 155
▁ǧoc 156
▁ko 157
▁ʒu 158
▁lət 159
▁tIn 160
▁šə 161
▁lIǧ 162
▁wo 163
▁šI 164
▁ɲa 165
▁do 166
wm 167
▁cIn 168
▁ku 169
▁and 170
▁wal 171
▁toc 172
▁me 173
▁wIs 174
▁fu 175
▁fit 176
▁de 177
▁H 178
▁dIr 179
▁Ha 180
▁bet 181
▁wIsʒ 182
▁yu 183
▁tIm 184
▁yam 185
▁o 186
▁cəwn 187
▁hon 188
▁ləm 189
▁čə 190
▁ʒi 191
▁ša 192
▁qən 193
▁rat 194
▁cə 195
▁ki 196
▁yaw 197
▁ǧa 198
▁bat 199
▁qal 200
▁cəwm 201
▁sIm 202
▁wəy 203
▁tum 204
▁hun 205
▁ye 206
▁yas 207
▁bo 208
▁herm 209
▁rəs 210
▁ǧo 211
▁Iǧ 212
▁ṕə 213
▁hIn 214
▁bər 215
▁ča 216
▁nm 217
▁Ka 218
▁dan 219
▁Qi 220
al 221
▁ni 222
▁lak 223
▁tun 224
▁zəb 225
▁mIn 226
▁gus 227
▁ñaw 228
▁qi 229
▁təw 230
▁gəd 231
▁hern 232
▁ñoc 233
▁ti 234
▁roc 235
▁Gə 236
▁mət 237
▁wit 238
▁go 239
dr 240
▁kəl 241
▁Qa 242
▁ǧi 243
▁ʒo 244
▁mIdr 245
▁ǧu 246
▁dIn 247
▁ǧI 248
▁sost 249
▁rəw 250
▁dər 251
▁man 252
▁ši 253
▁wInm 254
▁lem 255
▁ce 256
▁ñu 257
▁wəym 258
▁hIm 259
▁yIhn 260
▁gIst 261
▁hum 262
▁bIr 263
▁lut 264
▁at 265
▁dəs 266
▁mən 267
▁rut 268
▁dIm 269
▁ɲu 270
▁lal 271
▁ñI 272
▁nat 273
▁fəs 274
▁wər 275
▁fo 276
▁cIm 277
▁sun 278
▁GI 279
▁nal 280
▁ke 281
▁fər 282
▁al 283
▁loc 284
▁fe 285
▁zab 286
▁Ko 287
▁čI 288
▁rət 289
▁Ga 290
▁ʒe 291
▁cum 292
lm 293
cn 294
▁nem 295
▁elm 296
▁rIs 297
▁kam 298
▁yat 299
▁moc 300
▁may 301
▁sat 302
▁hIr 303
▁tos 304
▁taw 305
▁Qə 306
▁tat 307
▁təm 308
▁lam 309
▁tIh 310
▁det 311
▁ž 312
▁qe 313
▁ño 314
▁v 315
▁raw 316
▁wam 317
▁In 318
▁ǧe 319
▁mIst 320
▁ban 321
▁ron 322
▁sIn 323
▁wIn 324
▁ləwn 325
▁It 326
▁zo 327
▁noc 328
▁sus 329
▁laq 330
▁ləc 331
▁gəw 332
▁sIr 333
▁bal 334
▁cInm 335
▁bIɲ 336
▁hInm 337
▁šu 338
▁ṕo 339
▁ših 340
▁Iǧg 341
rm 342
▁dəm 343
lq 344
▁wət 345
▁ʒəw 346
▁dəw 347
▁ñə 348
▁ṕa 349
▁cun 350
▁gən 351
▁wan 352
▁tan 353
▁tən 354
▁tInm 355
▁fat 356
▁lat 357
▁dIst 358
▁lIb 359
▁nIm 360
▁hi 361
▁kul 362
▁bIm 363
▁mon 364
▁dis 365
▁hIl 366
▁gəb 367
▁dihm 368
▁tunm 369
▁mot 370
▁ləh 371
▁sen 372
▁bum 373
▁T 374
▁lum 375
▁tac 376
▁lən 377
▁num 378
▁hunm 379
mm 380
▁ci 381
▁rum 382
▁set 383
▁lIk 384
▁qoc 385
▁tal 386
tn 387
▁qIr 388
▁doc 389
▁qər 390
▁run 391
▁nun 392
▁nIs 393
▁manm 394
▁yon 395
▁zəw 396
▁dam 397
▁tər 398
▁ʒan 399
▁yanm 400
▁qəw 401
▁ñawm 402
▁mat 403
▁gIs 404
▁fəl 405
▁pa 406
▁dIq 407
▁ləs 408
▁gay 409
▁wəq 410
▁šo 411
▁rəg 412
▁ʒut 413
▁hIg 414
▁dum 415
▁dərg 416
▁bIn 417
▁soc 418
▁nan 419
▁yIlq 420
▁cIw 421
▁day 422
▁mInm 423
▁naw 424
▁ram 425
▁ʒat 426
▁šIn 427
▁tIr 428
▁eln 429
▁fən 430
▁dImɲ 431
▁lun 432
▁məw 433
▁nIg 434
▁ran 435
▁ʒIr 436
▁bəw 437
▁fət 438
▁Kə 439
▁ 440
ə 441
I 442
a 443
n 444
m 445
l 446
t 447
b 448
y 449
r 450
s 451
w 452
u 453
d 454
i 455
o 456
h 457
g 458
e 459
k 460
c 461
z 462
q 463
ʒ 464
f 465
ǧ 466
ñ 467
ɲ 468
š 469
č 470
p 471
Q 472
ṕ 473
G 474
K 475
H 476
ž 477
v 478
T 479
L 480
M 481
R 482
N 483
B 484
S 485
Ɲ 486
F 487
Ʒ 488
D 489
Z 490
Ñ 491
Š 492
Č 493
C 494
Ğ 495
Ž 496
V 497