tokens.txt

<blk> 0
<sos/eos> 1
<unk> 2
, 3
s 4
. 5
▁ 6
t 7
▁on 8
i 9
▁et 10
l 11
e 12
▁ja 13
a 14
d 15
n 16
u 17
r 18
▁see 19
le 20
▁siis 21
st 22
ma 23
▁ka 24
te 25
b 26
k 27
me 28
ne 29
▁ei 30
m 31
ks 32
▁ma 33
da 34
id 35
o 36
ta 37
ga 38
h 39
▁me 40
se 41
▁a 42
▁kui 43
ti 44
re 45
- 46
ri 47
▁või 48
▁ta 49
va 50
▁te 51
gi 52
ku 53
▁nii 54
ä 55
▁selle 56
▁nagu 57
▁Ja 58
is 59
nud 60
▁seda 61
vad 62
▁mis 63
▁aga 64
tu 65
▁ole 66
p 67
ra 68
ja 69
▁sa 70
y 71
la 72
ge 73
gu 74
v 75
▁the 76
ka 77
▁to 78
el 79
▁oli 80
li 81
al 82
▁ju 83
de 84
si 85
es 86
õ 87
c 88
ni 89
' 90
ke 91
▁I 92
ki 93
▁väga 94
▁noh 95
ing 96
? 97
g 98
▁saa 99
▁pa 100
▁o 101
▁p 102
us 103
▁seal 104
lt 105
ed 106
▁Et 107
ve 108
oo 109
nda 110
na 111
▁oma 112
su 113
▁need 114
he 115
▁nüüd 116
sa 117
▁and 118
▁e 119
▁in 120
▁k 121
▁la 122
it 123
▁siin 124
mise 125
nd 126
as 127
w 128
▁pi 129
in 130
ar 131
▁kas 132
tud 133
an 134
ha 135
ü 136
▁re 137
▁mõ 138
▁üks 139
▁kõik 140
mi 141
▁va 142
▁ko 143
vi 144
▁s 145
▁meil 146
ru 147
▁kes 148
▁tegelikult 149
▁P 150
▁you 151
ide 152
en 153
▁Aga 154
f 155
sti 156
▁palju 157
▁võib 158
mine 159
ad 160
▁of 161
▁si 162
ju 163
▁A 164
▁su 165
▁no 166
nu 167
▁that 168
eri 169
▁ha 170
▁se 171
▁üle 172
or 173
▁tea 174
use 175
ndi 176
▁mida 177
▁tu 178
▁kus 179
at 180
ik 181
▁Ma 182
du 183
sid 184
▁T 185
▁veel 186
lu 187
ud 188
il 189
▁juba 190
▁pea 191
▁neid 192
▁so 193
▁eks 194
▁töö 195
▁le 196
▁nende 197
▁ho 198
▁nad 199
di 200
hi 201
▁is 202
ur 203
▁meie 204
▁välja 205
▁aasta 206
▁täna 207
ll 208
ul 209
er 210
▁nä 211
olla 212
▁kuidas 213
pe 214
▁K 215
▁Eesti 216
▁mingi 217
ko 218
▁ke 219
tse 220
tus 221
sin 222
hu 223
▁No 224
▁E 225
on 226
▁ära 227
▁just 228
ist 229
lik 230
▁ütle 231
▁sellise 232
est 233
▁jah 234
▁ikkagi 235
tsi 236
▁tä 237
▁käi 238
▁tõ 239
▁tule 240
▁mitte 241
▁tee 242
▁kolm 243
▁ra 244
takse 245
▁selline 246
▁teha 247
ba 248
ro 249
▁ühe 250
▁hea 251
sse 252
lus 253
▁it 254
tada 255
▁Mi 256
des 257
ter 258
un 259
▁co 260
▁ve 261
▁tuleb 262
▁praegu 263
öelda 264
pi 265
▁loo 266
▁mi 267
mis 268
▁b 269
▁näiteks 270
▁lii 271
▁mu 272
▁O 273
▁S 274
▁sellest 275
▁õ 276
selt 277
ele 278
ngu 279
▁po 280
konna 281
▁oleks 282
▁do 283
mu 284
mist 285
ndus 286
▁sõ 287
▁we 288
teist 289
▁olnud 290
ng 291
▁minu 292
line 293
▁võ 294
▁taha 295
▁iga 296
▁selles 297
ly 298
pa 299
▁kaks 300
▁M 301
▁küll 302
▁küsimus 303
▁R 304
▁be 305
▁mo 306
aal 307
▁pu 308
et 309
▁lõ 310
▁midagi 311
dus 312
▁hakka 313
kümne 314
▁jä 315
▁all 316
liku 317
lise 318
▁mille 319
ime 320
pp 321
▁suur 322
pu 323
▁lu 324
sed 325
▁osa 326
öö 327
▁aru 328
▁saab 329
▁Nii 330
▁he 331
▁ikka 332
ce 333
▁are 334
kümmend 335
▁vastu 336
ust 337
▁kogu 338
▁See 339
▁ise 340
tab 341
ir 342
▁vaata 343
▁ku 344
▁suure 345
▁pro 346
ent 347
▁sama 348
▁And 349
▁vaja 350
mus 351
tuse 352
ch 353
▁rohkem 354
▁hi 355
▁lihtsalt 356
▁kindlasti 357
▁f 358
ver 359
kond 360
bi 361
▁Te 362
▁olen 363
▁too 364
ia 365
th 366
to 367
▁sest 368
võ 369
rvi 370
▁li 371
▁mul 372
ini 373
▁ki 374
▁hästi 375
um 376
▁di 377
▁ütleme 378
▁ette 379
tes 380
▁an 381
▁Me 382
▁vä 383
ngi 384
▁na 385
üü 386
lo 387
▁sinna 388
▁olla 389
▁edasi 390
▁kõige 391
▁eest 392
▁vahe 393
sime 394
▁läbi 395
lda 396
▁lähe 397
▁arvan 398
▁päris 399
▁peale 400
▁vii 401
▁vi 402
mp 403
▁peaks 404
▁Ka 405
▁esi 406
▁oleme 407
▁koha 408
alt 409
▁jää 410
▁sü 411
▁c 412
▁öelda 413
liselt 414
je 415
▁kokku 416
mas 417
▁de 418
▁viis 419
▁for 420
im 421
ab 422
▁ti 423
▁kasuta 424
▁tema 425
▁Se 426
▁go 427
▁neli 428
▁Kui 429
ho 430
laste 431
▁inimesed 432
▁kõ 433
▁fi 434
▁teise 435
▁lo 436
▁riigi 437
▁niimoodi 438
▁B 439
▁tagasi 440
▁kahe 441
▁enda 442
kord 443
▁koos 444
▁mina 445
maa 446
▁tead 447
▁enam 448
▁ajal 449
ani 450
▁kon 451
▁ainult 452
lli 453
▁tal 454
likult 455
▁mä 456
▁asi 457
▁Va 458
▁ar 459
▁was 460
kse 461
▁--- 462
▁vähe 463
▁vali 464
val 465
rg 466
▁mõttes 467
and 468
tel 469
ment 470
▁sellist 471
▁korra 472
nni 473
aja 474
nna 475
fi 476
▁kuna 477
üh 478
▁aja 479
▁teema 480
▁raha 481
▁arva 482
▁pla 483
▁tõesti 484
▁üldse 485
▁Sa 486
▁know 487
ina 488
▁nime 489
▁võiks 490
▁val 491
▁päeva 492
▁küsi 493
fe 494
jad 495
▁võimalik 496
▁ehk 497
▁W 498
sioon 499
▁põ 500
valt 501
tatud 502
stus 503
▁this 504
kirja 505
▁kooli 506
▁olid 507
J 508
▁olema 509
▁like 510
▁inimeste 511
▁kelle 512
▁hu 513
▁C 514
▁eel 515
▁ela 516
▁elu 517
▁peab 518
▁kesk 519
▁ava 520
▁muu 521
mo 522
▁ega 523
▁So 524
▁muidugi 525
▁asja 526
▁juurde 527
valitsus 528
▁räägi 529
▁mõtle 530
▁Ü 531
▁Ku 532
töö 533
tega 534
▁tuli 535
test 536
▁ri 537
▁Ta 538
▁ees 539
▁näe 540
od 541
▁kuus 542
▁vaid 543
▁era 544
▁aeg 545
▁sul 546
▁ül 547
mmi 548
L 549
▁have 550
päeva 551
▁kohta 552
▁üheksa 553
ck 554
del 555
▁pärast 556
▁kuu 557
▁Jah 558
▁teie 559
▁jaoks 560
▁peal 561
▁or 562
▁olemas 563
▁Euroopa 564
▁sel 565
▁U 566
▁tuhat 567
▁jälle 568
▁nõu 569
▁ongi 570
used 571
tion 572
▁võta 573
▁ro 574
tsiooni 575
▁with 576
▁kuul 577
▁probleem 578
dega 579
▁enne 580
ppi 581
moodi 582
kü 583
▁Eestis 584
▁riik 585
▁kohe 586
list 587
nts 588
▁teine 589
▁isegi 590
▁Kas 591
▁otsus 592
▁poolt 593
ö 594
▁us 595
▁miks 596
tama 597
jate 598
po 599
▁tööta 600
▁G 601
▁läheb 602
▁võimalus 603
▁sisse 604
▁kaheksa 605
▁toimu 606
aadi 607
▁vasta 608
▁par 609
▁Siis 610
▁tähendab 611
▁parem 612
▁kirjuta 613
" 614
sama 615
▁sellega 616
▁siia 617
▁poole 618
V 619
▁pool 620
▁aastat 621
vus 622
▁kuskil 623
▁natukene 624
▁auto 625
▁D 626
N 627
▁saada 628
▁suht 629
koht 630
▁põhi 631
▁uue 632
▁Li 633
▁natuke 634
▁kuidagi 635
äär 636
atsiooni 637
▁fa 638
x 639
vä 640
▁they 641
▁lapse 642
▁what 643
per 644
▁kuula 645
▁asjad 646
▁vaba 647
▁kodu 648
▁soovi 649
▁jõud 650
▁neil 651
▁keegi 652
▁Ko 653
▁pe 654
▁täiesti 655
▁sõna 656
tamise 657
▁selge 658
▁ilm 659
▁aega 660
▁Ra 661
▁He 662
▁Ei 663
▁kind 664
▁Ne 665
olu 666
▁Noh 667
und 668
▁ühis 669
▁kaasa 670
ori 671
▁juhtu 672
▁räägime 673
▁väike 674
▁muutu 675
▁inimene 676
▁tegi 677
▁kuni 678
z 679
▁vist 680
▁mulle 681
▁pole 682
▁tü 683
▁puhul 684
▁õpi 685
▁täpselt 686
▁keele 687
märk 688
▁ba 689
▁saanud 690
▁minna 691
▁Si 692
▁sellepärast 693
▁alati 694
▁can 695
▁Tallinna 696
▁Tere 697
▁about 698
▁õige 699
▁maailma 700
▁anna 701
▁para 702
seadus 703
lised 704
port 705
lased 706
▁kinni 707
S 708
▁lisa 709
süsteem 710
ber 711
▁ca 712
▁The 713
form 714
▁noor 715
▁pere 716
▁erinev 717
▁läks 718
jõu 719
ther 720
▁vana 721
▁uuri 722
▁puudu 723
▁seitse 724
gra 725
▁viie 726
▁linna 727
▁nelja 728
▁Na 729
rdi 730
kooli 731
▁F 732
▁alg 733
▁my 734
▁hä 735
▁esimese 736
▁inimesi 737
▁inimese 738
▁muud 739
taja 740
▁hetkel 741
▁rahva 742
▁tra 743
▁võtta 744
likku 745
liste 746
▁tegele 747
sion 748
▁valmis 749
pool 750
▁tund 751
▁Või 752
▁protsenti 753
▁loomulikult 754
niku 755
▁panna 756
▁kuju 757
▁teile 758
poliitik 759
E 760
▁fo 761
▁kiire 762
tiivse 763
▁Ha 764
▁õpetaja 765
võrd 766
▁korda 767
▁nädala 768
▁Ju 769
▁Selle 770
▁sp 771
▁vaadata 772
pidi 773
▁asju 774
A 775
▁think 776
▁abi 777
▁but 778
▁tunne 779
▁tegema 780
ation 781
▁La 782
▁rääkida 783
▁kakskümmend 784
▁Vi 785
▁joo 786
ktor 787
▁pigem 788
▁majandus 789
▁tuhande 790
▁ex 791
▁oluline 792
▁huvitav 793
▁huvi 794
▁kõigi 795
▁people 796
T 797
▁ühte 798
päev 799
▁aitäh 800
q 801
▁mõju 802
▁helista 803
projekt 804
▁raske 805
▁ilmselt 806
▁teinud 807
! 808
▁oska 809
▁kuhu 810
jo 811
R 812
ight 813
▁tehtud 814
▁mitme 815
▁ennast 816
▁get 817
▁Aitäh 818
▁näita 819
haridus 820
▁if 821
▁out 822
eerida 823
▁olulise 824
▁mingisuguse 825
▁juures 826
▁hinna 827
▁jõua 828
▁ning 829
▁põhjus 830
oloogi 831
▁uus 832
▁lü 833
▁järgi 834
▁up 835
▁taht 836
kaitse 837
uuri 838
▁õnne 839
▁välis 840
▁thing 841
▁olukord 842
▁Le 843
▁who 844
meetri 845
▁Tartu 846
H 847
▁from 848
▁juhul 849
järje 850
▁üsna 851
▁Ve 852
▁jooksul 853
▁You 854
▁tundub 855
▁meeldi 856
▁arvu 857
j 858
▁kohtu 859
▁Hi 860
▁oota 861
▁Ehk 862
▁alusta 863
▁umbes 864
▁ilus 865
▁esimene 866
kontroll 867
▁õhtu 868
▁ümber 869
▁tegevus 870
▁Nüüd 871
▁küla 872
▁Vä 873
ough 874
▁tulnud 875
▁viimase 876
▁ehita 877
▁toeta 878
▁vähemalt 879
▁tõepoolest 880
▁hääl 881
▁järgmise 882
▁väikse 883
▁because 884
▁wo 885
▁kümme 886
▁Venemaa 887
▁rääkis 888
▁sotsiaal 889
täht 890
š 891
K 892
▁är 893
eeritud 894
▁when 895
▁euro 896
▁kõrge 897
▁erinevate 898
▁kätte 899
▁would 900
minister 901
▁hoopis 902
▁alguses 903
järg 904
▁But 905
▁kahju 906
asutus 907
ministeerium 908
▁müü 909
▁kõrval 910
▁terve 911
▁want 912
▁hakata 913
▁tulla 914
I 915
▁right 916
▁läinud 917
▁Liidu 918
▁millise 919
▁tugev 920
▁info 921
▁Kuidas 922
▁miljon 923
▁põhimõtteliselt 924
▁õppe 925
protsess 926
▁tulevik 927
▁vot 928
▁seotud 929
▁null 930
programm 931
▁raamatu 932
▁lahendus 933
▁rahvus 934
▁igasugu 935
▁põhja 936
▁määra 937
▁klassi 938
O 939
P 940
M 941
ž 942
Y 943
D 944
Õ 945
C 946
B 947
Z 948
Ä 949
F 950
Q 951
G 952
: 953
U 954
X 955
Ö 956
2 957
W 958
Ü 959
Š 960
= 961
é 962
1 963
3 964
) 965
( 966
0 967
í 968
9 969
Ž 970
ó 971
á 972
5 973
4 974
+ 975
ã 976
/ 977
– 978
ç 979
@ 980
— 981
8 982
6 983
ा 984
ú 985
» 986
« 987
’ 988
[ 989
र 990
* 991
à 992
ê 993
] 994
क 995
& 996
¿ 997
ñ 998
„ 999
#0 1000
#1 1001
#2 1002
#3 1003
#4 1004
#5 1005
#6 1006
#7 1007
#8 1008
#9 1009
#10 1010
#11 1011
#12 1012
#13 1013
#14 1014
#15 1015
#16 1016
#17 1017
#18 1018
#19 1019
#20 1020
#21 1021
#22 1022
#23 1023
#24 1024
#25 1025
#26 1026
#27 1027
#28 1028
#29 1029
#30 1030
#31 1031
#32 1032
#33 1033
#34 1034
#35 1035
#36 1036
#37 1037
#38 1038
#39 1039
#40 1040
#41 1041
#42 1042
#43 1043
#44 1044
#45 1045
#46 1046
#47 1047
#48 1048
#49 1049
#50 1050
#51 1051
#52 1052
#53 1053
#54 1054
#55 1055
#56 1056
#57 1057
#58 1058
#59 1059
#60 1060
#61 1061
#62 1062
#63 1063
#64 1064
#65 1065
#66 1066
#67 1067
#68 1068
#69 1069
#70 1070
#71 1071
#72 1072
#73 1073
#74 1074
#75 1075
#76 1076
#77 1077
#78 1078
#79 1079
#80 1080
#81 1081
#82 1082
#83 1083
#84 1084
#85 1085
#86 1086
#87 1087
#88 1088
#89 1089
#90 1090
#91 1091
#92 1092
#93 1093
#94 1094
#95 1095
#96 1096
#97 1097
#98 1098
#99 1099
#100 1100
#101 1101
#102 1102
#103 1103
#104 1104
#105 1105
#106 1106
#107 1107
#108 1108
#109 1109
#110 1110
#111 1111
#112 1112
#113 1113
#114 1114
#115 1115
#116 1116