pt-tupi-tokenizer / merges.txt
CASLL's picture
Upload tokenizer
c59e1e6 verified
#version: 0.2
r a
a n
à ¡
b a
c a
u a
à ©
à §
r u
an a
C a
i m
A ra
n a
r i
t i
a p
à ª
à Ń
A m
a ra
à £
A ba
Ġ (
J a
ua ra
a u
r é
u ru
m b
n g
r á
ç a
A n
T i
i ra
m a
t a
K a
b i
b u
c u
n i
u i
v a
w a
A na
b á
e t
h e
ap i
ng a
A i
A j
J u
M a
M an
P ara
e ba
g ua
m im
o ca
q uara
u ã
à º
Ca ri
Am ana
A p
A ca
A im
I ra
I ta
J uru
Y a
r ê
s s
u e
u ç
x ana
an d
an g
an ã
Ara c
au á
ça ÃŃ
api xana
A b
A y
A wa
G ua
G uara
N he
O ca
P e
P i
T u
X im
a rá
c á
d i
e ru
e mb
i t
j u
k a
m u
m ÃŃ
o ti
p i
p o
r y
t ê
u ça
à ³
ca mim
ç u
ÃŃ ba
Aba ca
bi quara
bu ré
Ma ca
Man i
gua r
ú na
Tu pi
A v
A ti
A va
D a
I a
I ba
I bi
J ap
L au
M u
M ana
P uç
P ará
P oti
Q ui
R u
T im
T ap
U a
W a
X u
a ÃŃ
b o
b oca
c e
c l
c é
c ê
e q
e nga
e rê
g uara
i a
i ta
j é
m an
m ana
n d
p auá
s aÃŃ
t ã
u ca
u ri
u et
y u
à µ
à ¼
an he
an biquara
ba ra
ba quara
ua r
é m
ç ara
ru na
Ca i
Ca mu
Ara p
Ara ra
ti r
ti ba
Am a
Am and
Aba et
Ja cu
Ja va
au im
uru i
mb eba
An h
Ti ju
Ti yu
bu na
ui a
Aj u
Para ÃŃba
ang ü
Gua rá
Guara ni
emb é