Mobius / added_tokens.json
henry984's picture
Upload folder using huggingface_hub
c4b43ee verified
{
"</region>": 32002,
"<SEG>": 32000,
"<gen_100>": 32102,
"<gen_101>": 32103,
"<gen_102>": 32104,
"<gen_103>": 32105,
"<gen_104>": 32106,
"<gen_105>": 32107,
"<gen_106>": 32108,
"<gen_107>": 32109,
"<gen_108>": 32110,
"<gen_109>": 32111,
"<gen_10>": 32012,
"<gen_110>": 32112,
"<gen_111>": 32113,
"<gen_112>": 32114,
"<gen_113>": 32115,
"<gen_114>": 32116,
"<gen_115>": 32117,
"<gen_116>": 32118,
"<gen_117>": 32119,
"<gen_118>": 32120,
"<gen_119>": 32121,
"<gen_11>": 32013,
"<gen_120>": 32122,
"<gen_121>": 32123,
"<gen_122>": 32124,
"<gen_123>": 32125,
"<gen_124>": 32126,
"<gen_125>": 32127,
"<gen_126>": 32128,
"<gen_127>": 32129,
"<gen_128>": 32130,
"<gen_129>": 32131,
"<gen_12>": 32014,
"<gen_130>": 32132,
"<gen_131>": 32133,
"<gen_132>": 32134,
"<gen_133>": 32135,
"<gen_134>": 32136,
"<gen_135>": 32137,
"<gen_136>": 32138,
"<gen_137>": 32139,
"<gen_138>": 32140,
"<gen_139>": 32141,
"<gen_13>": 32015,
"<gen_140>": 32142,
"<gen_141>": 32143,
"<gen_142>": 32144,
"<gen_143>": 32145,
"<gen_144>": 32146,
"<gen_145>": 32147,
"<gen_146>": 32148,
"<gen_147>": 32149,
"<gen_148>": 32150,
"<gen_149>": 32151,
"<gen_14>": 32016,
"<gen_150>": 32152,
"<gen_151>": 32153,
"<gen_152>": 32154,
"<gen_153>": 32155,
"<gen_154>": 32156,
"<gen_155>": 32157,
"<gen_156>": 32158,
"<gen_157>": 32159,
"<gen_158>": 32160,
"<gen_159>": 32161,
"<gen_15>": 32017,
"<gen_160>": 32162,
"<gen_161>": 32163,
"<gen_162>": 32164,
"<gen_163>": 32165,
"<gen_164>": 32166,
"<gen_165>": 32167,
"<gen_166>": 32168,
"<gen_167>": 32169,
"<gen_168>": 32170,
"<gen_169>": 32171,
"<gen_16>": 32018,
"<gen_170>": 32172,
"<gen_171>": 32173,
"<gen_172>": 32174,
"<gen_173>": 32175,
"<gen_174>": 32176,
"<gen_175>": 32177,
"<gen_176>": 32178,
"<gen_177>": 32179,
"<gen_178>": 32180,
"<gen_179>": 32181,
"<gen_17>": 32019,
"<gen_180>": 32182,
"<gen_181>": 32183,
"<gen_182>": 32184,
"<gen_183>": 32185,
"<gen_184>": 32186,
"<gen_185>": 32187,
"<gen_186>": 32188,
"<gen_187>": 32189,
"<gen_188>": 32190,
"<gen_189>": 32191,
"<gen_18>": 32020,
"<gen_190>": 32192,
"<gen_191>": 32193,
"<gen_192>": 32194,
"<gen_193>": 32195,
"<gen_194>": 32196,
"<gen_195>": 32197,
"<gen_196>": 32198,
"<gen_197>": 32199,
"<gen_198>": 32200,
"<gen_199>": 32201,
"<gen_19>": 32021,
"<gen_1>": 32003,
"<gen_200>": 32202,
"<gen_201>": 32203,
"<gen_202>": 32204,
"<gen_203>": 32205,
"<gen_204>": 32206,
"<gen_205>": 32207,
"<gen_206>": 32208,
"<gen_207>": 32209,
"<gen_208>": 32210,
"<gen_209>": 32211,
"<gen_20>": 32022,
"<gen_210>": 32212,
"<gen_211>": 32213,
"<gen_212>": 32214,
"<gen_213>": 32215,
"<gen_214>": 32216,
"<gen_215>": 32217,
"<gen_216>": 32218,
"<gen_217>": 32219,
"<gen_218>": 32220,
"<gen_219>": 32221,
"<gen_21>": 32023,
"<gen_220>": 32222,
"<gen_221>": 32223,
"<gen_222>": 32224,
"<gen_223>": 32225,
"<gen_224>": 32226,
"<gen_225>": 32227,
"<gen_226>": 32228,
"<gen_227>": 32229,
"<gen_228>": 32230,
"<gen_229>": 32231,
"<gen_22>": 32024,
"<gen_230>": 32232,
"<gen_231>": 32233,
"<gen_232>": 32234,
"<gen_233>": 32235,
"<gen_234>": 32236,
"<gen_235>": 32237,
"<gen_236>": 32238,
"<gen_237>": 32239,
"<gen_238>": 32240,
"<gen_239>": 32241,
"<gen_23>": 32025,
"<gen_240>": 32242,
"<gen_241>": 32243,
"<gen_242>": 32244,
"<gen_243>": 32245,
"<gen_244>": 32246,
"<gen_245>": 32247,
"<gen_246>": 32248,
"<gen_247>": 32249,
"<gen_248>": 32250,
"<gen_249>": 32251,
"<gen_24>": 32026,
"<gen_250>": 32252,
"<gen_251>": 32253,
"<gen_252>": 32254,
"<gen_253>": 32255,
"<gen_254>": 32256,
"<gen_255>": 32257,
"<gen_256>": 32258,
"<gen_25>": 32027,
"<gen_26>": 32028,
"<gen_27>": 32029,
"<gen_28>": 32030,
"<gen_29>": 32031,
"<gen_2>": 32004,
"<gen_30>": 32032,
"<gen_31>": 32033,
"<gen_32>": 32034,
"<gen_33>": 32035,
"<gen_34>": 32036,
"<gen_35>": 32037,
"<gen_36>": 32038,
"<gen_37>": 32039,
"<gen_38>": 32040,
"<gen_39>": 32041,
"<gen_3>": 32005,
"<gen_40>": 32042,
"<gen_41>": 32043,
"<gen_42>": 32044,
"<gen_43>": 32045,
"<gen_44>": 32046,
"<gen_45>": 32047,
"<gen_46>": 32048,
"<gen_47>": 32049,
"<gen_48>": 32050,
"<gen_49>": 32051,
"<gen_4>": 32006,
"<gen_50>": 32052,
"<gen_51>": 32053,
"<gen_52>": 32054,
"<gen_53>": 32055,
"<gen_54>": 32056,
"<gen_55>": 32057,
"<gen_56>": 32058,
"<gen_57>": 32059,
"<gen_58>": 32060,
"<gen_59>": 32061,
"<gen_5>": 32007,
"<gen_60>": 32062,
"<gen_61>": 32063,
"<gen_62>": 32064,
"<gen_63>": 32065,
"<gen_64>": 32066,
"<gen_65>": 32067,
"<gen_66>": 32068,
"<gen_67>": 32069,
"<gen_68>": 32070,
"<gen_69>": 32071,
"<gen_6>": 32008,
"<gen_70>": 32072,
"<gen_71>": 32073,
"<gen_72>": 32074,
"<gen_73>": 32075,
"<gen_74>": 32076,
"<gen_75>": 32077,
"<gen_76>": 32078,
"<gen_77>": 32079,
"<gen_78>": 32080,
"<gen_79>": 32081,
"<gen_7>": 32009,
"<gen_80>": 32082,
"<gen_81>": 32083,
"<gen_82>": 32084,
"<gen_83>": 32085,
"<gen_84>": 32086,
"<gen_85>": 32087,
"<gen_86>": 32088,
"<gen_87>": 32089,
"<gen_88>": 32090,
"<gen_89>": 32091,
"<gen_8>": 32010,
"<gen_90>": 32092,
"<gen_91>": 32093,
"<gen_92>": 32094,
"<gen_93>": 32095,
"<gen_94>": 32096,
"<gen_95>": 32097,
"<gen_96>": 32098,
"<gen_97>": 32099,
"<gen_98>": 32100,
"<gen_99>": 32101,
"<gen_9>": 32011,
"<im_end>": 32260,
"<im_start>": 32259,
"<region>": 32001
}