nemotron-cpu-int4 / tokenizer.json
TechWithRay's picture
Upload folder using huggingface_hub
abfb0a4 verified
{
"version": "1.0",
"truncation": null,
"padding": null,
"added_tokens": [
{
"id": 0,
"content": "<unk>",
"single_word": false,
"lstrip": false,
"rstrip": false,
"normalized": false,
"special": true
}
],
"normalizer": {
"type": "Replace",
"pattern": {
"String": " "
},
"content": "▁"
},
"pre_tokenizer": null,
"post_processor": null,
"decoder": null,
"model": {
"type": "Unigram",
"unk_id": 0,
"vocab": [
[
"<unk>",
0.0
],
[
"▁t",
-1.0
],
[
"▁th",
-2.0
],
[
"▁a",
-3.0
],
[
"in",
-4.0
],
[
"▁the",
-5.0
],
[
"re",
-6.0
],
[
"▁w",
-7.0
],
[
"▁o",
-8.0
],
[
"▁s",
-9.0
],
[
"er",
-10.0
],
[
"at",
-11.0
],
[
"ou",
-12.0
],
[
"nd",
-13.0
],
[
"it",
-14.0
],
[
"is",
-15.0
],
[
"▁h",
-16.0
],
[
"▁b",
-17.0
],
[
"on",
-18.0
],
[
"▁c",
-19.0
],
[
"ing",
-20.0
],
[
"en",
-21.0
],
[
"▁to",
-22.0
],
[
"▁m",
-23.0
],
[
"▁f",
-24.0
],
[
"▁p",
-25.0
],
[
"or",
-26.0
],
[
"an",
-27.0
],
[
"es",
-28.0
],
[
"▁of",
-29.0
],
[
"▁d",
-30.0
],
[
"ed",
-31.0
],
[
"ll",
-32.0
],
[
"▁and",
-33.0
],
[
"▁I",
-34.0
],
[
"▁in",
-35.0
],
[
"▁l",
-36.0
],
[
"ar",
-37.0
],
[
"▁y",
-38.0
],
[
"▁g",
-39.0
],
[
"as",
-40.0
],
[
"▁you",
-41.0
],
[
"om",
-42.0
],
[
"▁n",
-43.0
],
[
"ic",
-44.0
],
[
"ve",
-45.0
],
[
"al",
-46.0
],
[
"ion",
-47.0
],
[
"us",
-48.0
],
[
"▁be",
-49.0
],
[
"ow",
-50.0
],
[
"le",
-51.0
],
[
"▁wh",
-52.0
],
[
"▁e",
-53.0
],
[
"ot",
-54.0
],
[
"ut",
-55.0
],
[
"▁it",
-56.0
],
[
"▁is",
-57.0
],
[
"▁we",
-58.0
],
[
"▁T",
-59.0
],
[
"▁re",
-60.0
],
[
"et",
-61.0
],
[
"▁A",
-62.0
],
[
"ent",
-63.0
],
[
"▁on",
-64.0
],
[
"▁ha",
-65.0
],
[
"ay",
-66.0
],
[
"▁S",
-67.0
],
[
"ct",
-68.0
],
[
"▁Th",
-69.0
],
[
"ver",
-70.0
],
[
"id",
-71.0
],
[
"ig",
-72.0
],
[
"im",
-73.0
],
[
"ro",
-74.0
],
[
"▁for",
-75.0
],
[
"ly",
-76.0
],
[
"▁he",
-77.0
],
[
"ke",
-78.0
],
[
"ld",
-79.0
],
[
"se",
-80.0
],
[
"st",
-81.0
],
[
"ch",
-82.0
],
[
"▁st",
-83.0
],
[
"all",
-84.0
],
[
"ce",
-85.0
],
[
"ur",
-86.0
],
[
"ith",
-87.0
],
[
"am",
-88.0
],
[
"if",
-89.0
],
[
"ir",
-90.0
],
[
"▁go",
-91.0
],
[
"▁u",
-92.0
],
[
"▁as",
-93.0
],
[
"▁was",
-94.0
],
[
"ad",
-95.0
],
[
"▁W",
-96.0
],
[
"▁k",
-97.0
],
[
"▁an",
-98.0
],
[
"ht",
-99.0
],
[
"th",
-100.0
],
[
"▁r",
-101.0
],
[
"▁are",
-102.0
],
[
"ere",
-103.0
],
[
"▁se",
-104.0
],
[
"▁do",
-105.0
],
[
"▁B",
-106.0
],
[
"▁so",
-107.0
],
[
"▁sh",
-108.0
],
[
"▁not",
-109.0
],
[
"▁li",
-110.0
],
[
"od",
-111.0
],
[
"▁C",
-112.0
],
[
"ust",
-113.0
],
[
"ill",
-114.0
],
[
"ight",
-115.0
],
[
"ally",
-116.0
],
[
"▁And",
-117.0
],
[
"ter",
-118.0
],
[
"▁or",
-119.0
],
[
"▁me",
-120.0
],
[
"▁M",
-121.0
],
[
"ome",
-122.0
],
[
"op",
-123.0
],
[
"▁at",
-124.0
],
[
"il",
-125.0
],
[
"▁The",
-126.0
],
[
"ould",
-127.0
],
[
"▁j",
-128.0
],
[
"ant",
-129.0
],
[
"▁So",
-130.0
],
[
"▁H",
-131.0
],
[
"ol",
-132.0
],
[
"ain",
-133.0
],
[
"▁can",
-134.0
],
[
"▁de",
-135.0
],
[
"▁ne",
-136.0
],
[
"ore",
-137.0
],
[
"▁con",
-138.0
],
[
"▁kn",
-139.0
],
[
"ck",
-140.0
],
[
"ul",
-141.0
],
[
"▁fr",
-142.0
],
[
"▁ab",
-143.0
],
[
"ers",
-144.0
],
[
"ess",
-145.0
],
[
"ge",
-146.0
],
[
"▁pro",
-147.0
],
[
"pe",
-148.0
],
[
"ate",
-149.0
],
[
"▁su",
-150.0
],
[
"▁com",
-151.0
],
[
"▁but",
-152.0
],
[
"▁all",
-153.0
],
[
"est",
-154.0
],
[
"qu",
-155.0
],
[
"▁ex",
-156.0
],
[
"▁al",
-157.0
],
[
"ra",
-158.0
],
[
"▁O",
-159.0
],
[
"out",
-160.0
],
[
"use",
-161.0
],
[
"very",
-162.0
],
[
"pp",
-163.0
],
[
"▁Y",
-164.0
],
[
"▁ch",
-165.0
],
[
"ri",
-166.0
],
[
"ist",
-167.0
],
[
"▁v",
-168.0
],
[
"▁lo",
-169.0
],
[
"ment",
-170.0
],
[
"art",
-171.0
],
[
"▁P",
-172.0
],
[
"nt",
-173.0
],
[
"ab",
-174.0
],
[
"▁one",
-175.0
],
[
"▁N",
-176.0
],
[
"ive",
-177.0
],
[
"▁wor",
-178.0
],
[
"ions",
-179.0
],
[
"ort",
-180.0
],
[
"▁L",
-181.0
],
[
"▁by",
-182.0
],
[
"ich",
-183.0
],
[
"▁my",
-184.0
],
[
"ity",
-185.0
],
[
"ok",
-186.0
],
[
"▁G",
-187.0
],
[
"res",
-188.0
],
[
"▁up",
-189.0
],
[
"un",
-190.0
],
[
"um",
-191.0
],
[
"ea",
-192.0
],
[
"ind",
-193.0
],
[
"and",
-194.0
],
[
"ink",
-195.0
],
[
"el",
-196.0
],
[
"▁D",
-197.0
],
[
"em",
-198.0
],
[
"▁E",
-199.0
],
[
"os",
-200.0
],
[
"oug",
-201.0
],
[
"▁if",
-202.0
],
[
"ca",
-203.0
],
[
"▁out",
-204.0
],
[
"▁int",
-205.0
],
[
"ie",
-206.0
],
[
"▁F",
-207.0
],
[
"▁It",
-208.0
],
[
"▁his",
-209.0
],
[
"ard",
-210.0
],
[
"▁had",
-211.0
],
[
"▁tr",
-212.0
],
[
"her",
-213.0
],
[
"our",
-214.0
],
[
"ies",
-215.0
],
[
"ake",
-216.0
],
[
"▁R",
-217.0
],
[
"▁We",
-218.0
],
[
"▁get",
-219.0
],
[
"▁don",
-220.0
],
[
"▁us",
-221.0
],
[
"ak",
-222.0
],
[
"▁pl",
-223.0
],
[
"ect",
-224.0
],
[
"ure",
-225.0
],
[
"ame",
-226.0
],
[
"ast",
-227.0
],
[
"▁who",
-228.0
],
[
"ack",
-229.0
],
[
"▁le",
-230.0
],
[
"▁sa",
-231.0
],
[
"iv",
-232.0
],
[
"ci",
-233.0
],
[
"ide",
-234.0
],
[
"▁tim",
-235.0
],
[
"▁our",
-236.0
],
[
"ound",
-237.0
],
[
"ous",
-238.0
],
[
"▁co",
-239.0
],
[
"▁pe",
-240.0
],
[
"ose",
-241.0
],
[
"ud",
-242.0
],
[
"▁see",
-243.0
],
[
"ough",
-244.0
],
[
"▁man",
-245.0
],
[
"▁qu",
-246.0
],
[
"▁You",
-247.0
],
[
"so",
-248.0
],
[
"ople",
-249.0
],
[
"▁Wh",
-250.0
],
[
"ong",
-251.0
],
[
"ap",
-252.0
],
[
"ther",
-253.0
],
[
"▁J",
-254.0
],
[
"are",
-255.0
],
[
"ine",
-256.0
],
[
"▁say",
-257.0
],
[
"▁im",
-258.0
],
[
"▁But",
-259.0
],
[
"ings",
-260.0
],
[
"▁has",
-261.0
],
[
"▁ag",
-262.0
],
[
"ff",
-263.0
],
[
"▁her",
-264.0
],
[
"itt",
-265.0
],
[
"one",
-266.0
],
[
"▁en",
-267.0
],
[
"▁ar",
-268.0
],
[
"▁fe",
-269.0
],
[
"ven",
-270.0
],
[
"▁any",
-271.0
],
[
"▁mo",
-272.0
],
[
"reat",
-273.0
],
[
"ag",
-274.0
],
[
"▁how",
-275.0
],
[
"▁cl",
-276.0
],
[
"pt",
-277.0
],
[
"▁now",
-278.0
],
[
"own",
-279.0
],
[
"ber",
-280.0
],
[
"▁him",
-281.0
],
[
"▁act",
-282.0
],
[
"hing",
-283.0
],
[
"ice",
-284.0
],
[
"▁no",
-285.0
],
[
"ans",
-286.0
],
[
"iz",
-287.0
],
[
"▁fa",
-288.0
],
[
"per",
-289.0
],
[
"pl",
-290.0
],
[
"▁te",
-291.0
],
[
"▁ad",
-292.0
],
[
"age",
-293.0
],
[
"ree",
-294.0
],
[
"▁tw",
-295.0
],
[
"ank",
-296.0
],
[
"▁He",
-297.0
],
[
"ple",
-298.0
],
[
"ite",
-299.0
],
[
"ry",
-300.0
],
[
"▁U",
-301.0
],
[
"ish",
-302.0
],
[
"ire",
-303.0
],
[
"ue",
-304.0
],
[
"▁In",
-305.0
],
[
"▁she",
-306.0
],
[
"ble",
-307.0
],
[
"cc",
-308.0
],
[
"nder",
-309.0
],
[
"▁way",
-310.0
],
[
"▁pr",
-311.0
],
[
"ear",
-312.0
],
[
"▁did",
-313.0
],
[
"▁po",
-314.0
],
[
"eah",
-315.0
],
[
"▁un",
-316.0
],
[
"omet",
-317.0
],
[
"ence",
-318.0
],
[
"ep",
-319.0
],
[
"uch",
-320.0
],
[
"▁sp",
-321.0
],
[
"ach",
-322.0
],
[
"og",
-323.0
],
[
"ance",
-324.0
],
[
"able",
-325.0
],
[
"iff",
-326.0
],
[
"sel",
-327.0
],
[
"▁got",
-328.0
],
[
"way",
-329.0
],
[
"▁gr",
-330.0
],
[
"alk",
-331.0
],
[
"▁res",
-332.0
],
[
"ated",
-333.0
],
[
"irst",
-334.0
],
[
"ick",
-335.0
],
[
"ass",
-336.0
],
[
"▁two",
-337.0
],
[
"▁dis",
-338.0
],
[
"ord",
-339.0
],
[
"▁pre",
-340.0
],
[
"ount",
-341.0
],
[
"ase",
-342.0
],
[
"ip",
-343.0
],
[
"ult",
-344.0
],
[
"ical",
-345.0
],
[
"orm",
-346.0
],
[
"ary",
-347.0
],
[
"ace",
-348.0
],
[
"▁spe",
-349.0
],
[
"▁Ch",
-350.0
],
[
"▁thr",
-351.0
],
[
"▁imp",
-352.0
],
[
"int",
-353.0
],
[
"▁am",
-354.0
],
[
"▁off",
-355.0
],
[
"act",
-356.0
],
[
"ia",
-357.0
],
[
"▁ro",
-358.0
],
[
"ress",
-359.0
],
[
"▁per",
-360.0
],
[
"▁fo",
-361.0
],
[
"▁br",
-362.0
],
[
"▁K",
-363.0
],
[
"vel",
-364.0
],
[
"▁gu",
-365.0
],
[
"▁bo",
-366.0
],
[
"ang",
-367.0
],
[
"kay",
-368.0
],
[
"ub",
-369.0
],
[
"ign",
-370.0
],
[
"▁may",
-371.0
],
[
"ving",
-372.0
],
[
"ces",
-373.0
],
[
"ens",
-374.0
],
[
"cl",
-375.0
],
[
"▁lot",
-376.0
],
[
"ru",
-377.0
],
[
"ade",
-378.0
],
[
"▁bet",
-379.0
],
[
"▁bl",
-380.0
],
[
"▁let",
-381.0
],
[
"fore",
-382.0
],
[
"co",
-383.0
],
[
"ild",
-384.0
],
[
"ning",
-385.0
],
[
"xt",
-386.0
],
[
"ile",
-387.0
],
[
"ark",
-388.0
],
[
"self",
-389.0
],
[
"▁app",
-390.0
],
[
"ory",
-391.0
],
[
"du",
-392.0
],
[
"▁day",
-393.0
],
[
"▁St",
-394.0
],
[
"ater",
-395.0
],
[
"▁use",
-396.0
],
[
"ys",
-397.0
],
[
"fter",
-398.0
],
[
"▁new",
-399.0
],
[
"ious",
-400.0
],
[
"ial",
-401.0
],
[
"he",
-402.0
],
[
"wn",
-403.0
],
[
"ved",
-404.0
],
[
"red",
-405.0
],
[
"▁fl",
-406.0
],
[
"iss",
-407.0
],
[
"ody",
-408.0
],
[
"form",
-409.0
],
[
"ian",
-410.0
],
[
"tain",
-411.0
],
[
"▁bu",
-412.0
],
[
"▁V",
-413.0
],
[
"▁rec",
-414.0
],
[
"ty",
-415.0
],
[
"be",
-416.0
],
[
"▁sc",
-417.0
],
[
"ors",
-418.0
],
[
"vers",
-419.0
],
[
"▁put",
-420.0
],
[
"ife",
-421.0
],
[
"▁If",
-422.0
],
[
"we",
-423.0
],
[
"te",
-424.0
],
[
"ject",
-425.0
],
[
"ath",
-426.0
],
[
"ting",
-427.0
],
[
"▁rem",
-428.0
],
[
"▁acc",
-429.0
],
[
"ull",
-430.0
],
[
"ons",
-431.0
],
[
"▁ind",
-432.0
],
[
"▁ser",
-433.0
],
[
"▁ke",
-434.0
],
[
"ates",
-435.0
],
[
"ves",
-436.0
],
[
"na",
-437.0
],
[
"lic",
-438.0
],
[
"▁des",
-439.0
],
[
"▁its",
-440.0
],
[
"ful",
-441.0
],
[
"ents",
-442.0
],
[
"erm",
-443.0
],
[
"ac",
-444.0
],
[
"ered",
-445.0
],
[
"ise",
-446.0
],
[
"▁sy",
-447.0
],
[
"urn",
-448.0
],
[
"▁em",
-449.0
],
[
"oth",
-450.0
],
[
"ual",
-451.0
],
[
"ne",
-452.0
],
[
"ward",
-453.0
],
[
"ib",
-454.0
],
[
"▁try",
-455.0
],
[
"▁pos",
-456.0
],
[
"nds",
-457.0
],
[
"ft",
-458.0
],
[
"get",
-459.0
],
[
"ph",
-460.0
],
[
"▁ob",
-461.0
],
[
"ady",
-462.0
],
[
"igh",
-463.0
],
[
"ood",
-464.0
],
[
"▁rel",
-465.0
],
[
"▁wr",
-466.0
],
[
"ug",
-467.0
],
[
"ears",
-468.0
],
[
"ail",
-469.0
],
[
"▁Now",
-470.0
],
[
"▁bit",
-471.0
],
[
"ng",
-472.0
],
[
"▁Oh",
-473.0
],
[
"▁hel",
-474.0
],
[
"ange",
-475.0
],
[
"▁reg",
-476.0
],
[
"▁rep",
-477.0
],
[
"▁bel",
-478.0
],
[
"▁sm",
-479.0
],
[
"ost",
-480.0
],
[
"tern",
-481.0
],
[
"gr",
-482.0
],
[
"▁own",
-483.0
],
[
"▁end",
-484.0
],
[
"pect",
-485.0
],
[
"ily",
-486.0
],
[
"day",
-487.0
],
[
"ied",
-488.0
],
[
"ific",
-489.0
],
[
"ower",
-490.0
],
[
"▁add",
-491.0
],
[
"cess",
-492.0
],
[
"ict",
-493.0
],
[
"ible",
-494.0
],
[
"▁bas",
-495.0
],
[
"▁i",
-496.0
],
[
"▁op",
-497.0
],
[
"cial",
-498.0
],
[
"ular",
-499.0
],
[
"▁Be",
-500.0
],
[
"ced",
-501.0
],
[
"▁too",
-502.0
],
[
"ks",
-503.0
],
[
"ew",
-504.0
],
[
"mer",
-505.0
],
[
"▁ph",
-506.0
],
[
"ob",
-507.0
],
[
"==",
-508.0
],
[
"▁la",
-509.0
],
[
"▁set",
-510.0
],
[
"▁min",
-511.0
],
[
"▁sub",
-512.0
],
[
"▁gen",
-513.0
],
[
"atch",
-514.0
],
[
"..",
-515.0
],
[
"▁inv",
-516.0
],
[
"▁As",
-517.0
],
[
"▁nat",
-518.0
],
[
"▁sl",
-519.0
],
[
"▁num",
-520.0
],
[
"av",
-521.0
],
[
"ways",
-522.0
],
[
"▁God",
-523.0
],
[
"stem",
-524.0
],
[
"▁ac",
-525.0
],
[
"▁att",
-526.0
],
[
"▁ev",
-527.0
],
[
"▁def",
-528.0
],
[
"llow",
-529.0
],
[
"▁str",
-530.0
],
[
"lect",
-531.0
],
[
"ars",
-532.0
],
[
"▁cr",
-533.0
],
[
"▁Is",
-534.0
],
[
"olog",
-535.0
],
[
"les",
-536.0
],
[
"oy",
-537.0
],
[
"▁ask",
-538.0
],
[
"▁inc",
-539.0
],
[
"body",
-540.0
],
[
"▁ent",
-541.0
],
[
"▁pol",
-542.0
],
[
"ness",
-543.0
],
[
"ix",
-544.0
],
[
"▁why",
-545.0
],
[
"onna",
-546.0
],
[
"▁ear",
-547.0
],
[
"▁tak",
-548.0
],
[
"▁Un",
-549.0
],
[
"ited",
-550.0
],
[
"mun",
-551.0
],
[
"li",
-552.0
],
[
"ute",
-553.0
],
[
"ract",
-554.0
],
[
"▁dec",
-555.0
],
[
"uro",
-556.0
],
[
"▁mak",
-557.0
],
[
"▁fin",
-558.0
],
[
"ween",
-559.0
],
[
"▁No",
-560.0
],
[
"arch",
-561.0
],
[
"▁bec",
-562.0
],
[
"gan",
-563.0
],
[
"old",
-564.0
],
[
"cy",
-565.0
],
[
"▁big",
-566.0
],
[
"▁For",
-567.0
],
[
"ren",
-568.0
],
[
"als",
-569.0
],
[
"und",
-570.0
],
[
"▁Al",
-571.0
],
[
"▁All",
-572.0
],
[
"ss",
-573.0
],
[
"ows",
-574.0
],
[
"▁mod",
-575.0
],
[
"ock",
-576.0
],
[
"▁id",
-577.0
],
[
"ism",
-578.0
],
[
"cus",
-579.0
],
[
"▁gl",
-580.0
],
[
"ably",
-581.0
],
[
"▁ass",
-582.0
],
[
"▁car",
-583.0
],
[
"ata",
-584.0
],
[
"ppen",
-585.0
],
[
"led",
-586.0
],
[
"▁sim",
-587.0
],
[
"▁mon",
-588.0
],
[
"ics",
-589.0
],
[
"▁giv",
-590.0
],
[
"cept",
-591.0
],
[
"▁Mr",
-592.0
],
[
"pan",
-593.0
],
[
"▁pub",
-594.0
],
[
"▁eff",
-595.0
],
[
"▁How",
-596.0
],
[
"ps",
-597.0
],
[
"vern",
-598.0
],
[
"end",
-599.0
],
[
"hip",
-600.0
],
[
"iew",
-601.0
],
[
"ope",
-602.0
],
[
"▁An",
-603.0
],
[
"▁She",
-604.0
],
[
"▁Com",
-605.0
],
[
"ee",
-606.0
],
[
"ures",
-607.0
],
[
"ell",
-608.0
],
[
"ouse",
-609.0
],
[
"cond",
-610.0
],
[
"king",
-611.0
],
[
"oc",
-612.0
],
[
"ues",
-613.0
],
[
"ever",
-614.0
],
[
"▁To",
-615.0
],
[
"clud",
-616.0
],
[
"▁ins",
-617.0
],
[
"▁exp",
-618.0
],
[
"▁old",
-619.0
],
[
"▁mem",
-620.0
],
[
"▁ref",
-621.0
],
[
"▁tra",
-622.0
],
[
"▁far",
-623.0
],
[
"ave",
-624.0
],
[
"rat",
-625.0
],
[
"▁sur",
-626.0
],
[
"ruct",
-627.0
],
[
"rib",
-628.0
],
[
"duct",
-629.0
],
[
"uff",
-630.0
],
[
"▁met",
-631.0
],
[
"▁sch",
-632.0
],
[
"ince",
-633.0
],
[
"▁run",
-634.0
],
[
"ense",
-635.0
],
[
"▁cle",
-636.0
],
[
"▁==",
-637.0
],
[
"mon",
-638.0
],
[
"ize",
-639.0
],
[
"▁ord",
-640.0
],
[
"blem",
-641.0
],
[
"tin",
-642.0
],
[
"▁Let",
-643.0
],
[
"ner",
-644.0
],
[
"ond",
-645.0
],
[
"its",
-646.0
],
[
"▁cor",
-647.0
],
[
"land",
-648.0
],
[
"▁cur",
-649.0
],
[
"▁Re",
-650.0
],
[
"▁bus",
-651.0
],
[
"▁uh",
-652.0
],
[
"air",
-653.0
],
[
"ote",
-654.0
],
[
"ants",
-655.0
],
[
"ason",
-656.0
],
[
"ric",
-657.0
],
[
"▁el",
-658.0
],
[
"▁cer",
-659.0
],
[
"nce",
-660.0
],
[
"▁fam",
-661.0
],
[
"▁cap",
-662.0
],
[
"uck",
-663.0
],
[
"ool",
-664.0
],
[
"ried",
-665.0
],
[
"▁cou",
-666.0
],
[
"▁fun",
-667.0
],
[
"▁wom",
-668.0
],
[
"▁hum",
-669.0
],
[
"▁ty",
-670.0
],
[
"▁ap",
-671.0
],
[
"ike",
-672.0
],
[
"▁few",
-673.0
],
[
"oney",
-674.0
],
[
"▁inf",
-675.0
],
[
"ont",
-676.0
],
[
"ese",
-677.0
],
[
"ook",
-678.0
],
[
"gy",
-679.0
],
[
"uth",
-680.0
],
[
"ulat",
-681.0
],
[
"ieve",
-682.0
],
[
"ized",
-683.0
],
[
"ross",
-684.0
],
[
"▁ple",
-685.0
],
[
"▁um",
-686.0
],
[
"▁val",
-687.0
],
[
"▁equ",
-688.0
],
[
"▁lea",
-689.0
],
[
"▁lar",
-690.0
],
[
"ah",
-691.0
],
[
"eral",
-692.0
],
[
"▁ed",
-693.0
],
[
"ared",
-694.0
],
[
"lish",
-695.0
],
[
"arn",
-696.0
],
[
"ds",
-697.0
],
[
"esn",
-698.0
],
[
"▁iss",
-699.0
],
[
"▁ca",
-700.0
],
[
"ted",
-701.0
],
[
"ices",
-702.0
],
[
"▁wee",
-703.0
],
[
"ash",
-704.0
],
[
"▁top",
-705.0
],
[
"ten",
-706.0
],
[
"up",
-707.0
],
[
"ts",
-708.0
],
[
"gin",
-709.0
],
[
"con",
-710.0
],
[
"ari",
-711.0
],
[
"▁opp",
-712.0
],
[
"osed",
-713.0
],
[
"▁eas",
-714.0
],
[
"▁ext",
-715.0
],
[
"gg",
-716.0
],
[
"az",
-717.0
],
[
"▁Fr",
-718.0
],
[
"ideo",
-719.0
],
[
"izat",
-720.0
],
[
"▁men",
-721.0
],
[
"▁mom",
-722.0
],
[
"▁ret",
-723.0
],
[
"tty",
-724.0
],
[
"rist",
-725.0
],
[
"▁gra",
-726.0
],
[
"alth",
-727.0
],
[
"ef",
-728.0
],
[
"▁det",
-729.0
],
[
"ax",
-730.0
],
[
"▁mat",
-731.0
],
[
"chn",
-732.0
],
[
"ern",
-733.0
],
[
"peri",
-734.0
],
[
"▁bre",
-735.0
],
[
"▁Sh",
-736.0
],
[
"sw",
-737.0
],
[
"erat",
-738.0
],
[
"▁sit",
-739.0
],
[
"ters",
-740.0
],
[
"ale",
-741.0
],
[
"man",
-742.0
],
[
"▁sol",
-743.0
],
[
"ork",
-744.0
],
[
"▁adv",
-745.0
],
[
"ety",
-746.0
],
[
"▁vis",
-747.0
],
[
"▁med",
-748.0
],
[
"uc",
-749.0
],
[
"less",
-750.0
],
[
"▁unt",
-751.0
],
[
"gram",
-752.0
],
[
"ets",
-753.0
],
[
"ists",
-754.0
],
[
"▁ey",
-755.0
],
[
"▁col",
-756.0
],
[
"imes",
-757.0
],
[
"▁law",
-758.0
],
[
"▁pri",
-759.0
],
[
"sid",
-760.0
],
[
"▁On",
-761.0
],
[
"▁mot",
-762.0
],
[
"ield",
-763.0
],
[
"▁Do",
-764.0
],
[
"▁At",
-765.0
],
[
"ages",
-766.0
],
[
"amp",
-767.0
],
[
"▁art",
-768.0
],
[
"miss",
-769.0
],
[
"▁sk",
-770.0
],
[
"alf",
-771.0
],
[
"pr",
-772.0
],
[
"ier",
-773.0
],
[
"▁beh",
-774.0
],
[
"▁Yes",
-775.0
],
[
"ural",
-776.0
],
[
"ime",
-777.0
],
[
"▁wa",
-778.0
],
[
"oks",
-779.0
],
[
"bers",
-780.0
],
[
"ger",
-781.0
],
[
"ient",
-782.0
],
[
"ries",
-783.0
],
[
"...",
-784.0
],
[
"▁che",
-785.0
],
[
"▁Br",
-786.0
],
[
"ird",
-787.0
],
[
"▁Ar",
-788.0
],
[
"▁war",
-789.0
],
[
"inat",
-790.0
],
[
"▁My",
-791.0
],
[
"ital",
-792.0
],
[
"wh",
-793.0
],
[
"med",
-794.0
],
[
"▁pur",
-795.0
],
[
"ully",
-796.0
],
[
"▁One",
-797.0
],
[
"▁rat",
-798.0
],
[
"ines",
-799.0
],
[
"▁Of",
-800.0
],
[
"io",
-801.0
],
[
"▁loc",
-802.0
],
[
"ret",
-803.0
],
[
"ctor",
-804.0
],
[
"▁leg",
-805.0
],
[
"stit",
-806.0
],
[
"ined",
-807.0
],
[
"ught",
-808.0
],
[
"▁dur",
-809.0
],
[
"▁es",
-810.0
],
[
"vent",
-811.0
],
[
"aj",
-812.0
],
[
"▁bro",
-813.0
],
[
"▁saw",
-814.0
],
[
"▁sec",
-815.0
],
[
"ream",
-816.0
],
[
"▁pop",
-817.0
],
[
"reen",
-818.0
],
[
"▁Ind",
-819.0
],
[
"els",
-820.0
],
[
"▁yet",
-821.0
],
[
"ired",
-822.0
],
[
"▁sw",
-823.0
],
[
"tro",
-824.0
],
[
"oup",
-825.0
],
[
"most",
-826.0
],
[
"pean",
-827.0
],
[
"eds",
-828.0
],
[
"ush",
-829.0
],
[
"oh",
-830.0
],
[
"▁Se",
-831.0
],
[
"▁tea",
-832.0
],
[
"ann",
-833.0
],
[
"ilit",
-834.0
],
[
"err",
-835.0
],
[
"pend",
-836.0
],
[
"ton",
-837.0
],
[
"ased",
-838.0
],
[
"▁aff",
-839.0
],
[
"▁mor",
-840.0
],
[
"▁dra",
-841.0
],
[
"put",
-842.0
],
[
"▁dr",
-843.0
],
[
"ins",
-844.0
],
[
"uat",
-845.0
],
[
"nect",
-846.0
],
[
"cri",
-847.0
],
[
"outh",
-848.0
],
[
"▁ra",
-849.0
],
[
"▁pay",
-850.0
],
[
"ms",
-851.0
],
[
"▁av",
-852.0
],
[
"bs",
-853.0
],
[
"ling",
-854.0
],
[
"▁De",
-855.0
],
[
"▁Or",
-856.0
],
[
"ove",
-857.0
],
[
"▁Can",
-858.0
],
[
"▁eng",
-859.0
],
[
"ames",
-860.0
],
[
"ided",
-861.0
],
[
"▁Go",
-862.0
],
[
"mitt",
-863.0
],
[
"ode",
-864.0
],
[
"▁cre",
-865.0
],
[
"par",
-866.0
],
[
"ides",
-867.0
],
[
"pos",
-868.0
],
[
"▁fav",
-869.0
],
[
"▁air",
-870.0
],
[
"▁New",
-871.0
],
[
"▁bad",
-872.0
],
[
"▁six",
-873.0
],
[
"vat",
-874.0
],
[
"▁pat",
-875.0
],
[
"not",
-876.0
],
[
"▁di",
-877.0
],
[
"rop",
-878.0
],
[
"ral",
-879.0
],
[
"orn",
-880.0
],
[
"▁par",
-881.0
],
[
"cing",
-882.0
],
[
"▁aw",
-883.0
],
[
"orts",
-884.0
],
[
"ox",
-885.0
],
[
"▁yes",
-886.0
],
[
"cuss",
-887.0
],
[
"eng",
-888.0
],
[
"ives",
-889.0
],
[
"erms",
-890.0
],
[
"▁job",
-891.0
],
[
"mand",
-892.0
],
[
"ying",
-893.0
],
[
"▁occ",
-894.0
],
[
"aps",
-895.0
],
[
"ases",
-896.0
],
[
"▁Not",
-897.0
],
[
"rent",
-898.0
],
[
"ency",
-899.0
],
[
"att",
-900.0
],
[
"ised",
-901.0
],
[
"vice",
-902.0
],
[
"▁Eng",
-903.0
],
[
"▁est",
-904.0
],
[
"oked",
-905.0
],
[
"▁Q",
-906.0
],
[
"iron",
-907.0
],
[
"idd",
-908.0
],
[
"me",
-909.0
],
[
"unch",
-910.0
],
[
"ane",
-911.0
],
[
"▁z",
-912.0
],
[
"br",
-913.0
],
[
"arts",
-914.0
],
[
"▁fat",
-915.0
],
[
"ery",
-916.0
],
[
"anks",
-917.0
],
[
"▁jo",
-918.0
],
[
"▁mar",
-919.0
],
[
"aw",
-920.0
],
[
"ott",
-921.0
],
[
"ards",
-922.0
],
[
"▁oh",
-923.0
],
[
"ians",
-924.0
],
[
"▁sci",
-925.0
],
[
"row",
-926.0
],
[
"unt",
-927.0
],
[
"ury",
-928.0
],
[
"▁abs",
-929.0
],
[
"ergy",
-930.0
],
[
"▁Z",
-931.0
],
[
"ump",
-932.0
],
[
"▁Am",
-933.0
],
[
"ened",
-934.0
],
[
"angu",
-935.0
],
[
"▁Pro",
-936.0
],
[
"icat",
-937.0
],
[
"itch",
-938.0
],
[
"▁dri",
-939.0
],
[
"iat",
-940.0
],
[
"▁",
-941.0
],
[
"e",
-942.0
],
[
"t",
-943.0
],
[
"o",
-944.0
],
[
"a",
-945.0
],
[
"n",
-946.0
],
[
"i",
-947.0
],
[
"s",
-948.0
],
[
"r",
-949.0
],
[
"h",
-950.0
],
[
"l",
-951.0
],
[
"d",
-952.0
],
[
"u",
-953.0
],
[
"c",
-954.0
],
[
"m",
-955.0
],
[
"y",
-956.0
],
[
"g",
-957.0
],
[
"w",
-958.0
],
[
"f",
-959.0
],
[
"p",
-960.0
],
[
",",
-961.0
],
[
".",
-962.0
],
[
"b",
-963.0
],
[
"v",
-964.0
],
[
"k",
-965.0
],
[
"'",
-966.0
],
[
"I",
-967.0
],
[
"T",
-968.0
],
[
"A",
-969.0
],
[
"S",
-970.0
],
[
"x",
-971.0
],
[
"W",
-972.0
],
[
"j",
-973.0
],
[
"C",
-974.0
],
[
"B",
-975.0
],
[
"M",
-976.0
],
[
"?",
-977.0
],
[
"H",
-978.0
],
[
"O",
-979.0
],
[
"0",
-980.0
],
[
"P",
-981.0
],
[
"q",
-982.0
],
[
"Y",
-983.0
],
[
"N",
-984.0
],
[
"L",
-985.0
],
[
"D",
-986.0
],
[
"1",
-987.0
],
[
"E",
-988.0
],
[
"G",
-989.0
],
[
"z",
-990.0
],
[
"F",
-991.0
],
[
"R",
-992.0
],
[
"-",
-993.0
],
[
"2",
-994.0
],
[
"J",
-995.0
],
[
"U",
-996.0
],
[
"9",
-997.0
],
[
"K",
-998.0
],
[
"5",
-999.0
],
[
"3",
-1000.0
],
[
"V",
-1001.0
],
[
"=",
-1002.0
],
[
"4",
-1003.0
],
[
"8",
-1004.0
],
[
"6",
-1005.0
],
[
"7",
-1006.0
],
[
"!",
-1007.0
],
[
"%",
-1008.0
],
[
":",
-1009.0
],
[
"Q",
-1010.0
],
[
"Z",
-1011.0
],
[
"$",
-1012.0
],
[
"X",
-1013.0
],
[
"\"",
-1014.0
],
[
"&",
-1015.0
],
[
"*",
-1016.0
],
[
"/",
-1017.0
],
[
"£",
-1018.0
],
[
"+",
-1019.0
],
[
"€",
-1020.0
],
[
"_",
-1021.0
],
[
"^",
-1022.0
],
[
"¥",
-1023.0
],
[
"<blank>",
0.0
]
]
},
"pretokenizer": {
"pretokenizers": [
{
"type": "Metaspace",
"add_prefix_space": false
}
]
}
}