[パラメータ数] google/mt5-small 300176768
[新しいモデルの保存先] mt5_emp
[LOG] 特殊語彙 id=0 type=3 <pad> 0.0
[LOG] 特殊語彙 id=1 type=3 </s> 0.0
[LOG] 特殊語彙 id=2 type=2 <unk> 0.0
[LOG] 特殊語彙 id=250000 type=4 ▁<extra_id_99> 0.0
[LOG] 特殊語彙 id=250001 type=4 ▁<extra_id_98> 0.0
[LOG] 特殊語彙 id=250002 type=4 ▁<extra_id_97> 0.0
[LOG] 特殊語彙 id=250003 type=4 ▁<extra_id_96> 0.0
[LOG] 特殊語彙 id=250004 type=4 ▁<extra_id_95> 0.0
[LOG] 特殊語彙 id=250005 type=4 ▁<extra_id_94> 0.0
[LOG] 特殊語彙 id=250006 type=4 ▁<extra_id_93> 0.0
[LOG] 特殊語彙 id=250007 type=4 ▁<extra_id_92> 0.0
[LOG] 特殊語彙 id=250008 type=4 ▁<extra_id_91> 0.0
[LOG] 特殊語彙 id=250009 type=4 ▁<extra_id_90> 0.0
[LOG] 特殊語彙 id=250010 type=4 ▁<extra_id_89> 0.0
[LOG] 特殊語彙 id=250011 type=4 ▁<extra_id_88> 0.0
[LOG] 特殊語彙 id=250012 type=4 ▁<extra_id_87> 0.0
[LOG] 特殊語彙 id=250013 type=4 ▁<extra_id_86> 0.0
[LOG] 特殊語彙 id=250014 type=4 ▁<extra_id_85> 0.0
[LOG] 特殊語彙 id=250015 type=4 ▁<extra_id_84> 0.0
[LOG] 特殊語彙 id=250016 type=4 ▁<extra_id_83> 0.0
[LOG] 特殊語彙 id=250017 type=4 ▁<extra_id_82> 0.0
[LOG] 特殊語彙 id=250018 type=4 ▁<extra_id_81> 0.0
[LOG] 特殊語彙 id=250019 type=4 ▁<extra_id_80> 0.0
[LOG] 特殊語彙 id=250020 type=4 ▁<extra_id_79> 0.0
[LOG] 特殊語彙 id=250021 type=4 ▁<extra_id_78> 0.0
[LOG] 特殊語彙 id=250022 type=4 ▁<extra_id_77> 0.0
[LOG] 特殊語彙 id=250023 type=4 ▁<extra_id_76> 0.0
[LOG] 特殊語彙 id=250024 type=4 ▁<extra_id_75> 0.0
[LOG] 特殊語彙 id=250025 type=4 ▁<extra_id_74> 0.0
[LOG] 特殊語彙 id=250026 type=4 ▁<extra_id_73> 0.0
[LOG] 特殊語彙 id=250027 type=4 ▁<extra_id_72> 0.0
[LOG] 特殊語彙 id=250028 type=4 ▁<extra_id_71> 0.0
[LOG] 特殊語彙 id=250029 type=4 ▁<extra_id_70> 0.0
[LOG] 特殊語彙 id=250030 type=4 ▁<extra_id_69> 0.0
[LOG] 特殊語彙 id=250031 type=4 ▁<extra_id_68> 0.0
[LOG] 特殊語彙 id=250032 type=4 ▁<extra_id_67> 0.0
[LOG] 特殊語彙 id=250033 type=4 ▁<extra_id_66> 0.0
[LOG] 特殊語彙 id=250034 type=4 ▁<extra_id_65> 0.0
[LOG] 特殊語彙 id=250035 type=4 ▁<extra_id_64> 0.0
[LOG] 特殊語彙 id=250036 type=4 ▁<extra_id_63> 0.0
[LOG] 特殊語彙 id=250037 type=4 ▁<extra_id_62> 0.0
[LOG] 特殊語彙 id=250038 type=4 ▁<extra_id_61> 0.0
[LOG] 特殊語彙 id=250039 type=4 ▁<extra_id_60> 0.0
[LOG] 特殊語彙 id=250040 type=4 ▁<extra_id_59> 0.0
[LOG] 特殊語彙 id=250041 type=4 ▁<extra_id_58> 0.0
[LOG] 特殊語彙 id=250042 type=4 ▁<extra_id_57> 0.0
[LOG] 特殊語彙 id=250043 type=4 ▁<extra_id_56> 0.0
[LOG] 特殊語彙 id=250044 type=4 ▁<extra_id_55> 0.0
[LOG] 特殊語彙 id=250045 type=4 ▁<extra_id_54> 0.0
[LOG] 特殊語彙 id=250046 type=4 ▁<extra_id_53> 0.0
[LOG] 特殊語彙 id=250047 type=4 ▁<extra_id_52> 0.0
[LOG] 特殊語彙 id=250048 type=4 ▁<extra_id_51> 0.0
[LOG] 特殊語彙 id=250049 type=4 ▁<extra_id_50> 0.0
[LOG] 特殊語彙 id=250050 type=4 ▁<extra_id_49> 0.0
[LOG] 特殊語彙 id=250051 type=4 ▁<extra_id_48> 0.0
[LOG] 特殊語彙 id=250052 type=4 ▁<extra_id_47> 0.0
[LOG] 特殊語彙 id=250053 type=4 ▁<extra_id_46> 0.0
[LOG] 特殊語彙 id=250054 type=4 ▁<extra_id_45> 0.0
[LOG] 特殊語彙 id=250055 type=4 ▁<extra_id_44> 0.0
[LOG] 特殊語彙 id=250056 type=4 ▁<extra_id_43> 0.0
[LOG] 特殊語彙 id=250057 type=4 ▁<extra_id_42> 0.0
[LOG] 特殊語彙 id=250058 type=4 ▁<extra_id_41> 0.0
[LOG] 特殊語彙 id=250059 type=4 ▁<extra_id_40> 0.0
[LOG] 特殊語彙 id=250060 type=4 ▁<extra_id_39> 0.0
[LOG] 特殊語彙 id=250061 type=4 ▁<extra_id_38> 0.0
[LOG] 特殊語彙 id=250062 type=4 ▁<extra_id_37> 0.0
[LOG] 特殊語彙 id=250063 type=4 ▁<extra_id_36> 0.0
[LOG] 特殊語彙 id=250064 type=4 ▁<extra_id_35> 0.0
[LOG] 特殊語彙 id=250065 type=4 ▁<extra_id_34> 0.0
[LOG] 特殊語彙 id=250066 type=4 ▁<extra_id_33> 0.0
[LOG] 特殊語彙 id=250067 type=4 ▁<extra_id_32> 0.0
[LOG] 特殊語彙 id=250068 type=4 ▁<extra_id_31> 0.0
[LOG] 特殊語彙 id=250069 type=4 ▁<extra_id_30> 0.0
[LOG] 特殊語彙 id=250070 type=4 ▁<extra_id_29> 0.0
[LOG] 特殊語彙 id=250071 type=4 ▁<extra_id_28> 0.0
[LOG] 特殊語彙 id=250072 type=4 ▁<extra_id_27> 0.0
[LOG] 特殊語彙 id=250073 type=4 ▁<extra_id_26> 0.0
[LOG] 特殊語彙 id=250074 type=4 ▁<extra_id_25> 0.0
[LOG] 特殊語彙 id=250075 type=4 ▁<extra_id_24> 0.0
[LOG] 特殊語彙 id=250076 type=4 ▁<extra_id_23> 0.0
[LOG] 特殊語彙 id=250077 type=4 ▁<extra_id_22> 0.0
[LOG] 特殊語彙 id=250078 type=4 ▁<extra_id_21> 0.0
[LOG] 特殊語彙 id=250079 type=4 ▁<extra_id_20> 0.0
[LOG] 特殊語彙 id=250080 type=4 ▁<extra_id_19> 0.0
[LOG] 特殊語彙 id=250081 type=4 ▁<extra_id_18> 0.0
[LOG] 特殊語彙 id=250082 type=4 ▁<extra_id_17> 0.0
[LOG] 特殊語彙 id=250083 type=4 ▁<extra_id_16> 0.0
[LOG] 特殊語彙 id=250084 type=4 ▁<extra_id_15> 0.0
[LOG] 特殊語彙 id=250085 type=4 ▁<extra_id_14> 0.0
[LOG] 特殊語彙 id=250086 type=4 ▁<extra_id_13> 0.0
[LOG] 特殊語彙 id=250087 type=4 ▁<extra_id_12> 0.0
[LOG] 特殊語彙 id=250088 type=4 ▁<extra_id_11> 0.0
[LOG] 特殊語彙 id=250089 type=4 ▁<extra_id_10> 0.0
[LOG] 特殊語彙 id=250090 type=4 ▁<extra_id_9> 0.0
[LOG] 特殊語彙 id=250091 type=4 ▁<extra_id_8> 0.0
[LOG] 特殊語彙 id=250092 type=4 ▁<extra_id_7> 0.0
[LOG] 特殊語彙 id=250093 type=4 ▁<extra_id_6> 0.0
[LOG] 特殊語彙 id=250094 type=4 ▁<extra_id_5> 0.0
[LOG] 特殊語彙 id=250095 type=4 ▁<extra_id_4> 0.0
[LOG] 特殊語彙 id=250096 type=4 ▁<extra_id_3> 0.0
[LOG] 特殊語彙 id=250097 type=4 ▁<extra_id_2> 0.0
[LOG] 特殊語彙 id=250098 type=4 ▁<extra_id_1> 0.0
[LOG] 特殊語彙 id=250099 type=4 ▁<extra_id_0> 0.0
[全語彙数] 249741
[スコア統計]                    s
count  249741.000000
mean      -13.801495
std         1.294186
min       -20.280148
25%       -14.515090
50%       -13.899386
75%       -13.113684
max        -2.320359
[置き換える語彙数] 0
[重複語数] 3612 トリム数 0
全角ゴミ 189
半角ゴミ 10054
記号ゴミ 231
[記号ゴミ] 10474
数字ゴミ 7052
[数字重複] 7052
[消去可能な字句] 21138
[実際に置き換える語] 0
mt5_emp PreTrainedTokenizer(name_or_path='mt5_emp', vocab_size=250100, model_max_len=1000000000000000019884624838656, is_fast=False, padding_side='right', truncation_side='right', special_tokens={'eos_token': '</s>', 'unk_token': '<unk>', 'pad_token': '<pad>'})
<nl><nl> [1042, 272, 280, 2988, 272, 280, 669, 1]
<123> <100> <1> [1042, 11352, 669, 1042, 2251, 669, 1042, 153002, 1]
<extra_id_0><extra_id_99> [250099, 250000, 1]

	
 [1]