Upload eval/exp_c_results.json with huggingface_hub
Browse files- eval/exp_c_results.json +130 -0
eval/exp_c_results.json
ADDED
|
@@ -0,0 +1,130 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"our_tokenizer": {
|
| 3 |
+
"he": {
|
| 4 |
+
"fertility": 1.772,
|
| 5 |
+
"bytes_per_token": 6.056,
|
| 6 |
+
"chars_per_token": 3.376,
|
| 7 |
+
"total_tokens": 5898,
|
| 8 |
+
"total_words": 3329,
|
| 9 |
+
"total_bytes": 35721,
|
| 10 |
+
"avg_token_length_chars": 3.39,
|
| 11 |
+
"single_char_token_pct": 16.4
|
| 12 |
+
},
|
| 13 |
+
"ar": {
|
| 14 |
+
"fertility": 1.66,
|
| 15 |
+
"bytes_per_token": 6.536,
|
| 16 |
+
"chars_per_token": 3.607,
|
| 17 |
+
"total_tokens": 6307,
|
| 18 |
+
"total_words": 3799,
|
| 19 |
+
"total_bytes": 41221,
|
| 20 |
+
"avg_token_length_chars": 3.62,
|
| 21 |
+
"single_char_token_pct": 15.6
|
| 22 |
+
},
|
| 23 |
+
"en": {
|
| 24 |
+
"fertility": 1.463,
|
| 25 |
+
"bytes_per_token": 4.211,
|
| 26 |
+
"chars_per_token": 4.2,
|
| 27 |
+
"total_tokens": 6184,
|
| 28 |
+
"total_words": 4226,
|
| 29 |
+
"total_bytes": 26039,
|
| 30 |
+
"avg_token_length_chars": 4.21,
|
| 31 |
+
"single_char_token_pct": 14.7
|
| 32 |
+
},
|
| 33 |
+
"fa": {
|
| 34 |
+
"fertility": 1.398,
|
| 35 |
+
"bytes_per_token": 7.01,
|
| 36 |
+
"chars_per_token": 3.864,
|
| 37 |
+
"total_tokens": 6204,
|
| 38 |
+
"total_words": 4439,
|
| 39 |
+
"total_bytes": 43493,
|
| 40 |
+
"avg_token_length_chars": 3.88,
|
| 41 |
+
"single_char_token_pct": 11.8
|
| 42 |
+
}
|
| 43 |
+
},
|
| 44 |
+
"baseline_tokenizer": {},
|
| 45 |
+
"comparison": {},
|
| 46 |
+
"vocab_analysis": {
|
| 47 |
+
"ours": {
|
| 48 |
+
"name": "multilingual_32k",
|
| 49 |
+
"vocab_size": 32000,
|
| 50 |
+
"script_distribution": {
|
| 51 |
+
"hebrew": 8888,
|
| 52 |
+
"arabic": 14945,
|
| 53 |
+
"latin": 7740,
|
| 54 |
+
"other": 426
|
| 55 |
+
},
|
| 56 |
+
"script_pct": {
|
| 57 |
+
"hebrew": 27.8,
|
| 58 |
+
"arabic": 46.7,
|
| 59 |
+
"latin": 24.2,
|
| 60 |
+
"other": 1.3
|
| 61 |
+
}
|
| 62 |
+
}
|
| 63 |
+
},
|
| 64 |
+
"examples": {
|
| 65 |
+
"he": [
|
| 66 |
+
{
|
| 67 |
+
"text": "ירושלים היא בירת ישראל ואחת הערים העתיקות בעולם. היא ממוקמת בהרי יהודה, בין הים התיכון לים המלח.",
|
| 68 |
+
"ours_tokens": 24,
|
| 69 |
+
"ours_pieces": "▁ירושלים ▁היא ▁בירת ▁ישראל ▁וא חת ▁הערים ▁העת יקות ▁בעולם . ▁היא ▁ממוק מת ▁בה רי ▁יהודה , ▁בין ▁הים...",
|
| 70 |
+
"baseline_tokens": 1,
|
| 71 |
+
"baseline_pieces": "N/A"
|
| 72 |
+
},
|
| 73 |
+
{
|
| 74 |
+
"text": "הטכנולוגיה המודרנית משנה את פני החברה הישראלית בקצב מהיר. חברות הייטק רבות פועלות בתל אביב ובהרצליה.",
|
| 75 |
+
"ours_tokens": 24,
|
| 76 |
+
"ours_pieces": "▁הט כנולוגיה ▁המודרנית ▁משנה ▁את ▁פני ▁החברה ▁הישראלית ▁בקצב ▁מהיר . ▁חברות ▁הי יט ק ▁רבות ▁פוע לות ▁בתל ▁אביב...",
|
| 77 |
+
"baseline_tokens": 1,
|
| 78 |
+
"baseline_pieces": "N/A"
|
| 79 |
+
}
|
| 80 |
+
],
|
| 81 |
+
"ar": [
|
| 82 |
+
{
|
| 83 |
+
"text": "القاهرة هي عاصمة جمهورية مصر العربية وأكبر مدينة في العالم العربي. تقع على ضفاف نهر النيل.",
|
| 84 |
+
"ours_tokens": 19,
|
| 85 |
+
"ours_pieces": "▁القاهرة ▁هي ▁عاصمة ▁جمهورية ▁مصر ▁العربية ▁وأكبر ▁مدينة ▁في ▁العالم ▁العربي . ▁تقع ▁على ▁ض فاف ▁نهر ▁النيل .",
|
| 86 |
+
"baseline_tokens": 1,
|
| 87 |
+
"baseline_pieces": "N/A"
|
| 88 |
+
},
|
| 89 |
+
{
|
| 90 |
+
"text": "التعليم في الوطن العربي يواجه تحديات كثيرة تتعلق بالجودة والوصول والتمويل.",
|
| 91 |
+
"ours_tokens": 18,
|
| 92 |
+
"ours_pieces": "▁التعليم ▁في ▁الوطن ▁العربي ▁ي واجه ▁تحد يات ▁كثيرة ▁تتعلق ▁بالج ودة ▁وال وصول ▁وال تم ويل .",
|
| 93 |
+
"baseline_tokens": 1,
|
| 94 |
+
"baseline_pieces": "N/A"
|
| 95 |
+
}
|
| 96 |
+
],
|
| 97 |
+
"en": [
|
| 98 |
+
{
|
| 99 |
+
"text": "Jerusalem is one of the oldest cities in the world and holds significance for three major religions.",
|
| 100 |
+
"ours_tokens": 23,
|
| 101 |
+
"ours_pieces": "▁Jer usal em ▁is ▁one ▁of ▁the ▁old est ▁cities ▁in ▁the ▁world ▁and ▁holds ▁signific ance ▁for ▁three ▁major...",
|
| 102 |
+
"baseline_tokens": 1,
|
| 103 |
+
"baseline_pieces": "N/A"
|
| 104 |
+
},
|
| 105 |
+
{
|
| 106 |
+
"text": "Modern technology is transforming societies across the Middle East at an unprecedented pace.",
|
| 107 |
+
"ours_tokens": 20,
|
| 108 |
+
"ours_pieces": "▁Modern ▁technology ▁is ▁transform ing ▁soc iet ies ▁across ▁the ▁Middle ▁East ▁at ▁an ▁un pre ced ented ▁pace .",
|
| 109 |
+
"baseline_tokens": 1,
|
| 110 |
+
"baseline_pieces": "N/A"
|
| 111 |
+
}
|
| 112 |
+
],
|
| 113 |
+
"fa": [
|
| 114 |
+
{
|
| 115 |
+
"text": "تهران پایتخت ایران و بزرگترین شهر این کشور است. این شهر در دامنه رشتهکوه البرز قرار دارد.",
|
| 116 |
+
"ours_tokens": 20,
|
| 117 |
+
"ours_pieces": "▁تهران ▁پایتخت ▁ایران ▁و ▁بزرگترین ▁شهر ▁این ▁کشور ▁است . ▁این ▁شهر ▁در ▁دامنه ▁رشته ▁کوه ▁البرز ▁قرار ▁دارد .",
|
| 118 |
+
"baseline_tokens": 1,
|
| 119 |
+
"baseline_pieces": "N/A"
|
| 120 |
+
},
|
| 121 |
+
{
|
| 122 |
+
"text": "ادبیات فارسی یکی از غنیترین ادبیات جهان است و شاعرانی مانند حافظ و فردوسی را به جهان معرفی کرده.",
|
| 123 |
+
"ours_tokens": 22,
|
| 124 |
+
"ours_pieces": "▁ادبیات ▁فارسی ▁یکی ▁از ▁غنی ▁ترین ▁ادبیات ▁جهان ▁است ▁و ▁شاعر انی ▁مانند ▁حافظ ▁و ▁فردوسی ▁را ▁به ▁جهان ▁معرفی...",
|
| 125 |
+
"baseline_tokens": 1,
|
| 126 |
+
"baseline_pieces": "N/A"
|
| 127 |
+
}
|
| 128 |
+
]
|
| 129 |
+
}
|
| 130 |
+
}
|