| { |
| "our_tokenizer": { |
| "he": { |
| "fertility": 1.772, |
| "bytes_per_token": 6.056, |
| "chars_per_token": 3.376, |
| "total_tokens": 5898, |
| "total_words": 3329, |
| "total_bytes": 35721, |
| "avg_token_length_chars": 3.39, |
| "single_char_token_pct": 16.4 |
| }, |
| "ar": { |
| "fertility": 1.66, |
| "bytes_per_token": 6.536, |
| "chars_per_token": 3.607, |
| "total_tokens": 6307, |
| "total_words": 3799, |
| "total_bytes": 41221, |
| "avg_token_length_chars": 3.62, |
| "single_char_token_pct": 15.6 |
| }, |
| "en": { |
| "fertility": 1.463, |
| "bytes_per_token": 4.211, |
| "chars_per_token": 4.2, |
| "total_tokens": 6184, |
| "total_words": 4226, |
| "total_bytes": 26039, |
| "avg_token_length_chars": 4.21, |
| "single_char_token_pct": 14.7 |
| }, |
| "fa": { |
| "fertility": 1.398, |
| "bytes_per_token": 7.01, |
| "chars_per_token": 3.864, |
| "total_tokens": 6204, |
| "total_words": 4439, |
| "total_bytes": 43493, |
| "avg_token_length_chars": 3.88, |
| "single_char_token_pct": 11.8 |
| } |
| }, |
| "baseline_tokenizer": {}, |
| "comparison": {}, |
| "vocab_analysis": { |
| "ours": { |
| "name": "multilingual_32k", |
| "vocab_size": 32000, |
| "script_distribution": { |
| "hebrew": 8888, |
| "arabic": 14945, |
| "latin": 7740, |
| "other": 426 |
| }, |
| "script_pct": { |
| "hebrew": 27.8, |
| "arabic": 46.7, |
| "latin": 24.2, |
| "other": 1.3 |
| } |
| } |
| }, |
| "examples": { |
| "he": [ |
| { |
| "text": "ירושלים היא בירת ישראל ואחת הערים העתיקות בעולם. היא ממוקמת בהרי יהודה, בין הים התיכון לים המלח.", |
| "ours_tokens": 24, |
| "ours_pieces": "▁ירושלים ▁היא ▁בירת ▁ישראל ▁וא חת ▁הערים ▁העת יקות ▁בעולם . ▁היא ▁ממוק מת ▁בה רי ▁יהודה , ▁בין ▁הים...", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| }, |
| { |
| "text": "הטכנולוגיה המודרנית משנה את פני החברה הישראלית בקצב מהיר. חברות הייטק רבות פועלות בתל אביב ובהרצליה.", |
| "ours_tokens": 24, |
| "ours_pieces": "▁הט כנולוגיה ▁המודרנית ▁משנה ▁את ▁פני ▁החברה ▁הישראלית ▁בקצב ▁מהיר . ▁חברות ▁הי יט ק ▁רבות ▁פוע לות ▁בתל ▁אביב...", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| } |
| ], |
| "ar": [ |
| { |
| "text": "القاهرة هي عاصمة جمهورية مصر العربية وأكبر مدينة في العالم العربي. تقع على ضفاف نهر النيل.", |
| "ours_tokens": 19, |
| "ours_pieces": "▁القاهرة ▁هي ▁عاصمة ▁جمهورية ▁مصر ▁العربية ▁وأكبر ▁مدينة ▁في ▁العالم ▁العربي . ▁تقع ▁على ▁ض فاف ▁نهر ▁النيل .", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| }, |
| { |
| "text": "التعليم في الوطن العربي يواجه تحديات كثيرة تتعلق بالجودة والوصول والتمويل.", |
| "ours_tokens": 18, |
| "ours_pieces": "▁التعليم ▁في ▁الوطن ▁العربي ▁ي واجه ▁تحد يات ▁كثيرة ▁تتعلق ▁بالج ودة ▁وال وصول ▁وال تم ويل .", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| } |
| ], |
| "en": [ |
| { |
| "text": "Jerusalem is one of the oldest cities in the world and holds significance for three major religions.", |
| "ours_tokens": 23, |
| "ours_pieces": "▁Jer usal em ▁is ▁one ▁of ▁the ▁old est ▁cities ▁in ▁the ▁world ▁and ▁holds ▁signific ance ▁for ▁three ▁major...", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| }, |
| { |
| "text": "Modern technology is transforming societies across the Middle East at an unprecedented pace.", |
| "ours_tokens": 20, |
| "ours_pieces": "▁Modern ▁technology ▁is ▁transform ing ▁soc iet ies ▁across ▁the ▁Middle ▁East ▁at ▁an ▁un pre ced ented ▁pace .", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| } |
| ], |
| "fa": [ |
| { |
| "text": "تهران پایتخت ایران و بزرگترین شهر این کشور است. این شهر در دامنه رشتهکوه البرز قرار دارد.", |
| "ours_tokens": 20, |
| "ours_pieces": "▁تهران ▁پایتخت ▁ایران ▁و ▁بزرگترین ▁شهر ▁این ▁کشور ▁است . ▁این ▁شهر ▁در ▁دامنه ▁رشته ▁کوه ▁البرز ▁قرار ▁دارد .", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| }, |
| { |
| "text": "ادبیات فارسی یکی از غنیترین ادبیات جهان است و شاعرانی مانند حافظ و فردوسی را به جهان معرفی کرده.", |
| "ours_tokens": 22, |
| "ours_pieces": "▁ادبیات ▁فارسی ▁یکی ▁از ▁غنی ▁ترین ▁ادبیات ▁جهان ▁است ▁و ▁شاعر انی ▁مانند ▁حافظ ▁و ▁فردوسی ▁را ▁به ▁جهان ▁معرفی...", |
| "baseline_tokens": 1, |
| "baseline_pieces": "N/A" |
| } |
| ] |
| } |
| } |
