Upload checkpoint-21140

checkpoints/checkpoint-21140/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 384,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

checkpoints/checkpoint-21140/README.md

@@ -0,0 +1,879 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:541248
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: QuangDuy/bert-tiny-stage2-hf
+widget:
+- source_sentence: sở hữu chung là gì?
+  sentences:
+  - Chủ nghĩa xã hội là một loạt các hệ thống kinh tế và xã hội được đặc trưng bởi
+    quyền sở hữu xã hội và quyền kiểm soát dân chủ đối với tư liệu sản xuất, cũng
+    như các lý thuyết và phong trào chính trị gắn liền với chúng. Sở hữu xã hội có
+    thể đề cập đến các hình thức sở hữu công cộng, tập thể hoặc hợp tác, hoặc quyền
+    sở hữu công bằng của công dân. Có nhiều loại hình chủ nghĩa xã hội và không có
+    một định nghĩa nào gói gọn tất cả chúng, mặc dù quyền sở hữu xã hội là yếu tố
+    chung được chia sẻ bởi các hình thức khác nhau của nó.
+  - Sở hữu chung là một chương trình do chính phủ tài trợ để giúp những người mua
+    lần đầu, những người sẽ không thể đặt chân lên nấc thang bất động sản. Chương
+    trình này chủ yếu được điều hành bởi các hiệp hội nhà ở của London.
+  - Malabar nằm gần trung tâm của Florida. Malabar là một phần của Quận Brevard. Malabar
+    có 10,67 dặm vuông diện tích đất và 2,57 dặm vuông diện tích mặt nước. Tính đến
+    năm 2010, tổng dân số Malabar là 2.757 người, tăng 5,15% kể từ năm 2000. Tỷ lệ
+    tăng dân số thấp hơn nhiều so với tỷ lệ trung bình của bang là 17,64% và thấp
+    hơn tỷ lệ trung bình của cả nước là 9,71%. Thu nhập trung bình của hộ gia đình
+    Malabar là 64.712 đô la trong năm 2008-2012 và đã tăng 30,27% kể từ năm 2000.
+- source_sentence: ludobites là gì?
+  sentences:
+  - Ludobites là gì? Ludobites là một nhà hàng pop-up theo phong cách du kích do bếp
+    trưởng Ludo Lefebvre tạo ra, gần đây đã được giới thiệu là vua của món quesadillas
+    tai lợn tan chảy trên Top Chef Masters. Xin đừng giữ điều đó chống lại anh ta,
+    những người khác nhau làm việc tốt trong các loại tình huống khác nhau, và trong
+    nhà bếp của riêng anh ta, thức ăn của Ludo tỏa sáng.
+  - Một từ khác cho oxit boric là gì? Một từ khác cho borickites là gì? Một từ khác
+    cho borickite là gì? Một từ khác cho axit boric là gì? Một từ khác cho axit boric
+    là gì? Một từ khác cho vi sinh vật là gì? Một từ khác cho ngao ngán là gì? Một
+    từ khác cho ngao nhàm chán là gì? Một từ khác cho nhàm chán là gì? Một từ khác
+    cho nhàm chán nhất là gì? Một từ khác cho nhàm chán là gì?
+  - Nhà máy Tesla là một nhà máy sản xuất ô tô ở Fremont, California, Hoa Kỳ và là
+    cơ sở sản xuất chính của Tesla Motors. Xe Tesla Model S mới tại Nhà máy Tesla
+    vào năm 2012. Xe sản xuất loạt đầu tiên của nhà máy là Tesla Model S cỡ lớn. sedan
+    điện ắc quy. Vào năm 2011, Tesla Motors đã chuyển đổi từ các phiên bản alpha lắp
+    ráp thủ công sang các phiên bản beta, những chiếc xe xác nhận sản xuất được chế
+    tạo hoàn toàn tại Nhà máy Tesla.
+- source_sentence: galveston indiana ở quận nào
+  sentences:
+  - Nhà bán ở Galveston, Hạt Cass, Indiana. Tìm nhà và đất ở nông thôn để bán ở Galveston,
+    Hạt Cass, Indiana? LandWatch.com có ​​hàng nghìn tài sản nông thôn ở Galveston,
+    Hạt Cass, Indiana, bao gồm tài sản săn bắn & câu cá, cabin, Nhà để bán và đấu
+    giá đất. Chọn từ những khu đất có diện tích nhỏ đến những khu đất rộng lớn hơn
+    500 mẫu Anh.
+  - THÀNH PHỐ TEXAS, TX. THÀNH PHỐ TEXAS, TEXAS. Thành phố Texas, trên bờ Tây Nam
+    của Vịnh Galveston cách Galveston bảy dặm và cách Vịnh Mexico ở Quận Galveston
+    mười một dặm, là một cảng nước sâu trên đất liền.
+  - 'Theo simplehired.com, một kỹ thuật viên nhạc cụ ở nước ngoài có thể kiếm được
+    khoảng 61K mỗi năm. Cuộc sống ngoài khơi: Nếu bạn vẫn quan tâm đến các công việc
+    cấp độ đầu vào của giàn khoan dầu, hãy biết một điều rằng bạn sẽ phải lấy chứng
+    chỉ an toàn và vượt qua cuộc kiểm tra ma túy để được xem xét. ở cấp độ đầu vào,
+    công việc giàn khoan dầu khí ngoài khơi có thể kiếm được $ 24 - $ 26 một giờ;
+    các nhà khai thác derrick $ 23 - $ 30 mỗi giờ, trong khi thợ khoan ở mức $ 36
+    - $ 39.'
+- source_sentence: sắt montainmi ở quận nào
+  sentences:
+  - 2. Tháo quả địa cầu và bóng đèn khỏi bộ đèn hiện có. Nới lỏng các vít lắp của
+    bộ đèn và hạ bộ đèn ra khỏi động cơ quạt trần. Ngắt kết nối hai dây dẫn đến đèn
+    bằng cách tháo các đai ốc của dây. Đặt bộ đèn cũ sang một bên .. Tháo quả địa
+    cầu và bóng đèn khỏi bộ đèn hiện có. Nới lỏng các vít lắp của bộ đèn và hạ bộ
+    đèn ra khỏi động cơ quạt trần. Ngắt kết nối hai dây dẫn đến đèn bằng cách tháo
+    các đai ốc của dây. Đặt bộ đèn cũ sang một bên.
+  - Sân bay gần nhất là Sân bay Hạt Rhinelander Oneida (RHI). Khoảng cách từ Rhinelander
+    Oneida County Airport đến Iron River là 82,0 km (51,0 dặm).
+  - Núi Sắt, Michigan. Núi Sắt là một thành phố ở tiểu bang Michigan của Hoa Kỳ. Dân
+    số tại thời điểm điều tra dân số năm 2010 là 7.624 người. Nó là quận lỵ của Quận
+    Dickinson, ở Bán đảo Thượng của tiểu bang. Núi Sắt được đặt tên cho quặng sắt
+    có giá trị được tìm thấy trong vùng lân cận.
+- source_sentence: các phản ứng cụ thể của hệ thống miễn dịch của bạn là gì
+  sentences:
+  - Các phản ứng miễn dịch cụ thể đề cập đến thực tế là các globulin miễn dịch được
+    sản xuất đặc trưng cho các kháng nguyên đã kích thích sản xuất chúng, phản ứng
+    này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong dòng máu nên sự tái
+    nhiễm xảy ra thì phản ứng sẽ nhanh hơn. đáp ứng miễn dịch đề cập đến thực tế là
+    các globulin miễn dịch được tạo ra đặc trưng cho các kháng nguyên kích thích sản
+    xuất chúng, phản ứng này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong
+    dòng máu nên sự tái nhiễm xảy ra thì phản ứng sẽ nhanh hơn.
+  - Tìm kiếm có thể giúp chống lại chứng nghẹt mũi mãn tính. Nhóm nghiên cứu của Kita
+    đã so sánh phản ứng của hệ thống miễn dịch của 18 người bị nghẹt mũi mãn tính
+    và 15 người không mắc bệnh này. Họ đã kiểm tra mẫu máu của những người tham gia
+    để xem các tế bào của hệ thống miễn dịch cụ thể phản ứng như thế nào với các loại
+    nấm thông thường trong không khí.
+  - Bảo trì Cơ khí ở Los Angeles Mức lương. Một thợ sửa chữa bảo trì ở Los Angeles,
+    California kiếm được mức lương trung bình là 22,11 đô la mỗi giờ. Các kỹ năng
+    được trả lương cao nhất liên quan đến công việc này là Bảo trì thiết bị, Xử lý
+    sự cố, Thủy lực công nghiệp, Hệ thống ống nước và Bảo trì. Hầu hết những người
+    làm công việc này đều có hơn 5 năm kinh nghiệm trong các công việc liên quan.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on QuangDuy/bert-tiny-stage2-hf
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [QuangDuy/bert-tiny-stage2-hf](https://huggingface.co/QuangDuy/bert-tiny-stage2-hf). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [QuangDuy/bert-tiny-stage2-hf](https://huggingface.co/QuangDuy/bert-tiny-stage2-hf) <!-- at revision 89bd42c41ec5167da1de8ed7085615795a3fd55c -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 384 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
+  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'các phản ứng cụ thể của hệ thống miễn dịch của bạn là gì',
+    'Các phản ứng miễn dịch cụ thể đề cập đến thực tế là các globulin miễn dịch được sản xuất đặc trưng cho các kháng nguyên đã kích thích sản xuất chúng, phản ứng này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong dòng máu nên sự tái nhiễm xảy ra thì phản ứng sẽ nhanh hơn. đáp ứng miễn dịch đề cập đến thực tế là các globulin miễn dịch được tạo ra đặc trưng cho các kháng nguyên kích thích sản xuất chúng, phản ứng này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong dòng máu nên sự tái nhiễm xảy ra thì phản ứng sẽ nhanh hơn.',
+    'Tìm kiếm có thể giúp chống lại chứng nghẹt mũi mãn tính. Nhóm nghiên cứu của Kita đã so sánh phản ứng của hệ thống miễn dịch của 18 người bị nghẹt mũi mãn tính và 15 người không mắc bệnh này. Họ đã kiểm tra mẫu máu của những người tham gia để xem các tế bào của hệ thống miễn dịch cụ thể phản ứng như thế nào với các loại nấm thông thường trong không khí.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 384]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0001, 0.6848, 0.4237],
+#         [0.6848, 1.0000, 0.3059],
+#         [0.4237, 0.3059, 1.0001]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 541,248 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                        | sentence_1                                                                           | sentence_2                                                                          |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 5 tokens</li><li>mean: 11.35 tokens</li><li>max: 37 tokens</li></ul> | <ul><li>min: 20 tokens</li><li>mean: 101.36 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 96.12 tokens</li><li>max: 371 tokens</li></ul> |
+* Samples:
+  | sentence_0                                                    | sentence_1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | sentence_2                                                                                                                                                                                                                                                                                                                                                                         |
+  |:--------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>giá máy trợ thính trung bình</code>                     | <code>Máy trợ thính giúp những người bị mất thính lực tận hưởng cuộc sống chất lượng hơn ࢠ€Â⠀ nhưng thiết bị này có thể đắt tiền. Giá trung bình của một máy trợ thính là $ 2,300. Hầu hết mọi người cần hai, tăng gấp đôi chi phí. Nếu công ty bảo hiểm sức khỏe của bạn không cung cấp bảo hiểm, bạn sẽ muốn có đủ tiền tiết kiệm hoặc thẻ tín dụng hoàn tiền tốt để chi trả chi phí. Tổng chi phí phụ thuộc vào loại máy trợ thính, tính năng của nó và mức độ dịch vụ chuyên nghiệp. Phân tích chi phí Thông thường, bản thân máy trợ thính chỉ chiếm một phần ba tổng chi phí; phí và dịch vụ chuyên nghiệp chiếm phần còn lại.</code>                                                                                                  | <code>Theo một cuộc khảo sát được công bố gần đây bởi Đánh giá thính giác, giá trung bình của một cặp thiết bị hỗ trợ tầm trung dao động trong khoảng từ $ 4,400 đến $ 4,500. Giá cả khác nhau tùy theo khu vực. Ví dụ, tại Phòng khám Thính học của UCLA, giá trung bình là $ 4,200, nhà thính học Alison Grimes cho biết.</code>                                                 |
+  | <code>tôi có thể trả lại một sản phẩm cho amazon không</code> | <code>Trả lại các mặt hàng do Amazon thực hiện / Các mặt hàng đủ điều kiện Prime. Bạn có thể trả lại các mặt hàng Đủ điều kiện của Amazon hoặc Prime bằng cách truy cập Trung tâm hỗ trợ trả hàng của chúng tôi. Đi tới Trung tâm Hỗ trợ Trả hàng và nhấp vào Trả lại mặt hàng. Tìm đơn đặt hàng bạn muốn trả lại và nhấp vào Trả lại hoặc Thay thế các mặt hàng. Chọn các mục bạn muốn trả lại.</code>                                                                                                                                                                                                                                                                                                                                                  | <code>Tôi mua sản phẩm này vì tôi nghĩ rằng tôi có thể nhìn thấy các thư mục của ổ cứng được kết nối với asus o! Play từ máy tính của mình. Nhưng nó rất khả thi. Tôi nghĩ rằng tôi sẽ trả lại sản phẩm này nếu không có bất kỳ chương trình cơ sở mới nào để cập nhật sự cố này trong vòng 10 ngày tới. Tôi hy vọng asus giải quyết nó, nếu không tôi sẽ trả lại sản phẩm.</code> |
+  | <code>ana tích cực nghĩa là gì</code>                         | <code>Tuy nhiên, các xét nghiệm khác vẫn có thể cần thiết dựa trên các triệu chứng của bạn. Một số người mắc bệnh tự miễn dịch có thể xét nghiệm âm tính với ANA nhưng dương tính với các kháng thể khác. Xét nghiệm ANA dương tính có nghĩa là bạn có nồng độ ANA cao trong máu. Xét nghiệm ANA dương tính thường được báo cáo dưới dạng cả tỷ lệ (được gọi là chuẩn) và kiểu mẫu, chẳng hạn như mịn hoặc lốm đốm. Một số bệnh có nhiều khả năng có một số mô hình nhất định. Hiệu giá càng cao thì kết quả càng có nhiều khả năng là kết quả ࢠ€Š“true positiveࢠ€Â, nghĩa là bạn có kháng thể kháng nhân đáng kể và mắc bệnh tự miễn dịch. Tuy nhiên, kết quả dương tính không luôn có nghĩa là bạn mắc bệnh tự miễn dịch.</code> | <code>Tích cực: 88%. túi mật giải nén nghĩa là gì góp phần vào túi mật ... mật sẽ luôn luôn là gì túi mật giải nén nghĩa là chọn protein nạc ...</code>                                                                                                                                                                                                                            |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          384,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 128
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `num_train_epochs`: 5
+- `warmup_steps`: 4229
+- `bf16`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 128
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 4229
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: no
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: True
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss | validation loss |
+|:------:|:-----:|:-------------:|:---------------:|
+| 0.0118 | 50    | 18.0314       | -               |
+| 0.0237 | 100   | 17.7147       | -               |
+| 0.0355 | 150   | 17.0007       | -               |
+| 0.0473 | 200   | 16.0667       | -               |
+| 0.0591 | 250   | 14.9131       | -               |
+| 0.0710 | 300   | 13.9449       | -               |
+| 0.0828 | 350   | 12.7957       | -               |
+| 0.0946 | 400   | 11.7288       | -               |
+| 0.1064 | 450   | 10.6945       | -               |
+| 0.1183 | 500   | 9.4743        | -               |
+| 0.1301 | 550   | 8.6215        | -               |
+| 0.1419 | 600   | 7.7279        | -               |
+| 0.1537 | 650   | 7.1892        | -               |
+| 0.1656 | 700   | 6.9682        | -               |
+| 0.1774 | 750   | 6.4781        | -               |
+| 0.1892 | 800   | 6.1271        | -               |
+| 0.2010 | 850   | 6.1199        | -               |
+| 0.2129 | 900   | 5.9544        | -               |
+| 0.2247 | 950   | 5.8145        | -               |
+| 0.2365 | 1000  | 5.5599        | -               |
+| 0.2483 | 1050  | 5.2344        | -               |
+| 0.2602 | 1100  | 5.3013        | -               |
+| 0.2720 | 1150  | 5.0562        | -               |
+| 0.2838 | 1200  | 4.8728        | -               |
+| 0.2956 | 1250  | 4.7826        | -               |
+| 0.3075 | 1300  | 4.8806        | -               |
+| 0.3193 | 1350  | 4.6464        | -               |
+| 0.3311 | 1400  | 4.7046        | -               |
+| 0.3430 | 1450  | 4.5188        | -               |
+| 0.3548 | 1500  | 4.4968        | -               |
+| 0.3666 | 1550  | 4.4387        | -               |
+| 0.3784 | 1600  | 4.1702        | -               |
+| 0.3903 | 1650  | 4.2147        | -               |
+| 0.4021 | 1700  | 3.9972        | -               |
+| 0.4139 | 1750  | 4.1279        | -               |
+| 0.4257 | 1800  | 4.0214        | -               |
+| 0.4376 | 1850  | 3.9161        | -               |
+| 0.4494 | 1900  | 3.7544        | -               |
+| 0.4612 | 1950  | 3.8246        | -               |
+| 0.4730 | 2000  | 3.7991        | 5.9881          |
+| 0.4849 | 2050  | 3.8554        | -               |
+| 0.4967 | 2100  | 3.8123        | -               |
+| 0.5085 | 2150  | 3.5525        | -               |
+| 0.5203 | 2200  | 3.5591        | -               |
+| 0.5322 | 2250  | 3.6293        | -               |
+| 0.5440 | 2300  | 3.5831        | -               |
+| 0.5558 | 2350  | 3.6007        | -               |
+| 0.5676 | 2400  | 3.4225        | -               |
+| 0.5795 | 2450  | 3.4405        | -               |
+| 0.5913 | 2500  | 3.4002        | -               |
+| 0.6031 | 2550  | 3.3653        | -               |
+| 0.6149 | 2600  | 3.321         | -               |
+| 0.6268 | 2650  | 3.3042        | -               |
+| 0.6386 | 2700  | 3.2117        | -               |
+| 0.6504 | 2750  | 3.3423        | -               |
+| 0.6623 | 2800  | 3.2494        | -               |
+| 0.6741 | 2850  | 3.1364        | -               |
+| 0.6859 | 2900  | 3.1836        | -               |
+| 0.6977 | 2950  | 3.1268        | -               |
+| 0.7096 | 3000  | 3.072         | -               |
+| 0.7214 | 3050  | 3.0135        | -               |
+| 0.7332 | 3100  | 3.0607        | -               |
+| 0.7450 | 3150  | 3.0963        | -               |
+| 0.7569 | 3200  | 3.0419        | -               |
+| 0.7687 | 3250  | 2.9891        | -               |
+| 0.7805 | 3300  | 2.9384        | -               |
+| 0.7923 | 3350  | 2.8918        | -               |
+| 0.8042 | 3400  | 2.9816        | -               |
+| 0.8160 | 3450  | 2.9664        | -               |
+| 0.8278 | 3500  | 2.8969        | -               |
+| 0.8396 | 3550  | 2.9368        | -               |
+| 0.8515 | 3600  | 2.8513        | -               |
+| 0.8633 | 3650  | 2.9808        | -               |
+| 0.8751 | 3700  | 2.8428        | -               |
+| 0.8869 | 3750  | 2.8775        | -               |
+| 0.8988 | 3800  | 2.739         | -               |
+| 0.9106 | 3850  | 2.8277        | -               |
+| 0.9224 | 3900  | 2.767         | -               |
+| 0.9342 | 3950  | 2.794         | -               |
+| 0.9461 | 4000  | 2.7738        | 4.7738          |
+| 0.9579 | 4050  | 2.8568        | -               |
+| 0.9697 | 4100  | 2.7938        | -               |
+| 0.9816 | 4150  | 2.7272        | -               |
+| 0.9934 | 4200  | 2.7079        | -               |
+| 1.0052 | 4250  | 2.6383        | -               |
+| 1.0170 | 4300  | 2.6855        | -               |
+| 1.0289 | 4350  | 2.6568        | -               |
+| 1.0407 | 4400  | 2.5981        | -               |
+| 1.0525 | 4450  | 2.6987        | -               |
+| 1.0643 | 4500  | 2.6992        | -               |
+| 1.0762 | 4550  | 2.5434        | -               |
+| 1.0880 | 4600  | 2.5553        | -               |
+| 1.0998 | 4650  | 2.4978        | -               |
+| 1.1116 | 4700  | 2.5679        | -               |
+| 1.1235 | 4750  | 2.4768        | -               |
+| 1.1353 | 4800  | 2.5578        | -               |
+| 1.1471 | 4850  | 2.4758        | -               |
+| 1.1589 | 4900  | 2.5352        | -               |
+| 1.1708 | 4950  | 2.5023        | -               |
+| 1.1826 | 5000  | 2.4713        | -               |
+| 1.1944 | 5050  | 2.486         | -               |
+| 1.2062 | 5100  | 2.483         | -               |
+| 1.2181 | 5150  | 2.4098        | -               |
+| 1.2299 | 5200  | 2.5061        | -               |
+| 1.2417 | 5250  | 2.4597        | -               |
+| 1.2535 | 5300  | 2.4591        | -               |
+| 1.2654 | 5350  | 2.3879        | -               |
+| 1.2772 | 5400  | 2.4146        | -               |
+| 1.2890 | 5450  | 2.3418        | -               |
+| 1.3009 | 5500  | 2.4307        | -               |
+| 1.3127 | 5550  | 2.3653        | -               |
+| 1.3245 | 5600  | 2.3995        | -               |
+| 1.3363 | 5650  | 2.4527        | -               |
+| 1.3482 | 5700  | 2.4547        | -               |
+| 1.3600 | 5750  | 2.3695        | -               |
+| 1.3718 | 5800  | 2.3341        | -               |
+| 1.3836 | 5850  | 2.2412        | -               |
+| 1.3955 | 5900  | 2.2695        | -               |
+| 1.4073 | 5950  | 2.2922        | -               |
+| 1.4191 | 6000  | 2.3176        | 4.3057          |
+| 1.4309 | 6050  | 2.281         | -               |
+| 1.4428 | 6100  | 2.2155        | -               |
+| 1.4546 | 6150  | 2.1908        | -               |
+| 1.4664 | 6200  | 2.2071        | -               |
+| 1.4782 | 6250  | 2.2617        | -               |
+| 1.4901 | 6300  | 2.2864        | -               |
+| 1.5019 | 6350  | 2.2509        | -               |
+| 1.5137 | 6400  | 2.1227        | -               |
+| 1.5255 | 6450  | 2.1919        | -               |
+| 1.5374 | 6500  | 2.2072        | -               |
+| 1.5492 | 6550  | 2.1652        | -               |
+| 1.5610 | 6600  | 2.2224        | -               |
+| 1.5728 | 6650  | 2.0715        | -               |
+| 1.5847 | 6700  | 2.1693        | -               |
+| 1.5965 | 6750  | 2.1141        | -               |
+| 1.6083 | 6800  | 2.1129        | -               |
+| 1.6202 | 6850  | 2.1001        | -               |
+| 1.6320 | 6900  | 2.094         | -               |
+| 1.6438 | 6950  | 2.2176        | -               |
+| 1.6556 | 7000  | 2.109         | -               |
+| 1.6675 | 7050  | 2.0537        | -               |
+| 1.6793 | 7100  | 2.0328        | -               |
+| 1.6911 | 7150  | 2.1541        | -               |
+| 1.7029 | 7200  | 2.0164        | -               |
+| 1.7148 | 7250  | 2.0225        | -               |
+| 1.7266 | 7300  | 2.0243        | -               |
+| 1.7384 | 7350  | 2.0152        | -               |
+| 1.7502 | 7400  | 2.0455        | -               |
+| 1.7621 | 7450  | 2.0026        | -               |
+| 1.7739 | 7500  | 1.9846        | -               |
+| 1.7857 | 7550  | 1.9594        | -               |
+| 1.7975 | 7600  | 2.0523        | -               |
+| 1.8094 | 7650  | 1.9751        | -               |
+| 1.8212 | 7700  | 1.9898        | -               |
+| 1.8330 | 7750  | 1.9658        | -               |
+| 1.8448 | 7800  | 1.9976        | -               |
+| 1.8567 | 7850  | 1.9939        | -               |
+| 1.8685 | 7900  | 1.9666        | -               |
+| 1.8803 | 7950  | 1.9704        | -               |
+| 1.8921 | 8000  | 1.9822        | 4.1331          |
+| 1.9040 | 8050  | 1.8534        | -               |
+| 1.9158 | 8100  | 1.856         | -               |
+| 1.9276 | 8150  | 1.9817        | -               |
+| 1.9395 | 8200  | 1.9095        | -               |
+| 1.9513 | 8250  | 1.9343        | -               |
+| 1.9631 | 8300  | 1.95          | -               |
+| 1.9749 | 8350  | 1.9981        | -               |
+| 1.9868 | 8400  | 1.8872        | -               |
+| 1.9986 | 8450  | 1.8112        | -               |
+| 2.0104 | 8500  | 1.8451        | -               |
+| 2.0222 | 8550  | 1.8918        | -               |
+| 2.0341 | 8600  | 1.7837        | -               |
+| 2.0459 | 8650  | 1.8692        | -               |
+| 2.0577 | 8700  | 1.8614        | -               |
+| 2.0695 | 8750  | 1.8677        | -               |
+| 2.0814 | 8800  | 1.8005        | -               |
+| 2.0932 | 8850  | 1.8008        | -               |
+| 2.1050 | 8900  | 1.8207        | -               |
+| 2.1168 | 8950  | 1.7491        | -               |
+| 2.1287 | 9000  | 1.8351        | -               |
+| 2.1405 | 9050  | 1.7934        | -               |
+| 2.1523 | 9100  | 1.8162        | -               |
+| 2.1641 | 9150  | 1.8496        | -               |
+| 2.1760 | 9200  | 1.7747        | -               |
+| 2.1878 | 9250  | 1.7665        | -               |
+| 2.1996 | 9300  | 1.789         | -               |
+| 2.2114 | 9350  | 1.8264        | -               |
+| 2.2233 | 9400  | 1.788         | -               |
+| 2.2351 | 9450  | 1.7902        | -               |
+| 2.2469 | 9500  | 1.8175        | -               |
+| 2.2588 | 9550  | 1.8042        | -               |
+| 2.2706 | 9600  | 1.7767        | -               |
+| 2.2824 | 9650  | 1.7099        | -               |
+| 2.2942 | 9700  | 1.7841        | -               |
+| 2.3061 | 9750  | 1.87          | -               |
+| 2.3179 | 9800  | 1.7485        | -               |
+| 2.3297 | 9850  | 1.8367        | -               |
+| 2.3415 | 9900  | 1.7925        | -               |
+| 2.3534 | 9950  | 1.9135        | -               |
+| 2.3652 | 10000 | 1.7746        | 4.0629          |
+| 2.3770 | 10050 | 1.672         | -               |
+| 2.3888 | 10100 | 1.7265        | -               |
+| 2.4007 | 10150 | 1.6875        | -               |
+| 2.4125 | 10200 | 1.7421        | -               |
+| 2.4243 | 10250 | 1.7447        | -               |
+| 2.4361 | 10300 | 1.7335        | -               |
+| 2.4480 | 10350 | 1.6583        | -               |
+| 2.4598 | 10400 | 1.6937        | -               |
+| 2.4716 | 10450 | 1.6425        | -               |
+| 2.4834 | 10500 | 1.7837        | -               |
+| 2.4953 | 10550 | 1.7589        | -               |
+| 2.5071 | 10600 | 1.6618        | -               |
+| 2.5189 | 10650 | 1.6107        | -               |
+| 2.5307 | 10700 | 1.706         | -               |
+| 2.5426 | 10750 | 1.6662        | -               |
+| 2.5544 | 10800 | 1.7491        | -               |
+| 2.5662 | 10850 | 1.615         | -               |
+| 2.5781 | 10900 | 1.6314        | -               |
+| 2.5899 | 10950 | 1.6564        | -               |
+| 2.6017 | 11000 | 1.6085        | -               |
+| 2.6135 | 11050 | 1.6969        | -               |
+| 2.6254 | 11100 | 1.5963        | -               |
+| 2.6372 | 11150 | 1.6626        | -               |
+| 2.6490 | 11200 | 1.715         | -               |
+| 2.6608 | 11250 | 1.6182        | -               |
+| 2.6727 | 11300 | 1.5667        | -               |
+| 2.6845 | 11350 | 1.6255        | -               |
+| 2.6963 | 11400 | 1.6146        | -               |
+| 2.7081 | 11450 | 1.5807        | -               |
+| 2.7200 | 11500 | 1.571         | -               |
+| 2.7318 | 11550 | 1.611         | -               |
+| 2.7436 | 11600 | 1.5757        | -               |
+| 2.7554 | 11650 | 1.6048        | -               |
+| 2.7673 | 11700 | 1.5559        | -               |
+| 2.7791 | 11750 | 1.5634        | -               |
+| 2.7909 | 11800 | 1.5663        | -               |
+| 2.8027 | 11850 | 1.6274        | -               |
+| 2.8146 | 11900 | 1.5478        | -               |
+| 2.8264 | 11950 | 1.5728        | -               |
+| 2.8382 | 12000 | 1.5694        | 3.9845          |
+| 2.8500 | 12050 | 1.5544        | -               |
+| 2.8619 | 12100 | 1.6172        | -               |
+| 2.8737 | 12150 | 1.5358        | -               |
+| 2.8855 | 12200 | 1.5656        | -               |
+| 2.8974 | 12250 | 1.5273        | -               |
+| 2.9092 | 12300 | 1.4981        | -               |
+| 2.9210 | 12350 | 1.5256        | -               |
+| 2.9328 | 12400 | 1.522         | -               |
+| 2.9447 | 12450 | 1.465         | -               |
+| 2.9565 | 12500 | 1.6151        | -               |
+| 2.9683 | 12550 | 1.5521        | -               |
+| 2.9801 | 12600 | 1.5657        | -               |
+| 2.9920 | 12650 | 1.4935        | -               |
+| 3.0038 | 12700 | 1.4081        | -               |
+| 3.0156 | 12750 | 1.5243        | -               |
+| 3.0274 | 12800 | 1.4999        | -               |
+| 3.0393 | 12850 | 1.4139        | -               |
+| 3.0511 | 12900 | 1.5522        | -               |
+| 3.0629 | 12950 | 1.4865        | -               |
+| 3.0747 | 13000 | 1.4755        | -               |
+| 3.0866 | 13050 | 1.4582        | -               |
+| 3.0984 | 13100 | 1.4112        | -               |
+| 3.1102 | 13150 | 1.4758        | -               |
+| 3.1220 | 13200 | 1.4388        | -               |
+| 3.1339 | 13250 | 1.4819        | -               |
+| 3.1457 | 13300 | 1.4525        | -               |
+| 3.1575 | 13350 | 1.4583        | -               |
+| 3.1693 | 13400 | 1.4714        | -               |
+| 3.1812 | 13450 | 1.4265        | -               |
+| 3.1930 | 13500 | 1.454         | -               |
+| 3.2048 | 13550 | 1.4506        | -               |
+| 3.2167 | 13600 | 1.4055        | -               |
+| 3.2285 | 13650 | 1.4729        | -               |
+| 3.2403 | 13700 | 1.4791        | -               |
+| 3.2521 | 13750 | 1.4962        | -               |
+| 3.2640 | 13800 | 1.4101        | -               |
+| 3.2758 | 13850 | 1.4596        | -               |
+| 3.2876 | 13900 | 1.4207        | -               |
+| 3.2994 | 13950 | 1.4972        | -               |
+| 3.3113 | 14000 | 1.4473        | 3.9688          |
+| 3.3231 | 14050 | 1.46          | -               |
+| 3.3349 | 14100 | 1.5012        | -               |
+| 3.3467 | 14150 | 1.5466        | -               |
+| 3.3586 | 14200 | 1.5067        | -               |
+| 3.3704 | 14250 | 1.4413        | -               |
+| 3.3822 | 14300 | 1.3448        | -               |
+| 3.3940 | 14350 | 1.3792        | -               |
+| 3.4059 | 14400 | 1.4019        | -               |
+| 3.4177 | 14450 | 1.4771        | -               |
+| 3.4295 | 14500 | 1.4383        | -               |
+| 3.4413 | 14550 | 1.4172        | -               |
+| 3.4532 | 14600 | 1.3284        | -               |
+| 3.4650 | 14650 | 1.3867        | -               |
+| 3.4768 | 14700 | 1.3931        | -               |
+| 3.4886 | 14750 | 1.4429        | -               |
+| 3.5005 | 14800 | 1.4665        | -               |
+| 3.5123 | 14850 | 1.3232        | -               |
+| 3.5241 | 14900 | 1.4112        | -               |
+| 3.5360 | 14950 | 1.3916        | -               |
+| 3.5478 | 15000 | 1.3572        | -               |
+| 3.5596 | 15050 | 1.4414        | -               |
+| 3.5714 | 15100 | 1.2716        | -               |
+| 3.5833 | 15150 | 1.4043        | -               |
+| 3.5951 | 15200 | 1.3686        | -               |
+| 3.6069 | 15250 | 1.3687        | -               |
+| 3.6187 | 15300 | 1.3183        | -               |
+| 3.6306 | 15350 | 1.3712        | -               |
+| 3.6424 | 15400 | 1.4006        | -               |
+| 3.6542 | 15450 | 1.4326        | -               |
+| 3.6660 | 15500 | 1.3116        | -               |
+| 3.6779 | 15550 | 1.2975        | -               |
+| 3.6897 | 15600 | 1.3709        | -               |
+| 3.7015 | 15650 | 1.3267        | -               |
+| 3.7133 | 15700 | 1.2947        | -               |
+| 3.7252 | 15750 | 1.3524        | -               |
+| 3.7370 | 15800 | 1.3092        | -               |
+| 3.7488 | 15850 | 1.3635        | -               |
+| 3.7606 | 15900 | 1.282         | -               |
+| 3.7725 | 15950 | 1.3122        | -               |
+| 3.7843 | 16000 | 1.2944        | 3.9723          |
+| 3.7961 | 16050 | 1.3878        | -               |
+| 3.8079 | 16100 | 1.2978        | -               |
+| 3.8198 | 16150 | 1.3128        | -               |
+| 3.8316 | 16200 | 1.317         | -               |
+| 3.8434 | 16250 | 1.3225        | -               |
+| 3.8553 | 16300 | 1.3339        | -               |
+| 3.8671 | 16350 | 1.3137        | -               |
+| 3.8789 | 16400 | 1.3128        | -               |
+| 3.8907 | 16450 | 1.3262        | -               |
+| 3.9026 | 16500 | 1.2235        | -               |
+| 3.9144 | 16550 | 1.2619        | -               |
+| 3.9262 | 16600 | 1.3289        | -               |
+| 3.9380 | 16650 | 1.2437        | -               |
+| 3.9499 | 16700 | 1.2886        | -               |
+| 3.9617 | 16750 | 1.3309        | -               |
+| 3.9735 | 16800 | 1.3457        | -               |
+| 3.9853 | 16850 | 1.3184        | -               |
+| 3.9972 | 16900 | 1.2087        | -               |
+| 4.0090 | 16950 | 1.229         | -               |
+| 4.0208 | 17000 | 1.3235        | -               |
+| 4.0326 | 17050 | 1.195         | -               |
+| 4.0445 | 17100 | 1.2793        | -               |
+| 4.0563 | 17150 | 1.2719        | -               |
+| 4.0681 | 17200 | 1.2701        | -               |
+| 4.0799 | 17250 | 1.2593        | -               |
+| 4.0918 | 17300 | 1.2324        | -               |
+| 4.1036 | 17350 | 1.2338        | -               |
+| 4.1154 | 17400 | 1.2338        | -               |
+| 4.1272 | 17450 | 1.2595        | -               |
+| 4.1391 | 17500 | 1.2434        | -               |
+| 4.1509 | 17550 | 1.268         | -               |
+| 4.1627 | 17600 | 1.2345        | -               |
+| 4.1746 | 17650 | 1.228         | -               |
+| 4.1864 | 17700 | 1.235         | -               |
+| 4.1982 | 17750 | 1.2198        | -               |
+| 4.2100 | 17800 | 1.263         | -               |
+| 4.2219 | 17850 | 1.2288        | -               |
+| 4.2337 | 17900 | 1.2251        | -               |
+| 4.2455 | 17950 | 1.2796        | -               |
+| 4.2573 | 18000 | 1.2934        | 3.9485          |
+| 4.2692 | 18050 | 1.2197        | -               |
+| 4.2810 | 18100 | 1.1908        | -               |
+| 4.2928 | 18150 | 1.2549        | -               |
+| 4.3046 | 18200 | 1.3468        | -               |
+| 4.3165 | 18250 | 1.2323        | -               |
+| 4.3283 | 18300 | 1.2897        | -               |
+| 4.3401 | 18350 | 1.3231        | -               |
+| 4.3519 | 18400 | 1.3587        | -               |
+| 4.3638 | 18450 | 1.2639        | -               |
+| 4.3756 | 18500 | 1.2244        | -               |
+| 4.3874 | 18550 | 1.1932        | -               |
+| 4.3992 | 18600 | 1.2072        | -               |
+| 4.4111 | 18650 | 1.2257        | -               |
+| 4.4229 | 18700 | 1.2368        | -               |
+| 4.4347 | 18750 | 1.2796        | -               |
+| 4.4465 | 18800 | 1.1617        | -               |
+| 4.4584 | 18850 | 1.238         | -               |
+| 4.4702 | 18900 | 1.1765        | -               |
+| 4.4820 | 18950 | 1.2626        | -               |
+| 4.4939 | 19000 | 1.2582        | -               |
+| 4.5057 | 19050 | 1.2478        | -               |
+| 4.5175 | 19100 | 1.1628        | -               |
+| 4.5293 | 19150 | 1.251         | -               |
+| 4.5412 | 19200 | 1.208         | -               |
+| 4.5530 | 19250 | 1.2535        | -               |
+| 4.5648 | 19300 | 1.1903        | -               |
+| 4.5766 | 19350 | 1.1725        | -               |
+| 4.5885 | 19400 | 1.2023        | -               |
+| 4.6003 | 19450 | 1.1607        | -               |
+| 4.6121 | 19500 | 1.2483        | -               |
+| 4.6239 | 19550 | 1.1202        | -               |
+| 4.6358 | 19600 | 1.2428        | -               |
+| 4.6476 | 19650 | 1.2413        | -               |
+| 4.6594 | 19700 | 1.1916        | -               |
+| 4.6712 | 19750 | 1.1738        | -               |
+| 4.6831 | 19800 | 1.1718        | -               |
+| 4.6949 | 19850 | 1.2093        | -               |
+| 4.7067 | 19900 | 1.1457        | -               |
+| 4.7185 | 19950 | 1.1704        | -               |
+| 4.7304 | 20000 | 1.1767        | 3.9691          |
+| 4.7422 | 20050 | 1.1956        | -               |
+| 4.7540 | 20100 | 1.1815        | -               |
+| 4.7658 | 20150 | 1.1376        | -               |
+| 4.7777 | 20200 | 1.1839        | -               |
+| 4.7895 | 20250 | 1.1722        | -               |
+| 4.8013 | 20300 | 1.2525        | -               |
+| 4.8132 | 20350 | 1.1445        | -               |
+| 4.8250 | 20400 | 1.1819        | -               |
+| 4.8368 | 20450 | 1.213         | -               |
+| 4.8486 | 20500 | 1.1366        | -               |
+| 4.8605 | 20550 | 1.2219        | -               |
+| 4.8723 | 20600 | 1.1501        | -               |
+| 4.8841 | 20650 | 1.1949        | -               |
+| 4.8959 | 20700 | 1.1757        | -               |
+| 4.9078 | 20750 | 1.1029        | -               |
+| 4.9196 | 20800 | 1.1426        | -               |
+| 4.9314 | 20850 | 1.2021        | -               |
+| 4.9432 | 20900 | 1.1034        | -               |
+| 4.9551 | 20950 | 1.2271        | -               |
+| 4.9669 | 21000 | 1.2032        | -               |
+| 4.9787 | 21050 | 1.2036        | -               |
+| 4.9905 | 21100 | 1.1324        | -               |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.15
+- Sentence Transformers: 5.3.0
+- Transformers: 4.57.6
+- PyTorch: 2.11.0+cu130
+- Accelerate: 1.13.0
+- Datasets: 3.6.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{oord2019representationlearningcontrastivepredictive,
+      title={Representation Learning with Contrastive Predictive Coding},
+      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
+      year={2019},
+      eprint={1807.03748},
+      archivePrefix={arXiv},
+      primaryClass={cs.LG},
+      url={https://arxiv.org/abs/1807.03748},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoints/checkpoint-21140/config.json

@@ -0,0 +1,45 @@
+{
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_activation": "silu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 0,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 3,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 384,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 160000.0,
+  "max_position_embeddings": 4096,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 10,
+  "pad_token_id": 2,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 3,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "transformers_version": "4.57.6",
+  "vocab_size": 32064
+}

checkpoints/checkpoint-21140/config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.3.0",
+    "transformers": "4.57.6",
+    "pytorch": "2.11.0+cu130"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoints/checkpoint-21140/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a95d2c67d9c123c1816bdaa398670bf832ce22d91866482b1b43683c592871b1
+size 125965616

checkpoints/checkpoint-21140/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoints/checkpoint-21140/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fbc781b5f32e6b59a3ad1efc44d8a5162bb9f499d98992ec3c3807fafaa15d7d
+size 251973195

checkpoints/checkpoint-21140/rng_state_0.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e5798d48c39c2c56b4a2b06f7824e209f81d6384d4988aeee062470c3320e8d0
+size 14917

checkpoints/checkpoint-21140/rng_state_1.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:025b159f0f0c9eee91ed9ba8a0b36676a29b7452651e6f2fc17144984423fa9e
+size 14917

checkpoints/checkpoint-21140/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dbfddc2fc470b1909ad9d60e021015fbc2eba1d0f0421734382fe5229352a5b3
+size 1465

checkpoints/checkpoint-21140/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

checkpoints/checkpoint-21140/special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoints/checkpoint-21140/tokenizer_config.json

@@ -0,0 +1,569 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32000": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32001": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32002": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32003": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32004": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32005": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32006": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32007": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32008": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32009": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32010": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32011": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32012": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32013": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32014": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32015": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32016": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32017": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32018": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32019": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32020": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32021": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32022": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32023": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32024": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32025": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32026": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32027": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32028": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32029": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32030": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32031": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32032": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32033": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32034": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32035": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32036": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32037": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32038": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32039": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32040": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32041": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32042": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32043": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32044": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32045": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32046": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32047": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32048": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32049": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32050": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32051": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32052": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32053": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32054": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32055": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32056": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32057": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32058": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32059": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32060": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32061": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32062": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32063": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}

checkpoints/checkpoint-21140/trainer_state.json

@@ -0,0 +1,3068 @@
+{
+  "best_global_step": 18000,
+  "best_metric": 3.9484923051611727,
+  "best_model_checkpoint": "outputs/bert-tiny-stage2-sbert/checkpoints/checkpoint-18000",
+  "epoch": 5.0,
+  "eval_steps": 2000,
+  "global_step": 21140,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.011825922421948912,
+      "grad_norm": 37.789451599121094,
+      "learning_rate": 2.3173327027666118e-07,
+      "loss": 18.0314,
+      "step": 50
+    },
+    {
+      "epoch": 0.023651844843897825,
+      "grad_norm": 43.297508239746094,
+      "learning_rate": 4.6819579096713174e-07,
+      "loss": 17.7147,
+      "step": 100
+    },
+    {
+      "epoch": 0.035477767265846734,
+      "grad_norm": 36.56124496459961,
+      "learning_rate": 7.046583116576024e-07,
+      "loss": 17.0007,
+      "step": 150
+    },
+    {
+      "epoch": 0.04730368968779565,
+      "grad_norm": 34.428916931152344,
+      "learning_rate": 9.411208323480729e-07,
+      "loss": 16.0667,
+      "step": 200
+    },
+    {
+      "epoch": 0.05912961210974456,
+      "grad_norm": 33.16645812988281,
+      "learning_rate": 1.1775833530385434e-06,
+      "loss": 14.9131,
+      "step": 250
+    },
+    {
+      "epoch": 0.07095553453169347,
+      "grad_norm": 29.064250946044922,
+      "learning_rate": 1.4140458737290142e-06,
+      "loss": 13.9449,
+      "step": 300
+    },
+    {
+      "epoch": 0.08278145695364239,
+      "grad_norm": 31.42921257019043,
+      "learning_rate": 1.6505083944194847e-06,
+      "loss": 12.7957,
+      "step": 350
+    },
+    {
+      "epoch": 0.0946073793755913,
+      "grad_norm": 33.341365814208984,
+      "learning_rate": 1.8869709151099552e-06,
+      "loss": 11.7288,
+      "step": 400
+    },
+    {
+      "epoch": 0.10643330179754021,
+      "grad_norm": 36.34325408935547,
+      "learning_rate": 2.123433435800426e-06,
+      "loss": 10.6945,
+      "step": 450
+    },
+    {
+      "epoch": 0.11825922421948912,
+      "grad_norm": 39.06941604614258,
+      "learning_rate": 2.3598959564908965e-06,
+      "loss": 9.4743,
+      "step": 500
+    },
+    {
+      "epoch": 0.13008514664143803,
+      "grad_norm": 32.969947814941406,
+      "learning_rate": 2.596358477181367e-06,
+      "loss": 8.6215,
+      "step": 550
+    },
+    {
+      "epoch": 0.14191106906338694,
+      "grad_norm": 33.9212760925293,
+      "learning_rate": 2.8328209978718375e-06,
+      "loss": 7.7279,
+      "step": 600
+    },
+    {
+      "epoch": 0.15373699148533584,
+      "grad_norm": 32.65876007080078,
+      "learning_rate": 3.069283518562308e-06,
+      "loss": 7.1892,
+      "step": 650
+    },
+    {
+      "epoch": 0.16556291390728478,
+      "grad_norm": 29.210859298706055,
+      "learning_rate": 3.3057460392527786e-06,
+      "loss": 6.9682,
+      "step": 700
+    },
+    {
+      "epoch": 0.1773888363292337,
+      "grad_norm": 29.231189727783203,
+      "learning_rate": 3.5422085599432495e-06,
+      "loss": 6.4781,
+      "step": 750
+    },
+    {
+      "epoch": 0.1892147587511826,
+      "grad_norm": 28.949066162109375,
+      "learning_rate": 3.77867108063372e-06,
+      "loss": 6.1271,
+      "step": 800
+    },
+    {
+      "epoch": 0.2010406811731315,
+      "grad_norm": 29.826133728027344,
+      "learning_rate": 4.01513360132419e-06,
+      "loss": 6.1199,
+      "step": 850
+    },
+    {
+      "epoch": 0.21286660359508042,
+      "grad_norm": 27.585041046142578,
+      "learning_rate": 4.2515961220146615e-06,
+      "loss": 5.9544,
+      "step": 900
+    },
+    {
+      "epoch": 0.22469252601702933,
+      "grad_norm": 28.10279655456543,
+      "learning_rate": 4.488058642705131e-06,
+      "loss": 5.8145,
+      "step": 950
+    },
+    {
+      "epoch": 0.23651844843897823,
+      "grad_norm": 26.567943572998047,
+      "learning_rate": 4.7245211633956025e-06,
+      "loss": 5.5599,
+      "step": 1000
+    },
+    {
+      "epoch": 0.24834437086092714,
+      "grad_norm": 24.42616081237793,
+      "learning_rate": 4.960983684086072e-06,
+      "loss": 5.2344,
+      "step": 1050
+    },
+    {
+      "epoch": 0.26017029328287605,
+      "grad_norm": 25.857810974121094,
+      "learning_rate": 5.197446204776543e-06,
+      "loss": 5.3013,
+      "step": 1100
+    },
+    {
+      "epoch": 0.27199621570482496,
+      "grad_norm": 26.047733306884766,
+      "learning_rate": 5.433908725467014e-06,
+      "loss": 5.0562,
+      "step": 1150
+    },
+    {
+      "epoch": 0.28382213812677387,
+      "grad_norm": 26.875659942626953,
+      "learning_rate": 5.670371246157485e-06,
+      "loss": 4.8728,
+      "step": 1200
+    },
+    {
+      "epoch": 0.2956480605487228,
+      "grad_norm": 21.9539737701416,
+      "learning_rate": 5.906833766847954e-06,
+      "loss": 4.7826,
+      "step": 1250
+    },
+    {
+      "epoch": 0.3074739829706717,
+      "grad_norm": 23.06488609313965,
+      "learning_rate": 6.143296287538426e-06,
+      "loss": 4.8806,
+      "step": 1300
+    },
+    {
+      "epoch": 0.3192999053926206,
+      "grad_norm": 24.24974250793457,
+      "learning_rate": 6.379758808228896e-06,
+      "loss": 4.6464,
+      "step": 1350
+    },
+    {
+      "epoch": 0.33112582781456956,
+      "grad_norm": 22.658571243286133,
+      "learning_rate": 6.616221328919367e-06,
+      "loss": 4.7046,
+      "step": 1400
+    },
+    {
+      "epoch": 0.34295175023651847,
+      "grad_norm": 21.927656173706055,
+      "learning_rate": 6.852683849609837e-06,
+      "loss": 4.5188,
+      "step": 1450
+    },
+    {
+      "epoch": 0.3547776726584674,
+      "grad_norm": 24.39653778076172,
+      "learning_rate": 7.089146370300309e-06,
+      "loss": 4.4968,
+      "step": 1500
+    },
+    {
+      "epoch": 0.3666035950804163,
+      "grad_norm": 23.591333389282227,
+      "learning_rate": 7.325608890990778e-06,
+      "loss": 4.4387,
+      "step": 1550
+    },
+    {
+      "epoch": 0.3784295175023652,
+      "grad_norm": 24.572961807250977,
+      "learning_rate": 7.562071411681249e-06,
+      "loss": 4.1702,
+      "step": 1600
+    },
+    {
+      "epoch": 0.3902554399243141,
+      "grad_norm": 22.61821174621582,
+      "learning_rate": 7.79853393237172e-06,
+      "loss": 4.2147,
+      "step": 1650
+    },
+    {
+      "epoch": 0.402081362346263,
+      "grad_norm": 22.490327835083008,
+      "learning_rate": 8.03499645306219e-06,
+      "loss": 3.9972,
+      "step": 1700
+    },
+    {
+      "epoch": 0.4139072847682119,
+      "grad_norm": 23.695873260498047,
+      "learning_rate": 8.271458973752661e-06,
+      "loss": 4.1279,
+      "step": 1750
+    },
+    {
+      "epoch": 0.42573320719016083,
+      "grad_norm": 24.085838317871094,
+      "learning_rate": 8.507921494443131e-06,
+      "loss": 4.0214,
+      "step": 1800
+    },
+    {
+      "epoch": 0.43755912961210974,
+      "grad_norm": 20.78253173828125,
+      "learning_rate": 8.744384015133602e-06,
+      "loss": 3.9161,
+      "step": 1850
+    },
+    {
+      "epoch": 0.44938505203405865,
+      "grad_norm": 19.800090789794922,
+      "learning_rate": 8.980846535824072e-06,
+      "loss": 3.7544,
+      "step": 1900
+    },
+    {
+      "epoch": 0.46121097445600756,
+      "grad_norm": 22.900514602661133,
+      "learning_rate": 9.217309056514543e-06,
+      "loss": 3.8246,
+      "step": 1950
+    },
+    {
+      "epoch": 0.47303689687795647,
+      "grad_norm": 22.419363021850586,
+      "learning_rate": 9.453771577205015e-06,
+      "loss": 3.7991,
+      "step": 2000
+    },
+    {
+      "epoch": 0.47303689687795647,
+      "eval_runtime": 46.7005,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 5.98806651504585,
+      "step": 2000
+    },
+    {
+      "epoch": 0.4848628192999054,
+      "grad_norm": 22.308876037597656,
+      "learning_rate": 9.690234097895484e-06,
+      "loss": 3.8554,
+      "step": 2050
+    },
+    {
+      "epoch": 0.4966887417218543,
+      "grad_norm": 23.8614501953125,
+      "learning_rate": 9.926696618585954e-06,
+      "loss": 3.8123,
+      "step": 2100
+    },
+    {
+      "epoch": 0.5085146641438032,
+      "grad_norm": 21.00491714477539,
+      "learning_rate": 1.0163159139276425e-05,
+      "loss": 3.5525,
+      "step": 2150
+    },
+    {
+      "epoch": 0.5203405865657521,
+      "grad_norm": 25.555097579956055,
+      "learning_rate": 1.0399621659966897e-05,
+      "loss": 3.5591,
+      "step": 2200
+    },
+    {
+      "epoch": 0.532166508987701,
+      "grad_norm": 25.4840087890625,
+      "learning_rate": 1.0636084180657367e-05,
+      "loss": 3.6293,
+      "step": 2250
+    },
+    {
+      "epoch": 0.5439924314096499,
+      "grad_norm": 21.117971420288086,
+      "learning_rate": 1.0872546701347836e-05,
+      "loss": 3.5831,
+      "step": 2300
+    },
+    {
+      "epoch": 0.5558183538315988,
+      "grad_norm": 23.38995361328125,
+      "learning_rate": 1.1109009222038308e-05,
+      "loss": 3.6007,
+      "step": 2350
+    },
+    {
+      "epoch": 0.5676442762535477,
+      "grad_norm": 22.385738372802734,
+      "learning_rate": 1.1345471742728777e-05,
+      "loss": 3.4225,
+      "step": 2400
+    },
+    {
+      "epoch": 0.5794701986754967,
+      "grad_norm": 21.53306007385254,
+      "learning_rate": 1.158193426341925e-05,
+      "loss": 3.4405,
+      "step": 2450
+    },
+    {
+      "epoch": 0.5912961210974456,
+      "grad_norm": 22.93678092956543,
+      "learning_rate": 1.181839678410972e-05,
+      "loss": 3.4002,
+      "step": 2500
+    },
+    {
+      "epoch": 0.6031220435193945,
+      "grad_norm": 20.330045700073242,
+      "learning_rate": 1.2054859304800191e-05,
+      "loss": 3.3653,
+      "step": 2550
+    },
+    {
+      "epoch": 0.6149479659413434,
+      "grad_norm": 21.98198699951172,
+      "learning_rate": 1.2291321825490661e-05,
+      "loss": 3.321,
+      "step": 2600
+    },
+    {
+      "epoch": 0.6267738883632923,
+      "grad_norm": 18.49015998840332,
+      "learning_rate": 1.252778434618113e-05,
+      "loss": 3.3042,
+      "step": 2650
+    },
+    {
+      "epoch": 0.6385998107852412,
+      "grad_norm": 22.69803237915039,
+      "learning_rate": 1.2764246866871602e-05,
+      "loss": 3.2117,
+      "step": 2700
+    },
+    {
+      "epoch": 0.6504257332071902,
+      "grad_norm": 19.658132553100586,
+      "learning_rate": 1.3000709387562072e-05,
+      "loss": 3.3423,
+      "step": 2750
+    },
+    {
+      "epoch": 0.6622516556291391,
+      "grad_norm": 20.783931732177734,
+      "learning_rate": 1.3237171908252545e-05,
+      "loss": 3.2494,
+      "step": 2800
+    },
+    {
+      "epoch": 0.674077578051088,
+      "grad_norm": 17.039609909057617,
+      "learning_rate": 1.3473634428943014e-05,
+      "loss": 3.1364,
+      "step": 2850
+    },
+    {
+      "epoch": 0.6859035004730369,
+      "grad_norm": 21.787738800048828,
+      "learning_rate": 1.3710096949633484e-05,
+      "loss": 3.1836,
+      "step": 2900
+    },
+    {
+      "epoch": 0.6977294228949859,
+      "grad_norm": 20.883773803710938,
+      "learning_rate": 1.3946559470323956e-05,
+      "loss": 3.1268,
+      "step": 2950
+    },
+    {
+      "epoch": 0.7095553453169348,
+      "grad_norm": 17.700597763061523,
+      "learning_rate": 1.4183021991014425e-05,
+      "loss": 3.072,
+      "step": 3000
+    },
+    {
+      "epoch": 0.7213812677388837,
+      "grad_norm": 20.23262596130371,
+      "learning_rate": 1.4419484511704895e-05,
+      "loss": 3.0135,
+      "step": 3050
+    },
+    {
+      "epoch": 0.7332071901608326,
+      "grad_norm": 19.417842864990234,
+      "learning_rate": 1.4655947032395366e-05,
+      "loss": 3.0607,
+      "step": 3100
+    },
+    {
+      "epoch": 0.7450331125827815,
+      "grad_norm": 19.843341827392578,
+      "learning_rate": 1.4892409553085838e-05,
+      "loss": 3.0963,
+      "step": 3150
+    },
+    {
+      "epoch": 0.7568590350047304,
+      "grad_norm": 20.248523712158203,
+      "learning_rate": 1.5128872073776309e-05,
+      "loss": 3.0419,
+      "step": 3200
+    },
+    {
+      "epoch": 0.7686849574266793,
+      "grad_norm": 24.61260986328125,
+      "learning_rate": 1.5365334594466777e-05,
+      "loss": 2.9891,
+      "step": 3250
+    },
+    {
+      "epoch": 0.7805108798486282,
+      "grad_norm": 16.637826919555664,
+      "learning_rate": 1.560179711515725e-05,
+      "loss": 2.9384,
+      "step": 3300
+    },
+    {
+      "epoch": 0.7923368022705771,
+      "grad_norm": 24.341026306152344,
+      "learning_rate": 1.583825963584772e-05,
+      "loss": 2.8918,
+      "step": 3350
+    },
+    {
+      "epoch": 0.804162724692526,
+      "grad_norm": 18.246440887451172,
+      "learning_rate": 1.607472215653819e-05,
+      "loss": 2.9816,
+      "step": 3400
+    },
+    {
+      "epoch": 0.8159886471144749,
+      "grad_norm": 19.296022415161133,
+      "learning_rate": 1.631118467722866e-05,
+      "loss": 2.9664,
+      "step": 3450
+    },
+    {
+      "epoch": 0.8278145695364238,
+      "grad_norm": 19.331918716430664,
+      "learning_rate": 1.6547647197919134e-05,
+      "loss": 2.8969,
+      "step": 3500
+    },
+    {
+      "epoch": 0.8396404919583728,
+      "grad_norm": 25.586254119873047,
+      "learning_rate": 1.6784109718609602e-05,
+      "loss": 2.9368,
+      "step": 3550
+    },
+    {
+      "epoch": 0.8514664143803217,
+      "grad_norm": 19.701223373413086,
+      "learning_rate": 1.7020572239300073e-05,
+      "loss": 2.8513,
+      "step": 3600
+    },
+    {
+      "epoch": 0.8632923368022706,
+      "grad_norm": 16.68182945251465,
+      "learning_rate": 1.7257034759990545e-05,
+      "loss": 2.9808,
+      "step": 3650
+    },
+    {
+      "epoch": 0.8751182592242195,
+      "grad_norm": 19.592416763305664,
+      "learning_rate": 1.7493497280681013e-05,
+      "loss": 2.8428,
+      "step": 3700
+    },
+    {
+      "epoch": 0.8869441816461684,
+      "grad_norm": 20.324504852294922,
+      "learning_rate": 1.7729959801371484e-05,
+      "loss": 2.8775,
+      "step": 3750
+    },
+    {
+      "epoch": 0.8987701040681173,
+      "grad_norm": 19.49851417541504,
+      "learning_rate": 1.7966422322061955e-05,
+      "loss": 2.739,
+      "step": 3800
+    },
+    {
+      "epoch": 0.9105960264900662,
+      "grad_norm": 19.18546485900879,
+      "learning_rate": 1.8202884842752427e-05,
+      "loss": 2.8277,
+      "step": 3850
+    },
+    {
+      "epoch": 0.9224219489120151,
+      "grad_norm": 23.6113338470459,
+      "learning_rate": 1.8439347363442898e-05,
+      "loss": 2.767,
+      "step": 3900
+    },
+    {
+      "epoch": 0.934247871333964,
+      "grad_norm": 19.779712677001953,
+      "learning_rate": 1.8675809884133366e-05,
+      "loss": 2.794,
+      "step": 3950
+    },
+    {
+      "epoch": 0.9460737937559129,
+      "grad_norm": 23.361425399780273,
+      "learning_rate": 1.8912272404823837e-05,
+      "loss": 2.7738,
+      "step": 4000
+    },
+    {
+      "epoch": 0.9460737937559129,
+      "eval_runtime": 47.0317,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.773771009103065,
+      "step": 4000
+    },
+    {
+      "epoch": 0.9578997161778618,
+      "grad_norm": 18.137535095214844,
+      "learning_rate": 1.914873492551431e-05,
+      "loss": 2.8568,
+      "step": 4050
+    },
+    {
+      "epoch": 0.9697256385998108,
+      "grad_norm": 18.014116287231445,
+      "learning_rate": 1.9385197446204777e-05,
+      "loss": 2.7938,
+      "step": 4100
+    },
+    {
+      "epoch": 0.9815515610217597,
+      "grad_norm": 17.168569564819336,
+      "learning_rate": 1.9621659966895248e-05,
+      "loss": 2.7272,
+      "step": 4150
+    },
+    {
+      "epoch": 0.9933774834437086,
+      "grad_norm": 17.75269889831543,
+      "learning_rate": 1.985812248758572e-05,
+      "loss": 2.7079,
+      "step": 4200
+    },
+    {
+      "epoch": 1.0052034058656576,
+      "grad_norm": 19.342844009399414,
+      "learning_rate": 1.9976346756548995e-05,
+      "loss": 2.6383,
+      "step": 4250
+    },
+    {
+      "epoch": 1.0170293282876064,
+      "grad_norm": 17.54117774963379,
+      "learning_rate": 1.9917213647921473e-05,
+      "loss": 2.6855,
+      "step": 4300
+    },
+    {
+      "epoch": 1.0288552507095554,
+      "grad_norm": 18.412206649780273,
+      "learning_rate": 1.9858080539293952e-05,
+      "loss": 2.6568,
+      "step": 4350
+    },
+    {
+      "epoch": 1.0406811731315042,
+      "grad_norm": 18.794939041137695,
+      "learning_rate": 1.979894743066643e-05,
+      "loss": 2.5981,
+      "step": 4400
+    },
+    {
+      "epoch": 1.0525070955534532,
+      "grad_norm": 17.26803970336914,
+      "learning_rate": 1.973981432203891e-05,
+      "loss": 2.6987,
+      "step": 4450
+    },
+    {
+      "epoch": 1.064333017975402,
+      "grad_norm": 15.831737518310547,
+      "learning_rate": 1.968068121341139e-05,
+      "loss": 2.6992,
+      "step": 4500
+    },
+    {
+      "epoch": 1.076158940397351,
+      "grad_norm": 16.746700286865234,
+      "learning_rate": 1.962154810478387e-05,
+      "loss": 2.5434,
+      "step": 4550
+    },
+    {
+      "epoch": 1.0879848628192998,
+      "grad_norm": 18.824857711791992,
+      "learning_rate": 1.956241499615635e-05,
+      "loss": 2.5553,
+      "step": 4600
+    },
+    {
+      "epoch": 1.0998107852412489,
+      "grad_norm": 16.81246566772461,
+      "learning_rate": 1.9503281887528828e-05,
+      "loss": 2.4978,
+      "step": 4650
+    },
+    {
+      "epoch": 1.1116367076631977,
+      "grad_norm": 18.369991302490234,
+      "learning_rate": 1.9444148778901307e-05,
+      "loss": 2.5679,
+      "step": 4700
+    },
+    {
+      "epoch": 1.1234626300851467,
+      "grad_norm": 19.55158805847168,
+      "learning_rate": 1.938501567027379e-05,
+      "loss": 2.4768,
+      "step": 4750
+    },
+    {
+      "epoch": 1.1352885525070955,
+      "grad_norm": 20.673002243041992,
+      "learning_rate": 1.9325882561646268e-05,
+      "loss": 2.5578,
+      "step": 4800
+    },
+    {
+      "epoch": 1.1471144749290445,
+      "grad_norm": 17.067432403564453,
+      "learning_rate": 1.9266749453018747e-05,
+      "loss": 2.4758,
+      "step": 4850
+    },
+    {
+      "epoch": 1.1589403973509933,
+      "grad_norm": 22.328304290771484,
+      "learning_rate": 1.9207616344391226e-05,
+      "loss": 2.5352,
+      "step": 4900
+    },
+    {
+      "epoch": 1.1707663197729423,
+      "grad_norm": 15.121694564819336,
+      "learning_rate": 1.9148483235763708e-05,
+      "loss": 2.5023,
+      "step": 4950
+    },
+    {
+      "epoch": 1.1825922421948911,
+      "grad_norm": 15.201376914978027,
+      "learning_rate": 1.9089350127136187e-05,
+      "loss": 2.4713,
+      "step": 5000
+    },
+    {
+      "epoch": 1.1944181646168401,
+      "grad_norm": 20.54207992553711,
+      "learning_rate": 1.9030217018508665e-05,
+      "loss": 2.486,
+      "step": 5050
+    },
+    {
+      "epoch": 1.206244087038789,
+      "grad_norm": 16.934635162353516,
+      "learning_rate": 1.8971083909881144e-05,
+      "loss": 2.483,
+      "step": 5100
+    },
+    {
+      "epoch": 1.218070009460738,
+      "grad_norm": 16.963790893554688,
+      "learning_rate": 1.8911950801253623e-05,
+      "loss": 2.4098,
+      "step": 5150
+    },
+    {
+      "epoch": 1.2298959318826868,
+      "grad_norm": 16.505352020263672,
+      "learning_rate": 1.8852817692626102e-05,
+      "loss": 2.5061,
+      "step": 5200
+    },
+    {
+      "epoch": 1.2417218543046358,
+      "grad_norm": 16.634069442749023,
+      "learning_rate": 1.879368458399858e-05,
+      "loss": 2.4597,
+      "step": 5250
+    },
+    {
+      "epoch": 1.2535477767265846,
+      "grad_norm": 16.373046875,
+      "learning_rate": 1.8734551475371063e-05,
+      "loss": 2.4591,
+      "step": 5300
+    },
+    {
+      "epoch": 1.2653736991485336,
+      "grad_norm": 21.308876037597656,
+      "learning_rate": 1.867541836674354e-05,
+      "loss": 2.3879,
+      "step": 5350
+    },
+    {
+      "epoch": 1.2771996215704826,
+      "grad_norm": 20.565275192260742,
+      "learning_rate": 1.861628525811602e-05,
+      "loss": 2.4146,
+      "step": 5400
+    },
+    {
+      "epoch": 1.2890255439924314,
+      "grad_norm": 15.853353500366211,
+      "learning_rate": 1.85571521494885e-05,
+      "loss": 2.3418,
+      "step": 5450
+    },
+    {
+      "epoch": 1.3008514664143802,
+      "grad_norm": 13.12362003326416,
+      "learning_rate": 1.8498019040860978e-05,
+      "loss": 2.4307,
+      "step": 5500
+    },
+    {
+      "epoch": 1.3126773888363292,
+      "grad_norm": 19.059667587280273,
+      "learning_rate": 1.843888593223346e-05,
+      "loss": 2.3653,
+      "step": 5550
+    },
+    {
+      "epoch": 1.3245033112582782,
+      "grad_norm": 17.448827743530273,
+      "learning_rate": 1.837975282360594e-05,
+      "loss": 2.3995,
+      "step": 5600
+    },
+    {
+      "epoch": 1.336329233680227,
+      "grad_norm": 18.326887130737305,
+      "learning_rate": 1.8320619714978418e-05,
+      "loss": 2.4527,
+      "step": 5650
+    },
+    {
+      "epoch": 1.3481551561021758,
+      "grad_norm": 18.03122901916504,
+      "learning_rate": 1.8261486606350896e-05,
+      "loss": 2.4547,
+      "step": 5700
+    },
+    {
+      "epoch": 1.3599810785241249,
+      "grad_norm": 18.269872665405273,
+      "learning_rate": 1.820235349772338e-05,
+      "loss": 2.3695,
+      "step": 5750
+    },
+    {
+      "epoch": 1.3718070009460739,
+      "grad_norm": 16.90838623046875,
+      "learning_rate": 1.8143220389095857e-05,
+      "loss": 2.3341,
+      "step": 5800
+    },
+    {
+      "epoch": 1.3836329233680227,
+      "grad_norm": 18.816362380981445,
+      "learning_rate": 1.8084087280468336e-05,
+      "loss": 2.2412,
+      "step": 5850
+    },
+    {
+      "epoch": 1.3954588457899715,
+      "grad_norm": 17.30527687072754,
+      "learning_rate": 1.8024954171840815e-05,
+      "loss": 2.2695,
+      "step": 5900
+    },
+    {
+      "epoch": 1.4072847682119205,
+      "grad_norm": 18.299711227416992,
+      "learning_rate": 1.7965821063213297e-05,
+      "loss": 2.2922,
+      "step": 5950
+    },
+    {
+      "epoch": 1.4191106906338695,
+      "grad_norm": 18.047449111938477,
+      "learning_rate": 1.7906687954585773e-05,
+      "loss": 2.3176,
+      "step": 6000
+    },
+    {
+      "epoch": 1.4191106906338695,
+      "eval_runtime": 46.9839,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.305679076455633,
+      "step": 6000
+    },
+    {
+      "epoch": 1.4309366130558183,
+      "grad_norm": 20.608333587646484,
+      "learning_rate": 1.784755484595825e-05,
+      "loss": 2.281,
+      "step": 6050
+    },
+    {
+      "epoch": 1.4427625354777673,
+      "grad_norm": 16.299001693725586,
+      "learning_rate": 1.7788421737330734e-05,
+      "loss": 2.2155,
+      "step": 6100
+    },
+    {
+      "epoch": 1.4545884578997161,
+      "grad_norm": 17.70014762878418,
+      "learning_rate": 1.7729288628703212e-05,
+      "loss": 2.1908,
+      "step": 6150
+    },
+    {
+      "epoch": 1.4664143803216652,
+      "grad_norm": 13.944992065429688,
+      "learning_rate": 1.767015552007569e-05,
+      "loss": 2.2071,
+      "step": 6200
+    },
+    {
+      "epoch": 1.478240302743614,
+      "grad_norm": 18.37308692932129,
+      "learning_rate": 1.761102241144817e-05,
+      "loss": 2.2617,
+      "step": 6250
+    },
+    {
+      "epoch": 1.490066225165563,
+      "grad_norm": 16.624183654785156,
+      "learning_rate": 1.7551889302820652e-05,
+      "loss": 2.2864,
+      "step": 6300
+    },
+    {
+      "epoch": 1.5018921475875118,
+      "grad_norm": 15.490421295166016,
+      "learning_rate": 1.749275619419313e-05,
+      "loss": 2.2509,
+      "step": 6350
+    },
+    {
+      "epoch": 1.5137180700094608,
+      "grad_norm": 15.517704010009766,
+      "learning_rate": 1.743362308556561e-05,
+      "loss": 2.1227,
+      "step": 6400
+    },
+    {
+      "epoch": 1.5255439924314098,
+      "grad_norm": 14.78442096710205,
+      "learning_rate": 1.737448997693809e-05,
+      "loss": 2.1919,
+      "step": 6450
+    },
+    {
+      "epoch": 1.5373699148533586,
+      "grad_norm": 19.766271591186523,
+      "learning_rate": 1.7315356868310567e-05,
+      "loss": 2.2072,
+      "step": 6500
+    },
+    {
+      "epoch": 1.5491958372753074,
+      "grad_norm": 17.84695053100586,
+      "learning_rate": 1.725622375968305e-05,
+      "loss": 2.1652,
+      "step": 6550
+    },
+    {
+      "epoch": 1.5610217596972564,
+      "grad_norm": 17.325145721435547,
+      "learning_rate": 1.7197090651055528e-05,
+      "loss": 2.2224,
+      "step": 6600
+    },
+    {
+      "epoch": 1.5728476821192054,
+      "grad_norm": 19.243274688720703,
+      "learning_rate": 1.7137957542428007e-05,
+      "loss": 2.0715,
+      "step": 6650
+    },
+    {
+      "epoch": 1.5846736045411542,
+      "grad_norm": 17.589859008789062,
+      "learning_rate": 1.7078824433800486e-05,
+      "loss": 2.1693,
+      "step": 6700
+    },
+    {
+      "epoch": 1.596499526963103,
+      "grad_norm": 14.71687126159668,
+      "learning_rate": 1.7019691325172968e-05,
+      "loss": 2.1141,
+      "step": 6750
+    },
+    {
+      "epoch": 1.608325449385052,
+      "grad_norm": 14.723918914794922,
+      "learning_rate": 1.6960558216545443e-05,
+      "loss": 2.1129,
+      "step": 6800
+    },
+    {
+      "epoch": 1.620151371807001,
+      "grad_norm": 16.5570011138916,
+      "learning_rate": 1.6901425107917922e-05,
+      "loss": 2.1001,
+      "step": 6850
+    },
+    {
+      "epoch": 1.6319772942289499,
+      "grad_norm": 17.945083618164062,
+      "learning_rate": 1.6842291999290404e-05,
+      "loss": 2.094,
+      "step": 6900
+    },
+    {
+      "epoch": 1.6438032166508987,
+      "grad_norm": 18.704225540161133,
+      "learning_rate": 1.6783158890662883e-05,
+      "loss": 2.2176,
+      "step": 6950
+    },
+    {
+      "epoch": 1.6556291390728477,
+      "grad_norm": 15.701910018920898,
+      "learning_rate": 1.6724025782035362e-05,
+      "loss": 2.109,
+      "step": 7000
+    },
+    {
+      "epoch": 1.6674550614947967,
+      "grad_norm": 16.768260955810547,
+      "learning_rate": 1.666489267340784e-05,
+      "loss": 2.0537,
+      "step": 7050
+    },
+    {
+      "epoch": 1.6792809839167455,
+      "grad_norm": 17.835603713989258,
+      "learning_rate": 1.6605759564780323e-05,
+      "loss": 2.0328,
+      "step": 7100
+    },
+    {
+      "epoch": 1.6911069063386943,
+      "grad_norm": 18.1043701171875,
+      "learning_rate": 1.6546626456152802e-05,
+      "loss": 2.1541,
+      "step": 7150
+    },
+    {
+      "epoch": 1.7029328287606433,
+      "grad_norm": 14.032896995544434,
+      "learning_rate": 1.648749334752528e-05,
+      "loss": 2.0164,
+      "step": 7200
+    },
+    {
+      "epoch": 1.7147587511825924,
+      "grad_norm": 15.934415817260742,
+      "learning_rate": 1.642836023889776e-05,
+      "loss": 2.0225,
+      "step": 7250
+    },
+    {
+      "epoch": 1.7265846736045412,
+      "grad_norm": 15.602225303649902,
+      "learning_rate": 1.636922713027024e-05,
+      "loss": 2.0243,
+      "step": 7300
+    },
+    {
+      "epoch": 1.73841059602649,
+      "grad_norm": 15.584887504577637,
+      "learning_rate": 1.631009402164272e-05,
+      "loss": 2.0152,
+      "step": 7350
+    },
+    {
+      "epoch": 1.750236518448439,
+      "grad_norm": 17.52799415588379,
+      "learning_rate": 1.62509609130152e-05,
+      "loss": 2.0455,
+      "step": 7400
+    },
+    {
+      "epoch": 1.762062440870388,
+      "grad_norm": 15.92798900604248,
+      "learning_rate": 1.6191827804387678e-05,
+      "loss": 2.0026,
+      "step": 7450
+    },
+    {
+      "epoch": 1.7738883632923368,
+      "grad_norm": 14.851804733276367,
+      "learning_rate": 1.6132694695760157e-05,
+      "loss": 1.9846,
+      "step": 7500
+    },
+    {
+      "epoch": 1.7857142857142856,
+      "grad_norm": 15.551090240478516,
+      "learning_rate": 1.607356158713264e-05,
+      "loss": 1.9594,
+      "step": 7550
+    },
+    {
+      "epoch": 1.7975402081362346,
+      "grad_norm": 14.651620864868164,
+      "learning_rate": 1.6014428478505118e-05,
+      "loss": 2.0523,
+      "step": 7600
+    },
+    {
+      "epoch": 1.8093661305581836,
+      "grad_norm": 19.447086334228516,
+      "learning_rate": 1.5955295369877596e-05,
+      "loss": 1.9751,
+      "step": 7650
+    },
+    {
+      "epoch": 1.8211920529801324,
+      "grad_norm": 14.130012512207031,
+      "learning_rate": 1.5896162261250075e-05,
+      "loss": 1.9898,
+      "step": 7700
+    },
+    {
+      "epoch": 1.8330179754020812,
+      "grad_norm": 18.4505615234375,
+      "learning_rate": 1.5837029152622554e-05,
+      "loss": 1.9658,
+      "step": 7750
+    },
+    {
+      "epoch": 1.8448438978240302,
+      "grad_norm": 12.992496490478516,
+      "learning_rate": 1.5777896043995033e-05,
+      "loss": 1.9976,
+      "step": 7800
+    },
+    {
+      "epoch": 1.8566698202459793,
+      "grad_norm": 17.20708656311035,
+      "learning_rate": 1.571876293536751e-05,
+      "loss": 1.9939,
+      "step": 7850
+    },
+    {
+      "epoch": 1.868495742667928,
+      "grad_norm": 14.438339233398438,
+      "learning_rate": 1.5659629826739994e-05,
+      "loss": 1.9666,
+      "step": 7900
+    },
+    {
+      "epoch": 1.8803216650898769,
+      "grad_norm": 16.87125015258789,
+      "learning_rate": 1.5600496718112473e-05,
+      "loss": 1.9704,
+      "step": 7950
+    },
+    {
+      "epoch": 1.8921475875118259,
+      "grad_norm": 17.480026245117188,
+      "learning_rate": 1.554136360948495e-05,
+      "loss": 1.9822,
+      "step": 8000
+    },
+    {
+      "epoch": 1.8921475875118259,
+      "eval_runtime": 47.026,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.1330844767959665,
+      "step": 8000
+    },
+    {
+      "epoch": 1.903973509933775,
+      "grad_norm": 15.649256706237793,
+      "learning_rate": 1.548223050085743e-05,
+      "loss": 1.8534,
+      "step": 8050
+    },
+    {
+      "epoch": 1.9157994323557237,
+      "grad_norm": 17.02906608581543,
+      "learning_rate": 1.5423097392229912e-05,
+      "loss": 1.856,
+      "step": 8100
+    },
+    {
+      "epoch": 1.9276253547776725,
+      "grad_norm": 16.321977615356445,
+      "learning_rate": 1.536396428360239e-05,
+      "loss": 1.9817,
+      "step": 8150
+    },
+    {
+      "epoch": 1.9394512771996215,
+      "grad_norm": 21.492490768432617,
+      "learning_rate": 1.530483117497487e-05,
+      "loss": 1.9095,
+      "step": 8200
+    },
+    {
+      "epoch": 1.9512771996215705,
+      "grad_norm": 18.752315521240234,
+      "learning_rate": 1.524569806634735e-05,
+      "loss": 1.9343,
+      "step": 8250
+    },
+    {
+      "epoch": 1.9631031220435196,
+      "grad_norm": 17.007205963134766,
+      "learning_rate": 1.518656495771983e-05,
+      "loss": 1.95,
+      "step": 8300
+    },
+    {
+      "epoch": 1.9749290444654684,
+      "grad_norm": 16.75872230529785,
+      "learning_rate": 1.512743184909231e-05,
+      "loss": 1.9981,
+      "step": 8350
+    },
+    {
+      "epoch": 1.9867549668874172,
+      "grad_norm": 18.816049575805664,
+      "learning_rate": 1.5068298740464788e-05,
+      "loss": 1.8872,
+      "step": 8400
+    },
+    {
+      "epoch": 1.9985808893093662,
+      "grad_norm": 16.992637634277344,
+      "learning_rate": 1.5009165631837266e-05,
+      "loss": 1.8112,
+      "step": 8450
+    },
+    {
+      "epoch": 2.010406811731315,
+      "grad_norm": 16.72859001159668,
+      "learning_rate": 1.4950032523209746e-05,
+      "loss": 1.8451,
+      "step": 8500
+    },
+    {
+      "epoch": 2.0222327341532638,
+      "grad_norm": 15.676278114318848,
+      "learning_rate": 1.4890899414582225e-05,
+      "loss": 1.8918,
+      "step": 8550
+    },
+    {
+      "epoch": 2.034058656575213,
+      "grad_norm": 15.531780242919922,
+      "learning_rate": 1.4831766305954705e-05,
+      "loss": 1.7837,
+      "step": 8600
+    },
+    {
+      "epoch": 2.045884578997162,
+      "grad_norm": 17.246252059936523,
+      "learning_rate": 1.4772633197327184e-05,
+      "loss": 1.8692,
+      "step": 8650
+    },
+    {
+      "epoch": 2.057710501419111,
+      "grad_norm": 13.021443367004395,
+      "learning_rate": 1.4713500088699663e-05,
+      "loss": 1.8614,
+      "step": 8700
+    },
+    {
+      "epoch": 2.0695364238410594,
+      "grad_norm": 15.586688041687012,
+      "learning_rate": 1.4654366980072143e-05,
+      "loss": 1.8677,
+      "step": 8750
+    },
+    {
+      "epoch": 2.0813623462630084,
+      "grad_norm": 19.62430191040039,
+      "learning_rate": 1.4595233871444622e-05,
+      "loss": 1.8005,
+      "step": 8800
+    },
+    {
+      "epoch": 2.0931882686849574,
+      "grad_norm": 15.454833984375,
+      "learning_rate": 1.4536100762817103e-05,
+      "loss": 1.8008,
+      "step": 8850
+    },
+    {
+      "epoch": 2.1050141911069065,
+      "grad_norm": 16.70480728149414,
+      "learning_rate": 1.4476967654189581e-05,
+      "loss": 1.8207,
+      "step": 8900
+    },
+    {
+      "epoch": 2.116840113528855,
+      "grad_norm": 17.584407806396484,
+      "learning_rate": 1.4417834545562062e-05,
+      "loss": 1.7491,
+      "step": 8950
+    },
+    {
+      "epoch": 2.128666035950804,
+      "grad_norm": 17.367647171020508,
+      "learning_rate": 1.435870143693454e-05,
+      "loss": 1.8351,
+      "step": 9000
+    },
+    {
+      "epoch": 2.140491958372753,
+      "grad_norm": 15.521934509277344,
+      "learning_rate": 1.4299568328307021e-05,
+      "loss": 1.7934,
+      "step": 9050
+    },
+    {
+      "epoch": 2.152317880794702,
+      "grad_norm": 18.928241729736328,
+      "learning_rate": 1.42404352196795e-05,
+      "loss": 1.8162,
+      "step": 9100
+    },
+    {
+      "epoch": 2.1641438032166507,
+      "grad_norm": 16.490169525146484,
+      "learning_rate": 1.418130211105198e-05,
+      "loss": 1.8496,
+      "step": 9150
+    },
+    {
+      "epoch": 2.1759697256385997,
+      "grad_norm": 16.48432731628418,
+      "learning_rate": 1.412216900242446e-05,
+      "loss": 1.7747,
+      "step": 9200
+    },
+    {
+      "epoch": 2.1877956480605487,
+      "grad_norm": 11.924939155578613,
+      "learning_rate": 1.406303589379694e-05,
+      "loss": 1.7665,
+      "step": 9250
+    },
+    {
+      "epoch": 2.1996215704824977,
+      "grad_norm": 17.498945236206055,
+      "learning_rate": 1.4003902785169417e-05,
+      "loss": 1.789,
+      "step": 9300
+    },
+    {
+      "epoch": 2.2114474929044468,
+      "grad_norm": 15.384320259094238,
+      "learning_rate": 1.3944769676541896e-05,
+      "loss": 1.8264,
+      "step": 9350
+    },
+    {
+      "epoch": 2.2232734153263953,
+      "grad_norm": 13.456559181213379,
+      "learning_rate": 1.3885636567914376e-05,
+      "loss": 1.788,
+      "step": 9400
+    },
+    {
+      "epoch": 2.2350993377483444,
+      "grad_norm": 24.769336700439453,
+      "learning_rate": 1.3826503459286855e-05,
+      "loss": 1.7902,
+      "step": 9450
+    },
+    {
+      "epoch": 2.2469252601702934,
+      "grad_norm": 18.193721771240234,
+      "learning_rate": 1.3767370350659335e-05,
+      "loss": 1.8175,
+      "step": 9500
+    },
+    {
+      "epoch": 2.258751182592242,
+      "grad_norm": 16.10167121887207,
+      "learning_rate": 1.3708237242031814e-05,
+      "loss": 1.8042,
+      "step": 9550
+    },
+    {
+      "epoch": 2.270577105014191,
+      "grad_norm": 15.939582824707031,
+      "learning_rate": 1.3649104133404295e-05,
+      "loss": 1.7767,
+      "step": 9600
+    },
+    {
+      "epoch": 2.28240302743614,
+      "grad_norm": 17.35470199584961,
+      "learning_rate": 1.3589971024776774e-05,
+      "loss": 1.7099,
+      "step": 9650
+    },
+    {
+      "epoch": 2.294228949858089,
+      "grad_norm": 16.262712478637695,
+      "learning_rate": 1.3530837916149252e-05,
+      "loss": 1.7841,
+      "step": 9700
+    },
+    {
+      "epoch": 2.306054872280038,
+      "grad_norm": 13.716343879699707,
+      "learning_rate": 1.3471704807521733e-05,
+      "loss": 1.87,
+      "step": 9750
+    },
+    {
+      "epoch": 2.3178807947019866,
+      "grad_norm": 13.402505874633789,
+      "learning_rate": 1.3412571698894212e-05,
+      "loss": 1.7485,
+      "step": 9800
+    },
+    {
+      "epoch": 2.3297067171239356,
+      "grad_norm": 14.37375259399414,
+      "learning_rate": 1.3353438590266692e-05,
+      "loss": 1.8367,
+      "step": 9850
+    },
+    {
+      "epoch": 2.3415326395458846,
+      "grad_norm": 14.258302688598633,
+      "learning_rate": 1.3294305481639171e-05,
+      "loss": 1.7925,
+      "step": 9900
+    },
+    {
+      "epoch": 2.3533585619678337,
+      "grad_norm": 18.176448822021484,
+      "learning_rate": 1.3235172373011651e-05,
+      "loss": 1.9135,
+      "step": 9950
+    },
+    {
+      "epoch": 2.3651844843897822,
+      "grad_norm": 16.076860427856445,
+      "learning_rate": 1.317603926438413e-05,
+      "loss": 1.7746,
+      "step": 10000
+    },
+    {
+      "epoch": 2.3651844843897822,
+      "eval_runtime": 46.8576,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.062871016729038,
+      "step": 10000
+    },
+    {
+      "epoch": 2.3770104068117313,
+      "grad_norm": 14.89098072052002,
+      "learning_rate": 1.311690615575661e-05,
+      "loss": 1.672,
+      "step": 10050
+    },
+    {
+      "epoch": 2.3888363292336803,
+      "grad_norm": 21.15306854248047,
+      "learning_rate": 1.3057773047129088e-05,
+      "loss": 1.7265,
+      "step": 10100
+    },
+    {
+      "epoch": 2.4006622516556293,
+      "grad_norm": 13.14006519317627,
+      "learning_rate": 1.2998639938501567e-05,
+      "loss": 1.6875,
+      "step": 10150
+    },
+    {
+      "epoch": 2.412488174077578,
+      "grad_norm": 16.71653175354004,
+      "learning_rate": 1.2939506829874047e-05,
+      "loss": 1.7421,
+      "step": 10200
+    },
+    {
+      "epoch": 2.424314096499527,
+      "grad_norm": 19.673765182495117,
+      "learning_rate": 1.2880373721246526e-05,
+      "loss": 1.7447,
+      "step": 10250
+    },
+    {
+      "epoch": 2.436140018921476,
+      "grad_norm": 13.806225776672363,
+      "learning_rate": 1.2821240612619006e-05,
+      "loss": 1.7335,
+      "step": 10300
+    },
+    {
+      "epoch": 2.447965941343425,
+      "grad_norm": 17.10091209411621,
+      "learning_rate": 1.2762107503991485e-05,
+      "loss": 1.6583,
+      "step": 10350
+    },
+    {
+      "epoch": 2.4597918637653735,
+      "grad_norm": 13.57816219329834,
+      "learning_rate": 1.2702974395363966e-05,
+      "loss": 1.6937,
+      "step": 10400
+    },
+    {
+      "epoch": 2.4716177861873225,
+      "grad_norm": 15.529336929321289,
+      "learning_rate": 1.2643841286736444e-05,
+      "loss": 1.6425,
+      "step": 10450
+    },
+    {
+      "epoch": 2.4834437086092715,
+      "grad_norm": 15.039297103881836,
+      "learning_rate": 1.2584708178108925e-05,
+      "loss": 1.7837,
+      "step": 10500
+    },
+    {
+      "epoch": 2.4952696310312206,
+      "grad_norm": 18.062923431396484,
+      "learning_rate": 1.2525575069481404e-05,
+      "loss": 1.7589,
+      "step": 10550
+    },
+    {
+      "epoch": 2.507095553453169,
+      "grad_norm": 14.291655540466309,
+      "learning_rate": 1.2466441960853884e-05,
+      "loss": 1.6618,
+      "step": 10600
+    },
+    {
+      "epoch": 2.518921475875118,
+      "grad_norm": 15.268333435058594,
+      "learning_rate": 1.2407308852226363e-05,
+      "loss": 1.6107,
+      "step": 10650
+    },
+    {
+      "epoch": 2.530747398297067,
+      "grad_norm": 15.746752738952637,
+      "learning_rate": 1.2348175743598842e-05,
+      "loss": 1.706,
+      "step": 10700
+    },
+    {
+      "epoch": 2.542573320719016,
+      "grad_norm": 14.740198135375977,
+      "learning_rate": 1.2289042634971322e-05,
+      "loss": 1.6662,
+      "step": 10750
+    },
+    {
+      "epoch": 2.5543992431409652,
+      "grad_norm": 18.715717315673828,
+      "learning_rate": 1.2229909526343801e-05,
+      "loss": 1.7491,
+      "step": 10800
+    },
+    {
+      "epoch": 2.566225165562914,
+      "grad_norm": 13.341856956481934,
+      "learning_rate": 1.2170776417716281e-05,
+      "loss": 1.615,
+      "step": 10850
+    },
+    {
+      "epoch": 2.578051087984863,
+      "grad_norm": 15.429610252380371,
+      "learning_rate": 1.211164330908876e-05,
+      "loss": 1.6314,
+      "step": 10900
+    },
+    {
+      "epoch": 2.589877010406812,
+      "grad_norm": 16.15951919555664,
+      "learning_rate": 1.2052510200461239e-05,
+      "loss": 1.6564,
+      "step": 10950
+    },
+    {
+      "epoch": 2.6017029328287604,
+      "grad_norm": 16.425504684448242,
+      "learning_rate": 1.1993377091833718e-05,
+      "loss": 1.6085,
+      "step": 11000
+    },
+    {
+      "epoch": 2.6135288552507094,
+      "grad_norm": 19.02115249633789,
+      "learning_rate": 1.1934243983206197e-05,
+      "loss": 1.6969,
+      "step": 11050
+    },
+    {
+      "epoch": 2.6253547776726585,
+      "grad_norm": 16.245838165283203,
+      "learning_rate": 1.1875110874578677e-05,
+      "loss": 1.5963,
+      "step": 11100
+    },
+    {
+      "epoch": 2.6371807000946075,
+      "grad_norm": 14.986413955688477,
+      "learning_rate": 1.1815977765951156e-05,
+      "loss": 1.6626,
+      "step": 11150
+    },
+    {
+      "epoch": 2.6490066225165565,
+      "grad_norm": 18.501134872436523,
+      "learning_rate": 1.1756844657323636e-05,
+      "loss": 1.715,
+      "step": 11200
+    },
+    {
+      "epoch": 2.660832544938505,
+      "grad_norm": 19.390989303588867,
+      "learning_rate": 1.1697711548696115e-05,
+      "loss": 1.6182,
+      "step": 11250
+    },
+    {
+      "epoch": 2.672658467360454,
+      "grad_norm": 16.83384132385254,
+      "learning_rate": 1.1638578440068596e-05,
+      "loss": 1.5667,
+      "step": 11300
+    },
+    {
+      "epoch": 2.684484389782403,
+      "grad_norm": 17.595382690429688,
+      "learning_rate": 1.1579445331441074e-05,
+      "loss": 1.6255,
+      "step": 11350
+    },
+    {
+      "epoch": 2.6963103122043517,
+      "grad_norm": 18.588014602661133,
+      "learning_rate": 1.1520312222813555e-05,
+      "loss": 1.6146,
+      "step": 11400
+    },
+    {
+      "epoch": 2.7081362346263007,
+      "grad_norm": 18.090600967407227,
+      "learning_rate": 1.1461179114186034e-05,
+      "loss": 1.5807,
+      "step": 11450
+    },
+    {
+      "epoch": 2.7199621570482497,
+      "grad_norm": 16.144756317138672,
+      "learning_rate": 1.1402046005558514e-05,
+      "loss": 1.571,
+      "step": 11500
+    },
+    {
+      "epoch": 2.7317880794701987,
+      "grad_norm": 19.271270751953125,
+      "learning_rate": 1.1342912896930993e-05,
+      "loss": 1.611,
+      "step": 11550
+    },
+    {
+      "epoch": 2.7436140018921478,
+      "grad_norm": 15.365574836730957,
+      "learning_rate": 1.1283779788303474e-05,
+      "loss": 1.5757,
+      "step": 11600
+    },
+    {
+      "epoch": 2.7554399243140963,
+      "grad_norm": 18.699979782104492,
+      "learning_rate": 1.1224646679675952e-05,
+      "loss": 1.6048,
+      "step": 11650
+    },
+    {
+      "epoch": 2.7672658467360454,
+      "grad_norm": 15.537507057189941,
+      "learning_rate": 1.1165513571048431e-05,
+      "loss": 1.5559,
+      "step": 11700
+    },
+    {
+      "epoch": 2.7790917691579944,
+      "grad_norm": 15.148637771606445,
+      "learning_rate": 1.110638046242091e-05,
+      "loss": 1.5634,
+      "step": 11750
+    },
+    {
+      "epoch": 2.790917691579943,
+      "grad_norm": 17.472370147705078,
+      "learning_rate": 1.1047247353793389e-05,
+      "loss": 1.5663,
+      "step": 11800
+    },
+    {
+      "epoch": 2.8027436140018924,
+      "grad_norm": 16.284570693969727,
+      "learning_rate": 1.098811424516587e-05,
+      "loss": 1.6274,
+      "step": 11850
+    },
+    {
+      "epoch": 2.814569536423841,
+      "grad_norm": 17.758365631103516,
+      "learning_rate": 1.0928981136538348e-05,
+      "loss": 1.5478,
+      "step": 11900
+    },
+    {
+      "epoch": 2.82639545884579,
+      "grad_norm": 14.631210327148438,
+      "learning_rate": 1.0869848027910828e-05,
+      "loss": 1.5728,
+      "step": 11950
+    },
+    {
+      "epoch": 2.838221381267739,
+      "grad_norm": 13.960256576538086,
+      "learning_rate": 1.0810714919283307e-05,
+      "loss": 1.5694,
+      "step": 12000
+    },
+    {
+      "epoch": 2.838221381267739,
+      "eval_runtime": 47.1893,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 3.9845195254937416,
+      "step": 12000
+    },
+    {
+      "epoch": 2.8500473036896876,
+      "grad_norm": 13.964838981628418,
+      "learning_rate": 1.0751581810655786e-05,
+      "loss": 1.5544,
+      "step": 12050
+    },
+    {
+      "epoch": 2.8618732261116366,
+      "grad_norm": 20.20077133178711,
+      "learning_rate": 1.0692448702028267e-05,
+      "loss": 1.6172,
+      "step": 12100
+    },
+    {
+      "epoch": 2.8736991485335857,
+      "grad_norm": 13.513507843017578,
+      "learning_rate": 1.0633315593400745e-05,
+      "loss": 1.5358,
+      "step": 12150
+    },
+    {
+      "epoch": 2.8855250709555347,
+      "grad_norm": 18.936565399169922,
+      "learning_rate": 1.0574182484773226e-05,
+      "loss": 1.5656,
+      "step": 12200
+    },
+    {
+      "epoch": 2.8973509933774837,
+      "grad_norm": 17.975814819335938,
+      "learning_rate": 1.0515049376145705e-05,
+      "loss": 1.5273,
+      "step": 12250
+    },
+    {
+      "epoch": 2.9091769157994323,
+      "grad_norm": 18.273731231689453,
+      "learning_rate": 1.0455916267518185e-05,
+      "loss": 1.4981,
+      "step": 12300
+    },
+    {
+      "epoch": 2.9210028382213813,
+      "grad_norm": 16.280357360839844,
+      "learning_rate": 1.0396783158890664e-05,
+      "loss": 1.5256,
+      "step": 12350
+    },
+    {
+      "epoch": 2.9328287606433303,
+      "grad_norm": 13.220331192016602,
+      "learning_rate": 1.0337650050263144e-05,
+      "loss": 1.522,
+      "step": 12400
+    },
+    {
+      "epoch": 2.944654683065279,
+      "grad_norm": 16.336288452148438,
+      "learning_rate": 1.0278516941635623e-05,
+      "loss": 1.465,
+      "step": 12450
+    },
+    {
+      "epoch": 2.956480605487228,
+      "grad_norm": 20.016876220703125,
+      "learning_rate": 1.0219383833008104e-05,
+      "loss": 1.6151,
+      "step": 12500
+    },
+    {
+      "epoch": 2.968306527909177,
+      "grad_norm": 17.370023727416992,
+      "learning_rate": 1.0160250724380582e-05,
+      "loss": 1.5521,
+      "step": 12550
+    },
+    {
+      "epoch": 2.980132450331126,
+      "grad_norm": 18.69423484802246,
+      "learning_rate": 1.010111761575306e-05,
+      "loss": 1.5657,
+      "step": 12600
+    },
+    {
+      "epoch": 2.991958372753075,
+      "grad_norm": 18.094669342041016,
+      "learning_rate": 1.004198450712554e-05,
+      "loss": 1.4935,
+      "step": 12650
+    },
+    {
+      "epoch": 3.0037842951750235,
+      "grad_norm": 15.485885620117188,
+      "learning_rate": 9.98285139849802e-06,
+      "loss": 1.4081,
+      "step": 12700
+    },
+    {
+      "epoch": 3.0156102175969726,
+      "grad_norm": 15.505888938903809,
+      "learning_rate": 9.9237182898705e-06,
+      "loss": 1.5243,
+      "step": 12750
+    },
+    {
+      "epoch": 3.0274361400189216,
+      "grad_norm": 16.799917221069336,
+      "learning_rate": 9.864585181242978e-06,
+      "loss": 1.4999,
+      "step": 12800
+    },
+    {
+      "epoch": 3.0392620624408706,
+      "grad_norm": 15.498218536376953,
+      "learning_rate": 9.805452072615459e-06,
+      "loss": 1.4139,
+      "step": 12850
+    },
+    {
+      "epoch": 3.051087984862819,
+      "grad_norm": 19.318891525268555,
+      "learning_rate": 9.746318963987937e-06,
+      "loss": 1.5522,
+      "step": 12900
+    },
+    {
+      "epoch": 3.062913907284768,
+      "grad_norm": 14.893320083618164,
+      "learning_rate": 9.687185855360418e-06,
+      "loss": 1.4865,
+      "step": 12950
+    },
+    {
+      "epoch": 3.074739829706717,
+      "grad_norm": 18.767566680908203,
+      "learning_rate": 9.628052746732897e-06,
+      "loss": 1.4755,
+      "step": 13000
+    },
+    {
+      "epoch": 3.0865657521286662,
+      "grad_norm": 14.623005867004395,
+      "learning_rate": 9.568919638105375e-06,
+      "loss": 1.4582,
+      "step": 13050
+    },
+    {
+      "epoch": 3.098391674550615,
+      "grad_norm": 14.217521667480469,
+      "learning_rate": 9.509786529477856e-06,
+      "loss": 1.4112,
+      "step": 13100
+    },
+    {
+      "epoch": 3.110217596972564,
+      "grad_norm": 13.287856101989746,
+      "learning_rate": 9.450653420850335e-06,
+      "loss": 1.4758,
+      "step": 13150
+    },
+    {
+      "epoch": 3.122043519394513,
+      "grad_norm": 14.488649368286133,
+      "learning_rate": 9.391520312222813e-06,
+      "loss": 1.4388,
+      "step": 13200
+    },
+    {
+      "epoch": 3.133869441816462,
+      "grad_norm": 15.88402271270752,
+      "learning_rate": 9.332387203595294e-06,
+      "loss": 1.4819,
+      "step": 13250
+    },
+    {
+      "epoch": 3.1456953642384105,
+      "grad_norm": 13.743453025817871,
+      "learning_rate": 9.273254094967773e-06,
+      "loss": 1.4525,
+      "step": 13300
+    },
+    {
+      "epoch": 3.1575212866603595,
+      "grad_norm": 16.949493408203125,
+      "learning_rate": 9.214120986340253e-06,
+      "loss": 1.4583,
+      "step": 13350
+    },
+    {
+      "epoch": 3.1693472090823085,
+      "grad_norm": 15.139965057373047,
+      "learning_rate": 9.154987877712732e-06,
+      "loss": 1.4714,
+      "step": 13400
+    },
+    {
+      "epoch": 3.1811731315042575,
+      "grad_norm": 18.97600746154785,
+      "learning_rate": 9.095854769085213e-06,
+      "loss": 1.4265,
+      "step": 13450
+    },
+    {
+      "epoch": 3.192999053926206,
+      "grad_norm": 16.3485107421875,
+      "learning_rate": 9.036721660457691e-06,
+      "loss": 1.454,
+      "step": 13500
+    },
+    {
+      "epoch": 3.204824976348155,
+      "grad_norm": 17.43102264404297,
+      "learning_rate": 8.97758855183017e-06,
+      "loss": 1.4506,
+      "step": 13550
+    },
+    {
+      "epoch": 3.216650898770104,
+      "grad_norm": 15.63143253326416,
+      "learning_rate": 8.91845544320265e-06,
+      "loss": 1.4055,
+      "step": 13600
+    },
+    {
+      "epoch": 3.228476821192053,
+      "grad_norm": 12.323601722717285,
+      "learning_rate": 8.85932233457513e-06,
+      "loss": 1.4729,
+      "step": 13650
+    },
+    {
+      "epoch": 3.2403027436140017,
+      "grad_norm": 17.078189849853516,
+      "learning_rate": 8.800189225947608e-06,
+      "loss": 1.4791,
+      "step": 13700
+    },
+    {
+      "epoch": 3.2521286660359507,
+      "grad_norm": 14.752788543701172,
+      "learning_rate": 8.741056117320089e-06,
+      "loss": 1.4962,
+      "step": 13750
+    },
+    {
+      "epoch": 3.2639545884578998,
+      "grad_norm": 12.897354125976562,
+      "learning_rate": 8.681923008692567e-06,
+      "loss": 1.4101,
+      "step": 13800
+    },
+    {
+      "epoch": 3.275780510879849,
+      "grad_norm": 12.985773086547852,
+      "learning_rate": 8.622789900065048e-06,
+      "loss": 1.4596,
+      "step": 13850
+    },
+    {
+      "epoch": 3.2876064333017974,
+      "grad_norm": 16.538026809692383,
+      "learning_rate": 8.563656791437527e-06,
+      "loss": 1.4207,
+      "step": 13900
+    },
+    {
+      "epoch": 3.2994323557237464,
+      "grad_norm": 20.395875930786133,
+      "learning_rate": 8.504523682810007e-06,
+      "loss": 1.4972,
+      "step": 13950
+    },
+    {
+      "epoch": 3.3112582781456954,
+      "grad_norm": 11.993943214416504,
+      "learning_rate": 8.445390574182486e-06,
+      "loss": 1.4473,
+      "step": 14000
+    },
+    {
+      "epoch": 3.3112582781456954,
+      "eval_runtime": 47.0766,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 3.9688115547590725,
+      "step": 14000
+    },
+    {
+      "epoch": 3.3230842005676444,
+      "grad_norm": 12.915935516357422,
+      "learning_rate": 8.386257465554965e-06,
+      "loss": 1.46,
+      "step": 14050
+    },
+    {
+      "epoch": 3.334910122989593,
+      "grad_norm": 19.571788787841797,
+      "learning_rate": 8.327124356927444e-06,
+      "loss": 1.5012,
+      "step": 14100
+    },
+    {
+      "epoch": 3.346736045411542,
+      "grad_norm": 17.244380950927734,
+      "learning_rate": 8.267991248299924e-06,
+      "loss": 1.5466,
+      "step": 14150
+    },
+    {
+      "epoch": 3.358561967833491,
+      "grad_norm": 18.117067337036133,
+      "learning_rate": 8.208858139672403e-06,
+      "loss": 1.5067,
+      "step": 14200
+    },
+    {
+      "epoch": 3.37038789025544,
+      "grad_norm": 14.23071575164795,
+      "learning_rate": 8.149725031044883e-06,
+      "loss": 1.4413,
+      "step": 14250
+    },
+    {
+      "epoch": 3.3822138126773886,
+      "grad_norm": 16.817371368408203,
+      "learning_rate": 8.090591922417362e-06,
+      "loss": 1.3448,
+      "step": 14300
+    },
+    {
+      "epoch": 3.3940397350993377,
+      "grad_norm": 21.39740753173828,
+      "learning_rate": 8.031458813789843e-06,
+      "loss": 1.3792,
+      "step": 14350
+    },
+    {
+      "epoch": 3.4058656575212867,
+      "grad_norm": 13.991111755371094,
+      "learning_rate": 7.972325705162321e-06,
+      "loss": 1.4019,
+      "step": 14400
+    },
+    {
+      "epoch": 3.4176915799432357,
+      "grad_norm": 14.572546005249023,
+      "learning_rate": 7.9131925965348e-06,
+      "loss": 1.4771,
+      "step": 14450
+    },
+    {
+      "epoch": 3.4295175023651847,
+      "grad_norm": 15.65616226196289,
+      "learning_rate": 7.854059487907279e-06,
+      "loss": 1.4383,
+      "step": 14500
+    },
+    {
+      "epoch": 3.4413434247871333,
+      "grad_norm": 16.871171951293945,
+      "learning_rate": 7.79492637927976e-06,
+      "loss": 1.4172,
+      "step": 14550
+    },
+    {
+      "epoch": 3.4531693472090823,
+      "grad_norm": 16.653839111328125,
+      "learning_rate": 7.735793270652238e-06,
+      "loss": 1.3284,
+      "step": 14600
+    },
+    {
+      "epoch": 3.4649952696310313,
+      "grad_norm": 18.008516311645508,
+      "learning_rate": 7.676660162024719e-06,
+      "loss": 1.3867,
+      "step": 14650
+    },
+    {
+      "epoch": 3.47682119205298,
+      "grad_norm": 21.629899978637695,
+      "learning_rate": 7.6175270533971976e-06,
+      "loss": 1.3931,
+      "step": 14700
+    },
+    {
+      "epoch": 3.488647114474929,
+      "grad_norm": 15.525995254516602,
+      "learning_rate": 7.558393944769677e-06,
+      "loss": 1.4429,
+      "step": 14750
+    },
+    {
+      "epoch": 3.500473036896878,
+      "grad_norm": 15.045352935791016,
+      "learning_rate": 7.499260836142157e-06,
+      "loss": 1.4665,
+      "step": 14800
+    },
+    {
+      "epoch": 3.512298959318827,
+      "grad_norm": 16.258941650390625,
+      "learning_rate": 7.440127727514636e-06,
+      "loss": 1.3232,
+      "step": 14850
+    },
+    {
+      "epoch": 3.524124881740776,
+      "grad_norm": 14.834844589233398,
+      "learning_rate": 7.380994618887115e-06,
+      "loss": 1.4112,
+      "step": 14900
+    },
+    {
+      "epoch": 3.5359508041627246,
+      "grad_norm": 18.840707778930664,
+      "learning_rate": 7.321861510259595e-06,
+      "loss": 1.3916,
+      "step": 14950
+    },
+    {
+      "epoch": 3.5477767265846736,
+      "grad_norm": 17.09494972229004,
+      "learning_rate": 7.2627284016320746e-06,
+      "loss": 1.3572,
+      "step": 15000
+    },
+    {
+      "epoch": 3.5596026490066226,
+      "grad_norm": 17.76523780822754,
+      "learning_rate": 7.203595293004554e-06,
+      "loss": 1.4414,
+      "step": 15050
+    },
+    {
+      "epoch": 3.571428571428571,
+      "grad_norm": 19.53270149230957,
+      "learning_rate": 7.144462184377034e-06,
+      "loss": 1.2716,
+      "step": 15100
+    },
+    {
+      "epoch": 3.58325449385052,
+      "grad_norm": 18.649320602416992,
+      "learning_rate": 7.085329075749513e-06,
+      "loss": 1.4043,
+      "step": 15150
+    },
+    {
+      "epoch": 3.595080416272469,
+      "grad_norm": 13.581181526184082,
+      "learning_rate": 7.026195967121992e-06,
+      "loss": 1.3686,
+      "step": 15200
+    },
+    {
+      "epoch": 3.6069063386944182,
+      "grad_norm": 21.46381950378418,
+      "learning_rate": 6.967062858494472e-06,
+      "loss": 1.3687,
+      "step": 15250
+    },
+    {
+      "epoch": 3.6187322611163673,
+      "grad_norm": 10.937467575073242,
+      "learning_rate": 6.907929749866951e-06,
+      "loss": 1.3183,
+      "step": 15300
+    },
+    {
+      "epoch": 3.630558183538316,
+      "grad_norm": 18.974475860595703,
+      "learning_rate": 6.84879664123943e-06,
+      "loss": 1.3712,
+      "step": 15350
+    },
+    {
+      "epoch": 3.642384105960265,
+      "grad_norm": 17.913204193115234,
+      "learning_rate": 6.78966353261191e-06,
+      "loss": 1.4006,
+      "step": 15400
+    },
+    {
+      "epoch": 3.654210028382214,
+      "grad_norm": 14.945576667785645,
+      "learning_rate": 6.73053042398439e-06,
+      "loss": 1.4326,
+      "step": 15450
+    },
+    {
+      "epoch": 3.666035950804163,
+      "grad_norm": 15.58818531036377,
+      "learning_rate": 6.671397315356869e-06,
+      "loss": 1.3116,
+      "step": 15500
+    },
+    {
+      "epoch": 3.677861873226112,
+      "grad_norm": 16.57988739013672,
+      "learning_rate": 6.612264206729349e-06,
+      "loss": 1.2975,
+      "step": 15550
+    },
+    {
+      "epoch": 3.6896877956480605,
+      "grad_norm": 13.658615112304688,
+      "learning_rate": 6.5531310981018285e-06,
+      "loss": 1.3709,
+      "step": 15600
+    },
+    {
+      "epoch": 3.7015137180700095,
+      "grad_norm": 16.559919357299805,
+      "learning_rate": 6.493997989474307e-06,
+      "loss": 1.3267,
+      "step": 15650
+    },
+    {
+      "epoch": 3.7133396404919585,
+      "grad_norm": 16.319732666015625,
+      "learning_rate": 6.434864880846786e-06,
+      "loss": 1.2947,
+      "step": 15700
+    },
+    {
+      "epoch": 3.725165562913907,
+      "grad_norm": 15.4765043258667,
+      "learning_rate": 6.375731772219266e-06,
+      "loss": 1.3524,
+      "step": 15750
+    },
+    {
+      "epoch": 3.736991485335856,
+      "grad_norm": 14.876737594604492,
+      "learning_rate": 6.316598663591745e-06,
+      "loss": 1.3092,
+      "step": 15800
+    },
+    {
+      "epoch": 3.748817407757805,
+      "grad_norm": 13.654143333435059,
+      "learning_rate": 6.257465554964225e-06,
+      "loss": 1.3635,
+      "step": 15850
+    },
+    {
+      "epoch": 3.760643330179754,
+      "grad_norm": 16.795425415039062,
+      "learning_rate": 6.198332446336705e-06,
+      "loss": 1.282,
+      "step": 15900
+    },
+    {
+      "epoch": 3.772469252601703,
+      "grad_norm": 12.707657814025879,
+      "learning_rate": 6.139199337709184e-06,
+      "loss": 1.3122,
+      "step": 15950
+    },
+    {
+      "epoch": 3.7842951750236518,
+      "grad_norm": 15.771327018737793,
+      "learning_rate": 6.080066229081664e-06,
+      "loss": 1.2944,
+      "step": 16000
+    },
+    {
+      "epoch": 3.7842951750236518,
+      "eval_runtime": 46.7062,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 3.97229260179494,
+      "step": 16000
+    },
+    {
+      "epoch": 3.796121097445601,
+      "grad_norm": 15.549239158630371,
+      "learning_rate": 6.020933120454144e-06,
+      "loss": 1.3878,
+      "step": 16050
+    },
+    {
+      "epoch": 3.80794701986755,
+      "grad_norm": 11.558497428894043,
+      "learning_rate": 5.9618000118266215e-06,
+      "loss": 1.2978,
+      "step": 16100
+    },
+    {
+      "epoch": 3.8197729422894984,
+      "grad_norm": 17.571189880371094,
+      "learning_rate": 5.902666903199101e-06,
+      "loss": 1.3128,
+      "step": 16150
+    },
+    {
+      "epoch": 3.8315988647114474,
+      "grad_norm": 16.608991622924805,
+      "learning_rate": 5.843533794571581e-06,
+      "loss": 1.317,
+      "step": 16200
+    },
+    {
+      "epoch": 3.8434247871333964,
+      "grad_norm": 17.64645004272461,
+      "learning_rate": 5.7844006859440605e-06,
+      "loss": 1.3225,
+      "step": 16250
+    },
+    {
+      "epoch": 3.8552507095553454,
+      "grad_norm": 16.340919494628906,
+      "learning_rate": 5.72526757731654e-06,
+      "loss": 1.3339,
+      "step": 16300
+    },
+    {
+      "epoch": 3.8670766319772945,
+      "grad_norm": 17.24504280090332,
+      "learning_rate": 5.66613446868902e-06,
+      "loss": 1.3137,
+      "step": 16350
+    },
+    {
+      "epoch": 3.878902554399243,
+      "grad_norm": 16.168750762939453,
+      "learning_rate": 5.607001360061499e-06,
+      "loss": 1.3128,
+      "step": 16400
+    },
+    {
+      "epoch": 3.890728476821192,
+      "grad_norm": 20.071321487426758,
+      "learning_rate": 5.547868251433979e-06,
+      "loss": 1.3262,
+      "step": 16450
+    },
+    {
+      "epoch": 3.902554399243141,
+      "grad_norm": 19.031503677368164,
+      "learning_rate": 5.488735142806457e-06,
+      "loss": 1.2235,
+      "step": 16500
+    },
+    {
+      "epoch": 3.9143803216650896,
+      "grad_norm": 18.36022186279297,
+      "learning_rate": 5.429602034178937e-06,
+      "loss": 1.2619,
+      "step": 16550
+    },
+    {
+      "epoch": 3.9262062440870387,
+      "grad_norm": 17.923831939697266,
+      "learning_rate": 5.370468925551416e-06,
+      "loss": 1.3289,
+      "step": 16600
+    },
+    {
+      "epoch": 3.9380321665089877,
+      "grad_norm": 13.550859451293945,
+      "learning_rate": 5.311335816923896e-06,
+      "loss": 1.2437,
+      "step": 16650
+    },
+    {
+      "epoch": 3.9498580889309367,
+      "grad_norm": 12.4674654006958,
+      "learning_rate": 5.2522027082963755e-06,
+      "loss": 1.2886,
+      "step": 16700
+    },
+    {
+      "epoch": 3.9616840113528857,
+      "grad_norm": 18.66042709350586,
+      "learning_rate": 5.193069599668855e-06,
+      "loss": 1.3309,
+      "step": 16750
+    },
+    {
+      "epoch": 3.9735099337748343,
+      "grad_norm": 15.646864891052246,
+      "learning_rate": 5.133936491041335e-06,
+      "loss": 1.3457,
+      "step": 16800
+    },
+    {
+      "epoch": 3.9853358561967833,
+      "grad_norm": 17.00884246826172,
+      "learning_rate": 5.0748033824138144e-06,
+      "loss": 1.3184,
+      "step": 16850
+    },
+    {
+      "epoch": 3.9971617786187323,
+      "grad_norm": 13.399270057678223,
+      "learning_rate": 5.015670273786294e-06,
+      "loss": 1.2087,
+      "step": 16900
+    },
+    {
+      "epoch": 4.008987701040681,
+      "grad_norm": 13.706061363220215,
+      "learning_rate": 4.956537165158773e-06,
+      "loss": 1.229,
+      "step": 16950
+    },
+    {
+      "epoch": 4.02081362346263,
+      "grad_norm": 22.725217819213867,
+      "learning_rate": 4.8974040565312525e-06,
+      "loss": 1.3235,
+      "step": 17000
+    },
+    {
+      "epoch": 4.032639545884579,
+      "grad_norm": 16.072246551513672,
+      "learning_rate": 4.838270947903731e-06,
+      "loss": 1.195,
+      "step": 17050
+    },
+    {
+      "epoch": 4.0444654683065275,
+      "grad_norm": 17.015745162963867,
+      "learning_rate": 4.779137839276211e-06,
+      "loss": 1.2793,
+      "step": 17100
+    },
+    {
+      "epoch": 4.056291390728477,
+      "grad_norm": 15.687799453735352,
+      "learning_rate": 4.7200047306486906e-06,
+      "loss": 1.2719,
+      "step": 17150
+    },
+    {
+      "epoch": 4.068117313150426,
+      "grad_norm": 11.79020881652832,
+      "learning_rate": 4.66087162202117e-06,
+      "loss": 1.2701,
+      "step": 17200
+    },
+    {
+      "epoch": 4.079943235572375,
+      "grad_norm": 14.385472297668457,
+      "learning_rate": 4.601738513393649e-06,
+      "loss": 1.2593,
+      "step": 17250
+    },
+    {
+      "epoch": 4.091769157994324,
+      "grad_norm": 18.47262954711914,
+      "learning_rate": 4.542605404766129e-06,
+      "loss": 1.2324,
+      "step": 17300
+    },
+    {
+      "epoch": 4.103595080416272,
+      "grad_norm": 22.801834106445312,
+      "learning_rate": 4.483472296138608e-06,
+      "loss": 1.2338,
+      "step": 17350
+    },
+    {
+      "epoch": 4.115421002838222,
+      "grad_norm": 16.11665916442871,
+      "learning_rate": 4.424339187511088e-06,
+      "loss": 1.2338,
+      "step": 17400
+    },
+    {
+      "epoch": 4.12724692526017,
+      "grad_norm": 18.113365173339844,
+      "learning_rate": 4.365206078883567e-06,
+      "loss": 1.2595,
+      "step": 17450
+    },
+    {
+      "epoch": 4.139072847682119,
+      "grad_norm": 15.56670093536377,
+      "learning_rate": 4.306072970256046e-06,
+      "loss": 1.2434,
+      "step": 17500
+    },
+    {
+      "epoch": 4.150898770104068,
+      "grad_norm": 18.501914978027344,
+      "learning_rate": 4.246939861628526e-06,
+      "loss": 1.268,
+      "step": 17550
+    },
+    {
+      "epoch": 4.162724692526017,
+      "grad_norm": 16.622150421142578,
+      "learning_rate": 4.187806753001006e-06,
+      "loss": 1.2345,
+      "step": 17600
+    },
+    {
+      "epoch": 4.174550614947966,
+      "grad_norm": 19.019207000732422,
+      "learning_rate": 4.128673644373484e-06,
+      "loss": 1.228,
+      "step": 17650
+    },
+    {
+      "epoch": 4.186376537369915,
+      "grad_norm": 11.55809211730957,
+      "learning_rate": 4.069540535745964e-06,
+      "loss": 1.235,
+      "step": 17700
+    },
+    {
+      "epoch": 4.1982024597918635,
+      "grad_norm": 14.763603210449219,
+      "learning_rate": 4.010407427118444e-06,
+      "loss": 1.2198,
+      "step": 17750
+    },
+    {
+      "epoch": 4.210028382213813,
+      "grad_norm": 17.480113983154297,
+      "learning_rate": 3.951274318490923e-06,
+      "loss": 1.263,
+      "step": 17800
+    },
+    {
+      "epoch": 4.2218543046357615,
+      "grad_norm": 17.487497329711914,
+      "learning_rate": 3.892141209863403e-06,
+      "loss": 1.2288,
+      "step": 17850
+    },
+    {
+      "epoch": 4.23368022705771,
+      "grad_norm": 14.157654762268066,
+      "learning_rate": 3.833008101235882e-06,
+      "loss": 1.2251,
+      "step": 17900
+    },
+    {
+      "epoch": 4.2455061494796595,
+      "grad_norm": 21.731857299804688,
+      "learning_rate": 3.773874992608362e-06,
+      "loss": 1.2796,
+      "step": 17950
+    },
+    {
+      "epoch": 4.257332071901608,
+      "grad_norm": 17.268417358398438,
+      "learning_rate": 3.7147418839808415e-06,
+      "loss": 1.2934,
+      "step": 18000
+    },
+    {
+      "epoch": 4.257332071901608,
+      "eval_runtime": 47.1593,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 3.9484923051611727,
+      "step": 18000
+    },
+    {
+      "epoch": 4.269157994323558,
+      "grad_norm": 12.740385055541992,
+      "learning_rate": 3.6556087753533203e-06,
+      "loss": 1.2197,
+      "step": 18050
+    },
+    {
+      "epoch": 4.280983916745506,
+      "grad_norm": 17.239517211914062,
+      "learning_rate": 3.5964756667258e-06,
+      "loss": 1.1908,
+      "step": 18100
+    },
+    {
+      "epoch": 4.292809839167455,
+      "grad_norm": 16.485107421875,
+      "learning_rate": 3.5373425580982795e-06,
+      "loss": 1.2549,
+      "step": 18150
+    },
+    {
+      "epoch": 4.304635761589404,
+      "grad_norm": 17.04962921142578,
+      "learning_rate": 3.478209449470759e-06,
+      "loss": 1.3468,
+      "step": 18200
+    },
+    {
+      "epoch": 4.316461684011353,
+      "grad_norm": 14.987895965576172,
+      "learning_rate": 3.419076340843238e-06,
+      "loss": 1.2323,
+      "step": 18250
+    },
+    {
+      "epoch": 4.328287606433301,
+      "grad_norm": 14.840313911437988,
+      "learning_rate": 3.3599432322157176e-06,
+      "loss": 1.2897,
+      "step": 18300
+    },
+    {
+      "epoch": 4.340113528855251,
+      "grad_norm": 17.09177589416504,
+      "learning_rate": 3.3008101235881973e-06,
+      "loss": 1.3231,
+      "step": 18350
+    },
+    {
+      "epoch": 4.351939451277199,
+      "grad_norm": 16.76932716369629,
+      "learning_rate": 3.241677014960677e-06,
+      "loss": 1.3587,
+      "step": 18400
+    },
+    {
+      "epoch": 4.363765373699149,
+      "grad_norm": 17.611955642700195,
+      "learning_rate": 3.1825439063331565e-06,
+      "loss": 1.2639,
+      "step": 18450
+    },
+    {
+      "epoch": 4.375591296121097,
+      "grad_norm": 11.352503776550293,
+      "learning_rate": 3.1234107977056353e-06,
+      "loss": 1.2244,
+      "step": 18500
+    },
+    {
+      "epoch": 4.387417218543046,
+      "grad_norm": 17.059810638427734,
+      "learning_rate": 3.064277689078115e-06,
+      "loss": 1.1932,
+      "step": 18550
+    },
+    {
+      "epoch": 4.3992431409649955,
+      "grad_norm": 15.7676420211792,
+      "learning_rate": 3.0051445804505946e-06,
+      "loss": 1.2072,
+      "step": 18600
+    },
+    {
+      "epoch": 4.411069063386944,
+      "grad_norm": 20.51708984375,
+      "learning_rate": 2.9460114718230742e-06,
+      "loss": 1.2257,
+      "step": 18650
+    },
+    {
+      "epoch": 4.4228949858088935,
+      "grad_norm": 9.713994979858398,
+      "learning_rate": 2.8868783631955535e-06,
+      "loss": 1.2368,
+      "step": 18700
+    },
+    {
+      "epoch": 4.434720908230842,
+      "grad_norm": 17.381057739257812,
+      "learning_rate": 2.8277452545680327e-06,
+      "loss": 1.2796,
+      "step": 18750
+    },
+    {
+      "epoch": 4.446546830652791,
+      "grad_norm": 17.901290893554688,
+      "learning_rate": 2.7686121459405123e-06,
+      "loss": 1.1617,
+      "step": 18800
+    },
+    {
+      "epoch": 4.45837275307474,
+      "grad_norm": 14.669180870056152,
+      "learning_rate": 2.709479037312992e-06,
+      "loss": 1.238,
+      "step": 18850
+    },
+    {
+      "epoch": 4.470198675496689,
+      "grad_norm": 19.362512588500977,
+      "learning_rate": 2.650345928685471e-06,
+      "loss": 1.1765,
+      "step": 18900
+    },
+    {
+      "epoch": 4.482024597918637,
+      "grad_norm": 16.083276748657227,
+      "learning_rate": 2.591212820057951e-06,
+      "loss": 1.2626,
+      "step": 18950
+    },
+    {
+      "epoch": 4.493850520340587,
+      "grad_norm": 12.657955169677734,
+      "learning_rate": 2.53207971143043e-06,
+      "loss": 1.2582,
+      "step": 19000
+    },
+    {
+      "epoch": 4.505676442762535,
+      "grad_norm": 19.395004272460938,
+      "learning_rate": 2.4729466028029097e-06,
+      "loss": 1.2478,
+      "step": 19050
+    },
+    {
+      "epoch": 4.517502365184484,
+      "grad_norm": 19.803897857666016,
+      "learning_rate": 2.413813494175389e-06,
+      "loss": 1.1628,
+      "step": 19100
+    },
+    {
+      "epoch": 4.529328287606433,
+      "grad_norm": 18.098979949951172,
+      "learning_rate": 2.3546803855478685e-06,
+      "loss": 1.251,
+      "step": 19150
+    },
+    {
+      "epoch": 4.541154210028382,
+      "grad_norm": 20.26512908935547,
+      "learning_rate": 2.295547276920348e-06,
+      "loss": 1.208,
+      "step": 19200
+    },
+    {
+      "epoch": 4.552980132450331,
+      "grad_norm": 11.94166088104248,
+      "learning_rate": 2.2364141682928274e-06,
+      "loss": 1.2535,
+      "step": 19250
+    },
+    {
+      "epoch": 4.56480605487228,
+      "grad_norm": 15.473821640014648,
+      "learning_rate": 2.177281059665307e-06,
+      "loss": 1.1903,
+      "step": 19300
+    },
+    {
+      "epoch": 4.5766319772942285,
+      "grad_norm": 14.091665267944336,
+      "learning_rate": 2.1181479510377862e-06,
+      "loss": 1.1725,
+      "step": 19350
+    },
+    {
+      "epoch": 4.588457899716178,
+      "grad_norm": 15.09231948852539,
+      "learning_rate": 2.059014842410266e-06,
+      "loss": 1.2023,
+      "step": 19400
+    },
+    {
+      "epoch": 4.600283822138127,
+      "grad_norm": 19.047542572021484,
+      "learning_rate": 1.999881733782745e-06,
+      "loss": 1.1607,
+      "step": 19450
+    },
+    {
+      "epoch": 4.612109744560076,
+      "grad_norm": 15.40837574005127,
+      "learning_rate": 1.9407486251552247e-06,
+      "loss": 1.2483,
+      "step": 19500
+    },
+    {
+      "epoch": 4.623935666982025,
+      "grad_norm": 16.487464904785156,
+      "learning_rate": 1.881615516527704e-06,
+      "loss": 1.1202,
+      "step": 19550
+    },
+    {
+      "epoch": 4.635761589403973,
+      "grad_norm": 18.49724006652832,
+      "learning_rate": 1.8224824079001836e-06,
+      "loss": 1.2428,
+      "step": 19600
+    },
+    {
+      "epoch": 4.647587511825923,
+      "grad_norm": 13.098505973815918,
+      "learning_rate": 1.7633492992726628e-06,
+      "loss": 1.2413,
+      "step": 19650
+    },
+    {
+      "epoch": 4.659413434247871,
+      "grad_norm": 14.599630355834961,
+      "learning_rate": 1.7042161906451424e-06,
+      "loss": 1.1916,
+      "step": 19700
+    },
+    {
+      "epoch": 4.671239356669821,
+      "grad_norm": 13.156811714172363,
+      "learning_rate": 1.6450830820176216e-06,
+      "loss": 1.1738,
+      "step": 19750
+    },
+    {
+      "epoch": 4.683065279091769,
+      "grad_norm": 12.79720687866211,
+      "learning_rate": 1.5859499733901013e-06,
+      "loss": 1.1718,
+      "step": 19800
+    },
+    {
+      "epoch": 4.694891201513718,
+      "grad_norm": 20.443012237548828,
+      "learning_rate": 1.5268168647625805e-06,
+      "loss": 1.2093,
+      "step": 19850
+    },
+    {
+      "epoch": 4.706717123935667,
+      "grad_norm": 14.799368858337402,
+      "learning_rate": 1.4676837561350601e-06,
+      "loss": 1.1457,
+      "step": 19900
+    },
+    {
+      "epoch": 4.718543046357616,
+      "grad_norm": 12.656880378723145,
+      "learning_rate": 1.4085506475075394e-06,
+      "loss": 1.1704,
+      "step": 19950
+    },
+    {
+      "epoch": 4.7303689687795645,
+      "grad_norm": 17.24571418762207,
+      "learning_rate": 1.349417538880019e-06,
+      "loss": 1.1767,
+      "step": 20000
+    },
+    {
+      "epoch": 4.7303689687795645,
+      "eval_runtime": 47.055,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 3.9691287893885456,
+      "step": 20000
+    },
+    {
+      "epoch": 4.742194891201514,
+      "grad_norm": 15.378254890441895,
+      "learning_rate": 1.2902844302524986e-06,
+      "loss": 1.1956,
+      "step": 20050
+    },
+    {
+      "epoch": 4.7540208136234625,
+      "grad_norm": 17.969493865966797,
+      "learning_rate": 1.2311513216249778e-06,
+      "loss": 1.1815,
+      "step": 20100
+    },
+    {
+      "epoch": 4.765846736045411,
+      "grad_norm": 18.55719757080078,
+      "learning_rate": 1.1720182129974573e-06,
+      "loss": 1.1376,
+      "step": 20150
+    },
+    {
+      "epoch": 4.7776726584673606,
+      "grad_norm": 17.548654556274414,
+      "learning_rate": 1.1128851043699367e-06,
+      "loss": 1.1839,
+      "step": 20200
+    },
+    {
+      "epoch": 4.789498580889309,
+      "grad_norm": 21.243549346923828,
+      "learning_rate": 1.0537519957424163e-06,
+      "loss": 1.1722,
+      "step": 20250
+    },
+    {
+      "epoch": 4.801324503311259,
+      "grad_norm": 12.436286926269531,
+      "learning_rate": 9.946188871148958e-07,
+      "loss": 1.2525,
+      "step": 20300
+    },
+    {
+      "epoch": 4.813150425733207,
+      "grad_norm": 12.564568519592285,
+      "learning_rate": 9.354857784873751e-07,
+      "loss": 1.1445,
+      "step": 20350
+    },
+    {
+      "epoch": 4.824976348155156,
+      "grad_norm": 19.906652450561523,
+      "learning_rate": 8.763526698598545e-07,
+      "loss": 1.1819,
+      "step": 20400
+    },
+    {
+      "epoch": 4.836802270577105,
+      "grad_norm": 17.435781478881836,
+      "learning_rate": 8.17219561232334e-07,
+      "loss": 1.213,
+      "step": 20450
+    },
+    {
+      "epoch": 4.848628192999054,
+      "grad_norm": 14.816115379333496,
+      "learning_rate": 7.580864526048135e-07,
+      "loss": 1.1366,
+      "step": 20500
+    },
+    {
+      "epoch": 4.860454115421003,
+      "grad_norm": 14.993414878845215,
+      "learning_rate": 6.989533439772929e-07,
+      "loss": 1.2219,
+      "step": 20550
+    },
+    {
+      "epoch": 4.872280037842952,
+      "grad_norm": 17.53949737548828,
+      "learning_rate": 6.398202353497723e-07,
+      "loss": 1.1501,
+      "step": 20600
+    },
+    {
+      "epoch": 4.8841059602649,
+      "grad_norm": 14.761266708374023,
+      "learning_rate": 5.806871267222519e-07,
+      "loss": 1.1949,
+      "step": 20650
+    },
+    {
+      "epoch": 4.89593188268685,
+      "grad_norm": 15.1113920211792,
+      "learning_rate": 5.215540180947313e-07,
+      "loss": 1.1757,
+      "step": 20700
+    },
+    {
+      "epoch": 4.907757805108798,
+      "grad_norm": 17.890682220458984,
+      "learning_rate": 4.624209094672107e-07,
+      "loss": 1.1029,
+      "step": 20750
+    },
+    {
+      "epoch": 4.919583727530747,
+      "grad_norm": 16.85039710998535,
+      "learning_rate": 4.032878008396902e-07,
+      "loss": 1.1426,
+      "step": 20800
+    },
+    {
+      "epoch": 4.9314096499526965,
+      "grad_norm": 22.656349182128906,
+      "learning_rate": 3.441546922121696e-07,
+      "loss": 1.2021,
+      "step": 20850
+    },
+    {
+      "epoch": 4.943235572374645,
+      "grad_norm": 19.370864868164062,
+      "learning_rate": 2.8502158358464905e-07,
+      "loss": 1.1034,
+      "step": 20900
+    },
+    {
+      "epoch": 4.955061494796594,
+      "grad_norm": 13.943963050842285,
+      "learning_rate": 2.258884749571285e-07,
+      "loss": 1.2271,
+      "step": 20950
+    },
+    {
+      "epoch": 4.966887417218543,
+      "grad_norm": 14.200597763061523,
+      "learning_rate": 1.6675536632960799e-07,
+      "loss": 1.2032,
+      "step": 21000
+    },
+    {
+      "epoch": 4.978713339640492,
+      "grad_norm": 12.472103118896484,
+      "learning_rate": 1.076222577020874e-07,
+      "loss": 1.2036,
+      "step": 21050
+    },
+    {
+      "epoch": 4.990539262062441,
+      "grad_norm": 15.718477249145508,
+      "learning_rate": 4.848914907456685e-08,
+      "loss": 1.1324,
+      "step": 21100
+    }
+  ],
+  "logging_steps": 50,
+  "max_steps": 21140,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 2000,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 64,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoints/checkpoint-21140/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e569c6363f87232c2592f6816dc1525dfa57d0e811b17118ca7ae653e7552dbe
+size 6225