Upload checkpoint-10000

checkpoints/checkpoint-10000/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 384,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

checkpoints/checkpoint-10000/README.md

@@ -0,0 +1,657 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:541248
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: QuangDuy/bert-tiny-stage2-hf
+widget:
+- source_sentence: sở hữu chung là gì?
+  sentences:
+  - Chủ nghĩa xã hội là một loạt các hệ thống kinh tế và xã hội được đặc trưng bởi
+    quyền sở hữu xã hội và quyền kiểm soát dân chủ đối với tư liệu sản xuất, cũng
+    như các lý thuyết và phong trào chính trị gắn liền với chúng. Sở hữu xã hội có
+    thể đề cập đến các hình thức sở hữu công cộng, tập thể hoặc hợp tác, hoặc quyền
+    sở hữu công bằng của công dân. Có nhiều loại hình chủ nghĩa xã hội và không có
+    một định nghĩa nào gói gọn tất cả chúng, mặc dù quyền sở hữu xã hội là yếu tố
+    chung được chia sẻ bởi các hình thức khác nhau của nó.
+  - Sở hữu chung là một chương trình do chính phủ tài trợ để giúp những người mua
+    lần đầu, những người sẽ không thể đặt chân lên nấc thang bất động sản. Chương
+    trình này chủ yếu được điều hành bởi các hiệp hội nhà ở của London.
+  - Malabar nằm gần trung tâm của Florida. Malabar là một phần của Quận Brevard. Malabar
+    có 10,67 dặm vuông diện tích đất và 2,57 dặm vuông diện tích mặt nước. Tính đến
+    năm 2010, tổng dân số Malabar là 2.757 người, tăng 5,15% kể từ năm 2000. Tỷ lệ
+    tăng dân số thấp hơn nhiều so với tỷ lệ trung bình của bang là 17,64% và thấp
+    hơn tỷ lệ trung bình của cả nước là 9,71%. Thu nhập trung bình của hộ gia đình
+    Malabar là 64.712 đô la trong năm 2008-2012 và đã tăng 30,27% kể từ năm 2000.
+- source_sentence: ludobites là gì?
+  sentences:
+  - Ludobites là gì? Ludobites là một nhà hàng pop-up theo phong cách du kích do bếp
+    trưởng Ludo Lefebvre tạo ra, gần đây đã được giới thiệu là vua của món quesadillas
+    tai lợn tan chảy trên Top Chef Masters. Xin đừng giữ điều đó chống lại anh ta,
+    những người khác nhau làm việc tốt trong các loại tình huống khác nhau, và trong
+    nhà bếp của riêng anh ta, thức ăn của Ludo tỏa sáng.
+  - Một từ khác cho oxit boric là gì? Một từ khác cho borickites là gì? Một từ khác
+    cho borickite là gì? Một từ khác cho axit boric là gì? Một từ khác cho axit boric
+    là gì? Một từ khác cho vi sinh vật là gì? Một từ khác cho ngao ngán là gì? Một
+    từ khác cho ngao nhàm chán là gì? Một từ khác cho nhàm chán là gì? Một từ khác
+    cho nhàm chán nhất là gì? Một từ khác cho nhàm chán là gì?
+  - Nhà máy Tesla là một nhà máy sản xuất ô tô ở Fremont, California, Hoa Kỳ và là
+    cơ sở sản xuất chính của Tesla Motors. Xe Tesla Model S mới tại Nhà máy Tesla
+    vào năm 2012. Xe sản xuất loạt đầu tiên của nhà máy là Tesla Model S cỡ lớn. sedan
+    điện ắc quy. Vào năm 2011, Tesla Motors đã chuyển đổi từ các phiên bản alpha lắp
+    ráp thủ công sang các phiên bản beta, những chiếc xe xác nhận sản xuất được chế
+    tạo hoàn toàn tại Nhà máy Tesla.
+- source_sentence: galveston indiana ở quận nào
+  sentences:
+  - Nhà bán ở Galveston, Hạt Cass, Indiana. Tìm nhà và đất ở nông thôn để bán ở Galveston,
+    Hạt Cass, Indiana? LandWatch.com có ​​hàng nghìn tài sản nông thôn ở Galveston,
+    Hạt Cass, Indiana, bao gồm tài sản săn bắn & câu cá, cabin, Nhà để bán và đấu
+    giá đất. Chọn từ những khu đất có diện tích nhỏ đến những khu đất rộng lớn hơn
+    500 mẫu Anh.
+  - THÀNH PHỐ TEXAS, TX. THÀNH PHỐ TEXAS, TEXAS. Thành phố Texas, trên bờ Tây Nam
+    của Vịnh Galveston cách Galveston bảy dặm và cách Vịnh Mexico ở Quận Galveston
+    mười một dặm, là một cảng nước sâu trên đất liền.
+  - 'Theo simplehired.com, một kỹ thuật viên nhạc cụ ở nước ngoài có thể kiếm được
+    khoảng 61K mỗi năm. Cuộc sống ngoài khơi: Nếu bạn vẫn quan tâm đến các công việc
+    cấp độ đầu vào của giàn khoan dầu, hãy biết một điều rằng bạn sẽ phải lấy chứng
+    chỉ an toàn và vượt qua cuộc kiểm tra ma túy để được xem xét. ở cấp độ đầu vào,
+    công việc giàn khoan dầu khí ngoài khơi có thể kiếm được $ 24 - $ 26 một giờ;
+    các nhà khai thác derrick $ 23 - $ 30 mỗi giờ, trong khi thợ khoan ở mức $ 36
+    - $ 39.'
+- source_sentence: sắt montainmi ở quận nào
+  sentences:
+  - 2. Tháo quả địa cầu và bóng đèn khỏi bộ đèn hiện có. Nới lỏng các vít lắp của
+    bộ đèn và hạ bộ đèn ra khỏi động cơ quạt trần. Ngắt kết nối hai dây dẫn đến đèn
+    bằng cách tháo các đai ốc của dây. Đặt bộ đèn cũ sang một bên .. Tháo quả địa
+    cầu và bóng đèn khỏi bộ đèn hiện có. Nới lỏng các vít lắp của bộ đèn và hạ bộ
+    đèn ra khỏi động cơ quạt trần. Ngắt kết nối hai dây dẫn đến đèn bằng cách tháo
+    các đai ốc của dây. Đặt bộ đèn cũ sang một bên.
+  - Sân bay gần nhất là Sân bay Hạt Rhinelander Oneida (RHI). Khoảng cách từ Rhinelander
+    Oneida County Airport đến Iron River là 82,0 km (51,0 dặm).
+  - Núi Sắt, Michigan. Núi Sắt là một thành phố ở tiểu bang Michigan của Hoa Kỳ. Dân
+    số tại thời điểm điều tra dân số năm 2010 là 7.624 người. Nó là quận lỵ của Quận
+    Dickinson, ở Bán đảo Thượng của tiểu bang. Núi Sắt được đặt tên cho quặng sắt
+    có giá trị được tìm thấy trong vùng lân cận.
+- source_sentence: các phản ứng cụ thể của hệ thống miễn dịch của bạn là gì
+  sentences:
+  - Các phản ứng miễn dịch cụ thể đề cập đến thực tế là các globulin miễn dịch được
+    sản xuất đặc trưng cho các kháng nguyên đã kích thích sản xuất chúng, phản ứng
+    này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong dòng máu nên sự tái
+    nhiễm xảy ra thì phản ứng sẽ nhanh hơn. đáp ứng miễn dịch đề cập đến thực tế là
+    các globulin miễn dịch được tạo ra đặc trưng cho các kháng nguyên kích thích sản
+    xuất chúng, phản ứng này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong
+    dòng máu nên sự tái nhiễm xảy ra thì phản ứng sẽ nhanh hơn.
+  - Tìm kiếm có thể giúp chống lại chứng nghẹt mũi mãn tính. Nhóm nghiên cứu của Kita
+    đã so sánh phản ứng của hệ thống miễn dịch của 18 người bị nghẹt mũi mãn tính
+    và 15 người không mắc bệnh này. Họ đã kiểm tra mẫu máu của những người tham gia
+    để xem các tế bào của hệ thống miễn dịch cụ thể phản ứng như thế nào với các loại
+    nấm thông thường trong không khí.
+  - Bảo trì Cơ khí ở Los Angeles Mức lương. Một thợ sửa chữa bảo trì ở Los Angeles,
+    California kiếm được mức lương trung bình là 22,11 đô la mỗi giờ. Các kỹ năng
+    được trả lương cao nhất liên quan đến công việc này là Bảo trì thiết bị, Xử lý
+    sự cố, Thủy lực công nghiệp, Hệ thống ống nước và Bảo trì. Hầu hết những người
+    làm công việc này đều có hơn 5 năm kinh nghiệm trong các công việc liên quan.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on QuangDuy/bert-tiny-stage2-hf
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [QuangDuy/bert-tiny-stage2-hf](https://huggingface.co/QuangDuy/bert-tiny-stage2-hf). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [QuangDuy/bert-tiny-stage2-hf](https://huggingface.co/QuangDuy/bert-tiny-stage2-hf) <!-- at revision 89bd42c41ec5167da1de8ed7085615795a3fd55c -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 384 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
+  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'các phản ứng cụ thể của hệ thống miễn dịch của bạn là gì',
+    'Các phản ứng miễn dịch cụ thể đề cập đến thực tế là các globulin miễn dịch được sản xuất đặc trưng cho các kháng nguyên đã kích thích sản xuất chúng, phản ứng này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong dòng máu nên sự tái nhiễm xảy ra thì phản ứng sẽ nhanh hơn. đáp ứng miễn dịch đề cập đến thực tế là các globulin miễn dịch được tạo ra đặc trưng cho các kháng nguyên kích thích sản xuất chúng, phản ứng này dẫn đến việc sản xuất các tế bào nhớ vẫn lưu thông trong dòng máu nên sự tái nhiễm xảy ra thì phản ứng sẽ nhanh hơn.',
+    'Tìm kiếm có thể giúp chống lại chứng nghẹt mũi mãn tính. Nhóm nghiên cứu của Kita đã so sánh phản ứng của hệ thống miễn dịch của 18 người bị nghẹt mũi mãn tính và 15 người không mắc bệnh này. Họ đã kiểm tra mẫu máu của những người tham gia để xem các tế bào của hệ thống miễn dịch cụ thể phản ứng như thế nào với các loại nấm thông thường trong không khí.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 384]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0000, 0.7312, 0.4931],
+#         [0.7312, 1.0001, 0.4064],
+#         [0.4931, 0.4064, 1.0000]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 541,248 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                        | sentence_1                                                                           | sentence_2                                                                          |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 5 tokens</li><li>mean: 11.35 tokens</li><li>max: 37 tokens</li></ul> | <ul><li>min: 20 tokens</li><li>mean: 101.36 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 96.12 tokens</li><li>max: 371 tokens</li></ul> |
+* Samples:
+  | sentence_0                                                    | sentence_1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | sentence_2                                                                                                                                                                                                                                                                                                                                                                         |
+  |:--------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>giá máy trợ thính trung bình</code>                     | <code>Máy trợ thính giúp những người bị mất thính lực tận hưởng cuộc sống chất lượng hơn ࢠ€Â⠀ nhưng thiết bị này có thể đắt tiền. Giá trung bình của một máy trợ thính là $ 2,300. Hầu hết mọi người cần hai, tăng gấp đôi chi phí. Nếu công ty bảo hiểm sức khỏe của bạn không cung cấp bảo hiểm, bạn sẽ muốn có đủ tiền tiết kiệm hoặc thẻ tín dụng hoàn tiền tốt để chi trả chi phí. Tổng chi phí phụ thuộc vào loại máy trợ thính, tính năng của nó và mức độ dịch vụ chuyên nghiệp. Phân tích chi phí Thông thường, bản thân máy trợ thính chỉ chiếm một phần ba tổng chi phí; phí và dịch vụ chuyên nghiệp chiếm phần còn lại.</code>                                                                                                  | <code>Theo một cuộc khảo sát được công bố gần đây bởi Đánh giá thính giác, giá trung bình của một cặp thiết bị hỗ trợ tầm trung dao động trong khoảng từ $ 4,400 đến $ 4,500. Giá cả khác nhau tùy theo khu vực. Ví dụ, tại Phòng khám Thính học của UCLA, giá trung bình là $ 4,200, nhà thính học Alison Grimes cho biết.</code>                                                 |
+  | <code>tôi có thể trả lại một sản phẩm cho amazon không</code> | <code>Trả lại các mặt hàng do Amazon thực hiện / Các mặt hàng đủ điều kiện Prime. Bạn có thể trả lại các mặt hàng Đủ điều kiện của Amazon hoặc Prime bằng cách truy cập Trung tâm hỗ trợ trả hàng của chúng tôi. Đi tới Trung tâm Hỗ trợ Trả hàng và nhấp vào Trả lại mặt hàng. Tìm đơn đặt hàng bạn muốn trả lại và nhấp vào Trả lại hoặc Thay thế các mặt hàng. Chọn các mục bạn muốn trả lại.</code>                                                                                                                                                                                                                                                                                                                                                  | <code>Tôi mua sản phẩm này vì tôi nghĩ rằng tôi có thể nhìn thấy các thư mục của ổ cứng được kết nối với asus o! Play từ máy tính của mình. Nhưng nó rất khả thi. Tôi nghĩ rằng tôi sẽ trả lại sản phẩm này nếu không có bất kỳ chương trình cơ sở mới nào để cập nhật sự cố này trong vòng 10 ngày tới. Tôi hy vọng asus giải quyết nó, nếu không tôi sẽ trả lại sản phẩm.</code> |
+  | <code>ana tích cực nghĩa là gì</code>                         | <code>Tuy nhiên, các xét nghiệm khác vẫn có thể cần thiết dựa trên các triệu chứng của bạn. Một số người mắc bệnh tự miễn dịch có thể xét nghiệm âm tính với ANA nhưng dương tính với các kháng thể khác. Xét nghiệm ANA dương tính có nghĩa là bạn có nồng độ ANA cao trong máu. Xét nghiệm ANA dương tính thường được báo cáo dưới dạng cả tỷ lệ (được gọi là chuẩn) và kiểu mẫu, chẳng hạn như mịn hoặc lốm đốm. Một số bệnh có nhiều khả năng có một số mô hình nhất định. Hiệu giá càng cao thì kết quả càng có nhiều khả năng là kết quả ࢠ€Š“true positiveࢠ€Â, nghĩa là bạn có kháng thể kháng nhân đáng kể và mắc bệnh tự miễn dịch. Tuy nhiên, kết quả dương tính không luôn có nghĩa là bạn mắc bệnh tự miễn dịch.</code> | <code>Tích cực: 88%. túi mật giải nén nghĩa là gì góp phần vào túi mật ... mật sẽ luôn luôn là gì túi mật giải nén nghĩa là chọn protein nạc ...</code>                                                                                                                                                                                                                            |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          384,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 128
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `num_train_epochs`: 5
+- `warmup_steps`: 4229
+- `bf16`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 128
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 4229
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: no
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: True
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss | validation loss |
+|:------:|:-----:|:-------------:|:---------------:|
+| 0.0118 | 50    | 18.0314       | -               |
+| 0.0237 | 100   | 17.7147       | -               |
+| 0.0355 | 150   | 17.0007       | -               |
+| 0.0473 | 200   | 16.0667       | -               |
+| 0.0591 | 250   | 14.9131       | -               |
+| 0.0710 | 300   | 13.9449       | -               |
+| 0.0828 | 350   | 12.7957       | -               |
+| 0.0946 | 400   | 11.7288       | -               |
+| 0.1064 | 450   | 10.6945       | -               |
+| 0.1183 | 500   | 9.4743        | -               |
+| 0.1301 | 550   | 8.6215        | -               |
+| 0.1419 | 600   | 7.7279        | -               |
+| 0.1537 | 650   | 7.1892        | -               |
+| 0.1656 | 700   | 6.9682        | -               |
+| 0.1774 | 750   | 6.4781        | -               |
+| 0.1892 | 800   | 6.1271        | -               |
+| 0.2010 | 850   | 6.1199        | -               |
+| 0.2129 | 900   | 5.9544        | -               |
+| 0.2247 | 950   | 5.8145        | -               |
+| 0.2365 | 1000  | 5.5599        | -               |
+| 0.2483 | 1050  | 5.2344        | -               |
+| 0.2602 | 1100  | 5.3013        | -               |
+| 0.2720 | 1150  | 5.0562        | -               |
+| 0.2838 | 1200  | 4.8728        | -               |
+| 0.2956 | 1250  | 4.7826        | -               |
+| 0.3075 | 1300  | 4.8806        | -               |
+| 0.3193 | 1350  | 4.6464        | -               |
+| 0.3311 | 1400  | 4.7046        | -               |
+| 0.3430 | 1450  | 4.5188        | -               |
+| 0.3548 | 1500  | 4.4968        | -               |
+| 0.3666 | 1550  | 4.4387        | -               |
+| 0.3784 | 1600  | 4.1702        | -               |
+| 0.3903 | 1650  | 4.2147        | -               |
+| 0.4021 | 1700  | 3.9972        | -               |
+| 0.4139 | 1750  | 4.1279        | -               |
+| 0.4257 | 1800  | 4.0214        | -               |
+| 0.4376 | 1850  | 3.9161        | -               |
+| 0.4494 | 1900  | 3.7544        | -               |
+| 0.4612 | 1950  | 3.8246        | -               |
+| 0.4730 | 2000  | 3.7991        | 5.9881          |
+| 0.4849 | 2050  | 3.8554        | -               |
+| 0.4967 | 2100  | 3.8123        | -               |
+| 0.5085 | 2150  | 3.5525        | -               |
+| 0.5203 | 2200  | 3.5591        | -               |
+| 0.5322 | 2250  | 3.6293        | -               |
+| 0.5440 | 2300  | 3.5831        | -               |
+| 0.5558 | 2350  | 3.6007        | -               |
+| 0.5676 | 2400  | 3.4225        | -               |
+| 0.5795 | 2450  | 3.4405        | -               |
+| 0.5913 | 2500  | 3.4002        | -               |
+| 0.6031 | 2550  | 3.3653        | -               |
+| 0.6149 | 2600  | 3.321         | -               |
+| 0.6268 | 2650  | 3.3042        | -               |
+| 0.6386 | 2700  | 3.2117        | -               |
+| 0.6504 | 2750  | 3.3423        | -               |
+| 0.6623 | 2800  | 3.2494        | -               |
+| 0.6741 | 2850  | 3.1364        | -               |
+| 0.6859 | 2900  | 3.1836        | -               |
+| 0.6977 | 2950  | 3.1268        | -               |
+| 0.7096 | 3000  | 3.072         | -               |
+| 0.7214 | 3050  | 3.0135        | -               |
+| 0.7332 | 3100  | 3.0607        | -               |
+| 0.7450 | 3150  | 3.0963        | -               |
+| 0.7569 | 3200  | 3.0419        | -               |
+| 0.7687 | 3250  | 2.9891        | -               |
+| 0.7805 | 3300  | 2.9384        | -               |
+| 0.7923 | 3350  | 2.8918        | -               |
+| 0.8042 | 3400  | 2.9816        | -               |
+| 0.8160 | 3450  | 2.9664        | -               |
+| 0.8278 | 3500  | 2.8969        | -               |
+| 0.8396 | 3550  | 2.9368        | -               |
+| 0.8515 | 3600  | 2.8513        | -               |
+| 0.8633 | 3650  | 2.9808        | -               |
+| 0.8751 | 3700  | 2.8428        | -               |
+| 0.8869 | 3750  | 2.8775        | -               |
+| 0.8988 | 3800  | 2.739         | -               |
+| 0.9106 | 3850  | 2.8277        | -               |
+| 0.9224 | 3900  | 2.767         | -               |
+| 0.9342 | 3950  | 2.794         | -               |
+| 0.9461 | 4000  | 2.7738        | 4.7738          |
+| 0.9579 | 4050  | 2.8568        | -               |
+| 0.9697 | 4100  | 2.7938        | -               |
+| 0.9816 | 4150  | 2.7272        | -               |
+| 0.9934 | 4200  | 2.7079        | -               |
+| 1.0052 | 4250  | 2.6383        | -               |
+| 1.0170 | 4300  | 2.6855        | -               |
+| 1.0289 | 4350  | 2.6568        | -               |
+| 1.0407 | 4400  | 2.5981        | -               |
+| 1.0525 | 4450  | 2.6987        | -               |
+| 1.0643 | 4500  | 2.6992        | -               |
+| 1.0762 | 4550  | 2.5434        | -               |
+| 1.0880 | 4600  | 2.5553        | -               |
+| 1.0998 | 4650  | 2.4978        | -               |
+| 1.1116 | 4700  | 2.5679        | -               |
+| 1.1235 | 4750  | 2.4768        | -               |
+| 1.1353 | 4800  | 2.5578        | -               |
+| 1.1471 | 4850  | 2.4758        | -               |
+| 1.1589 | 4900  | 2.5352        | -               |
+| 1.1708 | 4950  | 2.5023        | -               |
+| 1.1826 | 5000  | 2.4713        | -               |
+| 1.1944 | 5050  | 2.486         | -               |
+| 1.2062 | 5100  | 2.483         | -               |
+| 1.2181 | 5150  | 2.4098        | -               |
+| 1.2299 | 5200  | 2.5061        | -               |
+| 1.2417 | 5250  | 2.4597        | -               |
+| 1.2535 | 5300  | 2.4591        | -               |
+| 1.2654 | 5350  | 2.3879        | -               |
+| 1.2772 | 5400  | 2.4146        | -               |
+| 1.2890 | 5450  | 2.3418        | -               |
+| 1.3009 | 5500  | 2.4307        | -               |
+| 1.3127 | 5550  | 2.3653        | -               |
+| 1.3245 | 5600  | 2.3995        | -               |
+| 1.3363 | 5650  | 2.4527        | -               |
+| 1.3482 | 5700  | 2.4547        | -               |
+| 1.3600 | 5750  | 2.3695        | -               |
+| 1.3718 | 5800  | 2.3341        | -               |
+| 1.3836 | 5850  | 2.2412        | -               |
+| 1.3955 | 5900  | 2.2695        | -               |
+| 1.4073 | 5950  | 2.2922        | -               |
+| 1.4191 | 6000  | 2.3176        | 4.3057          |
+| 1.4309 | 6050  | 2.281         | -               |
+| 1.4428 | 6100  | 2.2155        | -               |
+| 1.4546 | 6150  | 2.1908        | -               |
+| 1.4664 | 6200  | 2.2071        | -               |
+| 1.4782 | 6250  | 2.2617        | -               |
+| 1.4901 | 6300  | 2.2864        | -               |
+| 1.5019 | 6350  | 2.2509        | -               |
+| 1.5137 | 6400  | 2.1227        | -               |
+| 1.5255 | 6450  | 2.1919        | -               |
+| 1.5374 | 6500  | 2.2072        | -               |
+| 1.5492 | 6550  | 2.1652        | -               |
+| 1.5610 | 6600  | 2.2224        | -               |
+| 1.5728 | 6650  | 2.0715        | -               |
+| 1.5847 | 6700  | 2.1693        | -               |
+| 1.5965 | 6750  | 2.1141        | -               |
+| 1.6083 | 6800  | 2.1129        | -               |
+| 1.6202 | 6850  | 2.1001        | -               |
+| 1.6320 | 6900  | 2.094         | -               |
+| 1.6438 | 6950  | 2.2176        | -               |
+| 1.6556 | 7000  | 2.109         | -               |
+| 1.6675 | 7050  | 2.0537        | -               |
+| 1.6793 | 7100  | 2.0328        | -               |
+| 1.6911 | 7150  | 2.1541        | -               |
+| 1.7029 | 7200  | 2.0164        | -               |
+| 1.7148 | 7250  | 2.0225        | -               |
+| 1.7266 | 7300  | 2.0243        | -               |
+| 1.7384 | 7350  | 2.0152        | -               |
+| 1.7502 | 7400  | 2.0455        | -               |
+| 1.7621 | 7450  | 2.0026        | -               |
+| 1.7739 | 7500  | 1.9846        | -               |
+| 1.7857 | 7550  | 1.9594        | -               |
+| 1.7975 | 7600  | 2.0523        | -               |
+| 1.8094 | 7650  | 1.9751        | -               |
+| 1.8212 | 7700  | 1.9898        | -               |
+| 1.8330 | 7750  | 1.9658        | -               |
+| 1.8448 | 7800  | 1.9976        | -               |
+| 1.8567 | 7850  | 1.9939        | -               |
+| 1.8685 | 7900  | 1.9666        | -               |
+| 1.8803 | 7950  | 1.9704        | -               |
+| 1.8921 | 8000  | 1.9822        | 4.1331          |
+| 1.9040 | 8050  | 1.8534        | -               |
+| 1.9158 | 8100  | 1.856         | -               |
+| 1.9276 | 8150  | 1.9817        | -               |
+| 1.9395 | 8200  | 1.9095        | -               |
+| 1.9513 | 8250  | 1.9343        | -               |
+| 1.9631 | 8300  | 1.95          | -               |
+| 1.9749 | 8350  | 1.9981        | -               |
+| 1.9868 | 8400  | 1.8872        | -               |
+| 1.9986 | 8450  | 1.8112        | -               |
+| 2.0104 | 8500  | 1.8451        | -               |
+| 2.0222 | 8550  | 1.8918        | -               |
+| 2.0341 | 8600  | 1.7837        | -               |
+| 2.0459 | 8650  | 1.8692        | -               |
+| 2.0577 | 8700  | 1.8614        | -               |
+| 2.0695 | 8750  | 1.8677        | -               |
+| 2.0814 | 8800  | 1.8005        | -               |
+| 2.0932 | 8850  | 1.8008        | -               |
+| 2.1050 | 8900  | 1.8207        | -               |
+| 2.1168 | 8950  | 1.7491        | -               |
+| 2.1287 | 9000  | 1.8351        | -               |
+| 2.1405 | 9050  | 1.7934        | -               |
+| 2.1523 | 9100  | 1.8162        | -               |
+| 2.1641 | 9150  | 1.8496        | -               |
+| 2.1760 | 9200  | 1.7747        | -               |
+| 2.1878 | 9250  | 1.7665        | -               |
+| 2.1996 | 9300  | 1.789         | -               |
+| 2.2114 | 9350  | 1.8264        | -               |
+| 2.2233 | 9400  | 1.788         | -               |
+| 2.2351 | 9450  | 1.7902        | -               |
+| 2.2469 | 9500  | 1.8175        | -               |
+| 2.2588 | 9550  | 1.8042        | -               |
+| 2.2706 | 9600  | 1.7767        | -               |
+| 2.2824 | 9650  | 1.7099        | -               |
+| 2.2942 | 9700  | 1.7841        | -               |
+| 2.3061 | 9750  | 1.87          | -               |
+| 2.3179 | 9800  | 1.7485        | -               |
+| 2.3297 | 9850  | 1.8367        | -               |
+| 2.3415 | 9900  | 1.7925        | -               |
+| 2.3534 | 9950  | 1.9135        | -               |
+| 2.3652 | 10000 | 1.7746        | 4.0629          |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.15
+- Sentence Transformers: 5.3.0
+- Transformers: 4.57.6
+- PyTorch: 2.11.0+cu130
+- Accelerate: 1.13.0
+- Datasets: 3.6.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{oord2019representationlearningcontrastivepredictive,
+      title={Representation Learning with Contrastive Predictive Coding},
+      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
+      year={2019},
+      eprint={1807.03748},
+      archivePrefix={arXiv},
+      primaryClass={cs.LG},
+      url={https://arxiv.org/abs/1807.03748},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoints/checkpoint-10000/config.json

@@ -0,0 +1,45 @@
+{
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_activation": "silu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 0,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 3,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 384,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 160000.0,
+  "max_position_embeddings": 4096,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 10,
+  "pad_token_id": 2,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 3,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "transformers_version": "4.57.6",
+  "vocab_size": 32064
+}

checkpoints/checkpoint-10000/config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.3.0",
+    "transformers": "4.57.6",
+    "pytorch": "2.11.0+cu130"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoints/checkpoint-10000/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4f49ea496a8fe842fdc47b32badf0c052bf59ef73300b37a4b5c506da8478bbb
+size 125965616

checkpoints/checkpoint-10000/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoints/checkpoint-10000/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d44d8bf652377c91e523a62573c6ed05f3f4f8fe534e34d514df91609f06a9d8
+size 251973195

checkpoints/checkpoint-10000/rng_state_0.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9aaf4dc5967969e4dcdca300108e37d84f7ff801448ecda4fcb5c590ab1e208c
+size 14917

checkpoints/checkpoint-10000/rng_state_1.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:96a2affa4df8db80a17e33f21cf8da0b52912e59763c303478a133c78c502f7c
+size 14917

checkpoints/checkpoint-10000/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:be0d4d5ceed9a8042a07ca3a2fc5426cf3181eeec95b20752f90754b7d461eae
+size 1465

checkpoints/checkpoint-10000/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

checkpoints/checkpoint-10000/special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoints/checkpoint-10000/tokenizer_config.json

@@ -0,0 +1,569 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32000": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32001": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32002": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32003": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32004": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32005": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32006": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32007": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32008": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32009": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32010": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32011": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32012": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32013": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32014": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32015": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32016": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32017": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32018": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32019": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32020": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32021": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32022": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32023": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32024": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32025": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32026": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32027": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32028": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32029": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32030": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32031": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32032": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32033": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32034": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32035": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32036": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32037": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32038": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32039": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32040": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32041": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32042": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32043": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32044": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32045": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32046": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32047": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32048": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32049": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32050": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32051": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32052": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32053": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32054": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32055": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32056": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32057": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32058": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32059": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32060": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32061": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32062": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32063": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}

checkpoints/checkpoint-10000/trainer_state.json

@@ -0,0 +1,1474 @@
+{
+  "best_global_step": 10000,
+  "best_metric": 4.062871016729038,
+  "best_model_checkpoint": "outputs/bert-tiny-stage2-sbert/checkpoints/checkpoint-10000",
+  "epoch": 2.3651844843897822,
+  "eval_steps": 2000,
+  "global_step": 10000,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.011825922421948912,
+      "grad_norm": 37.789451599121094,
+      "learning_rate": 2.3173327027666118e-07,
+      "loss": 18.0314,
+      "step": 50
+    },
+    {
+      "epoch": 0.023651844843897825,
+      "grad_norm": 43.297508239746094,
+      "learning_rate": 4.6819579096713174e-07,
+      "loss": 17.7147,
+      "step": 100
+    },
+    {
+      "epoch": 0.035477767265846734,
+      "grad_norm": 36.56124496459961,
+      "learning_rate": 7.046583116576024e-07,
+      "loss": 17.0007,
+      "step": 150
+    },
+    {
+      "epoch": 0.04730368968779565,
+      "grad_norm": 34.428916931152344,
+      "learning_rate": 9.411208323480729e-07,
+      "loss": 16.0667,
+      "step": 200
+    },
+    {
+      "epoch": 0.05912961210974456,
+      "grad_norm": 33.16645812988281,
+      "learning_rate": 1.1775833530385434e-06,
+      "loss": 14.9131,
+      "step": 250
+    },
+    {
+      "epoch": 0.07095553453169347,
+      "grad_norm": 29.064250946044922,
+      "learning_rate": 1.4140458737290142e-06,
+      "loss": 13.9449,
+      "step": 300
+    },
+    {
+      "epoch": 0.08278145695364239,
+      "grad_norm": 31.42921257019043,
+      "learning_rate": 1.6505083944194847e-06,
+      "loss": 12.7957,
+      "step": 350
+    },
+    {
+      "epoch": 0.0946073793755913,
+      "grad_norm": 33.341365814208984,
+      "learning_rate": 1.8869709151099552e-06,
+      "loss": 11.7288,
+      "step": 400
+    },
+    {
+      "epoch": 0.10643330179754021,
+      "grad_norm": 36.34325408935547,
+      "learning_rate": 2.123433435800426e-06,
+      "loss": 10.6945,
+      "step": 450
+    },
+    {
+      "epoch": 0.11825922421948912,
+      "grad_norm": 39.06941604614258,
+      "learning_rate": 2.3598959564908965e-06,
+      "loss": 9.4743,
+      "step": 500
+    },
+    {
+      "epoch": 0.13008514664143803,
+      "grad_norm": 32.969947814941406,
+      "learning_rate": 2.596358477181367e-06,
+      "loss": 8.6215,
+      "step": 550
+    },
+    {
+      "epoch": 0.14191106906338694,
+      "grad_norm": 33.9212760925293,
+      "learning_rate": 2.8328209978718375e-06,
+      "loss": 7.7279,
+      "step": 600
+    },
+    {
+      "epoch": 0.15373699148533584,
+      "grad_norm": 32.65876007080078,
+      "learning_rate": 3.069283518562308e-06,
+      "loss": 7.1892,
+      "step": 650
+    },
+    {
+      "epoch": 0.16556291390728478,
+      "grad_norm": 29.210859298706055,
+      "learning_rate": 3.3057460392527786e-06,
+      "loss": 6.9682,
+      "step": 700
+    },
+    {
+      "epoch": 0.1773888363292337,
+      "grad_norm": 29.231189727783203,
+      "learning_rate": 3.5422085599432495e-06,
+      "loss": 6.4781,
+      "step": 750
+    },
+    {
+      "epoch": 0.1892147587511826,
+      "grad_norm": 28.949066162109375,
+      "learning_rate": 3.77867108063372e-06,
+      "loss": 6.1271,
+      "step": 800
+    },
+    {
+      "epoch": 0.2010406811731315,
+      "grad_norm": 29.826133728027344,
+      "learning_rate": 4.01513360132419e-06,
+      "loss": 6.1199,
+      "step": 850
+    },
+    {
+      "epoch": 0.21286660359508042,
+      "grad_norm": 27.585041046142578,
+      "learning_rate": 4.2515961220146615e-06,
+      "loss": 5.9544,
+      "step": 900
+    },
+    {
+      "epoch": 0.22469252601702933,
+      "grad_norm": 28.10279655456543,
+      "learning_rate": 4.488058642705131e-06,
+      "loss": 5.8145,
+      "step": 950
+    },
+    {
+      "epoch": 0.23651844843897823,
+      "grad_norm": 26.567943572998047,
+      "learning_rate": 4.7245211633956025e-06,
+      "loss": 5.5599,
+      "step": 1000
+    },
+    {
+      "epoch": 0.24834437086092714,
+      "grad_norm": 24.42616081237793,
+      "learning_rate": 4.960983684086072e-06,
+      "loss": 5.2344,
+      "step": 1050
+    },
+    {
+      "epoch": 0.26017029328287605,
+      "grad_norm": 25.857810974121094,
+      "learning_rate": 5.197446204776543e-06,
+      "loss": 5.3013,
+      "step": 1100
+    },
+    {
+      "epoch": 0.27199621570482496,
+      "grad_norm": 26.047733306884766,
+      "learning_rate": 5.433908725467014e-06,
+      "loss": 5.0562,
+      "step": 1150
+    },
+    {
+      "epoch": 0.28382213812677387,
+      "grad_norm": 26.875659942626953,
+      "learning_rate": 5.670371246157485e-06,
+      "loss": 4.8728,
+      "step": 1200
+    },
+    {
+      "epoch": 0.2956480605487228,
+      "grad_norm": 21.9539737701416,
+      "learning_rate": 5.906833766847954e-06,
+      "loss": 4.7826,
+      "step": 1250
+    },
+    {
+      "epoch": 0.3074739829706717,
+      "grad_norm": 23.06488609313965,
+      "learning_rate": 6.143296287538426e-06,
+      "loss": 4.8806,
+      "step": 1300
+    },
+    {
+      "epoch": 0.3192999053926206,
+      "grad_norm": 24.24974250793457,
+      "learning_rate": 6.379758808228896e-06,
+      "loss": 4.6464,
+      "step": 1350
+    },
+    {
+      "epoch": 0.33112582781456956,
+      "grad_norm": 22.658571243286133,
+      "learning_rate": 6.616221328919367e-06,
+      "loss": 4.7046,
+      "step": 1400
+    },
+    {
+      "epoch": 0.34295175023651847,
+      "grad_norm": 21.927656173706055,
+      "learning_rate": 6.852683849609837e-06,
+      "loss": 4.5188,
+      "step": 1450
+    },
+    {
+      "epoch": 0.3547776726584674,
+      "grad_norm": 24.39653778076172,
+      "learning_rate": 7.089146370300309e-06,
+      "loss": 4.4968,
+      "step": 1500
+    },
+    {
+      "epoch": 0.3666035950804163,
+      "grad_norm": 23.591333389282227,
+      "learning_rate": 7.325608890990778e-06,
+      "loss": 4.4387,
+      "step": 1550
+    },
+    {
+      "epoch": 0.3784295175023652,
+      "grad_norm": 24.572961807250977,
+      "learning_rate": 7.562071411681249e-06,
+      "loss": 4.1702,
+      "step": 1600
+    },
+    {
+      "epoch": 0.3902554399243141,
+      "grad_norm": 22.61821174621582,
+      "learning_rate": 7.79853393237172e-06,
+      "loss": 4.2147,
+      "step": 1650
+    },
+    {
+      "epoch": 0.402081362346263,
+      "grad_norm": 22.490327835083008,
+      "learning_rate": 8.03499645306219e-06,
+      "loss": 3.9972,
+      "step": 1700
+    },
+    {
+      "epoch": 0.4139072847682119,
+      "grad_norm": 23.695873260498047,
+      "learning_rate": 8.271458973752661e-06,
+      "loss": 4.1279,
+      "step": 1750
+    },
+    {
+      "epoch": 0.42573320719016083,
+      "grad_norm": 24.085838317871094,
+      "learning_rate": 8.507921494443131e-06,
+      "loss": 4.0214,
+      "step": 1800
+    },
+    {
+      "epoch": 0.43755912961210974,
+      "grad_norm": 20.78253173828125,
+      "learning_rate": 8.744384015133602e-06,
+      "loss": 3.9161,
+      "step": 1850
+    },
+    {
+      "epoch": 0.44938505203405865,
+      "grad_norm": 19.800090789794922,
+      "learning_rate": 8.980846535824072e-06,
+      "loss": 3.7544,
+      "step": 1900
+    },
+    {
+      "epoch": 0.46121097445600756,
+      "grad_norm": 22.900514602661133,
+      "learning_rate": 9.217309056514543e-06,
+      "loss": 3.8246,
+      "step": 1950
+    },
+    {
+      "epoch": 0.47303689687795647,
+      "grad_norm": 22.419363021850586,
+      "learning_rate": 9.453771577205015e-06,
+      "loss": 3.7991,
+      "step": 2000
+    },
+    {
+      "epoch": 0.47303689687795647,
+      "eval_runtime": 46.7005,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 5.98806651504585,
+      "step": 2000
+    },
+    {
+      "epoch": 0.4848628192999054,
+      "grad_norm": 22.308876037597656,
+      "learning_rate": 9.690234097895484e-06,
+      "loss": 3.8554,
+      "step": 2050
+    },
+    {
+      "epoch": 0.4966887417218543,
+      "grad_norm": 23.8614501953125,
+      "learning_rate": 9.926696618585954e-06,
+      "loss": 3.8123,
+      "step": 2100
+    },
+    {
+      "epoch": 0.5085146641438032,
+      "grad_norm": 21.00491714477539,
+      "learning_rate": 1.0163159139276425e-05,
+      "loss": 3.5525,
+      "step": 2150
+    },
+    {
+      "epoch": 0.5203405865657521,
+      "grad_norm": 25.555097579956055,
+      "learning_rate": 1.0399621659966897e-05,
+      "loss": 3.5591,
+      "step": 2200
+    },
+    {
+      "epoch": 0.532166508987701,
+      "grad_norm": 25.4840087890625,
+      "learning_rate": 1.0636084180657367e-05,
+      "loss": 3.6293,
+      "step": 2250
+    },
+    {
+      "epoch": 0.5439924314096499,
+      "grad_norm": 21.117971420288086,
+      "learning_rate": 1.0872546701347836e-05,
+      "loss": 3.5831,
+      "step": 2300
+    },
+    {
+      "epoch": 0.5558183538315988,
+      "grad_norm": 23.38995361328125,
+      "learning_rate": 1.1109009222038308e-05,
+      "loss": 3.6007,
+      "step": 2350
+    },
+    {
+      "epoch": 0.5676442762535477,
+      "grad_norm": 22.385738372802734,
+      "learning_rate": 1.1345471742728777e-05,
+      "loss": 3.4225,
+      "step": 2400
+    },
+    {
+      "epoch": 0.5794701986754967,
+      "grad_norm": 21.53306007385254,
+      "learning_rate": 1.158193426341925e-05,
+      "loss": 3.4405,
+      "step": 2450
+    },
+    {
+      "epoch": 0.5912961210974456,
+      "grad_norm": 22.93678092956543,
+      "learning_rate": 1.181839678410972e-05,
+      "loss": 3.4002,
+      "step": 2500
+    },
+    {
+      "epoch": 0.6031220435193945,
+      "grad_norm": 20.330045700073242,
+      "learning_rate": 1.2054859304800191e-05,
+      "loss": 3.3653,
+      "step": 2550
+    },
+    {
+      "epoch": 0.6149479659413434,
+      "grad_norm": 21.98198699951172,
+      "learning_rate": 1.2291321825490661e-05,
+      "loss": 3.321,
+      "step": 2600
+    },
+    {
+      "epoch": 0.6267738883632923,
+      "grad_norm": 18.49015998840332,
+      "learning_rate": 1.252778434618113e-05,
+      "loss": 3.3042,
+      "step": 2650
+    },
+    {
+      "epoch": 0.6385998107852412,
+      "grad_norm": 22.69803237915039,
+      "learning_rate": 1.2764246866871602e-05,
+      "loss": 3.2117,
+      "step": 2700
+    },
+    {
+      "epoch": 0.6504257332071902,
+      "grad_norm": 19.658132553100586,
+      "learning_rate": 1.3000709387562072e-05,
+      "loss": 3.3423,
+      "step": 2750
+    },
+    {
+      "epoch": 0.6622516556291391,
+      "grad_norm": 20.783931732177734,
+      "learning_rate": 1.3237171908252545e-05,
+      "loss": 3.2494,
+      "step": 2800
+    },
+    {
+      "epoch": 0.674077578051088,
+      "grad_norm": 17.039609909057617,
+      "learning_rate": 1.3473634428943014e-05,
+      "loss": 3.1364,
+      "step": 2850
+    },
+    {
+      "epoch": 0.6859035004730369,
+      "grad_norm": 21.787738800048828,
+      "learning_rate": 1.3710096949633484e-05,
+      "loss": 3.1836,
+      "step": 2900
+    },
+    {
+      "epoch": 0.6977294228949859,
+      "grad_norm": 20.883773803710938,
+      "learning_rate": 1.3946559470323956e-05,
+      "loss": 3.1268,
+      "step": 2950
+    },
+    {
+      "epoch": 0.7095553453169348,
+      "grad_norm": 17.700597763061523,
+      "learning_rate": 1.4183021991014425e-05,
+      "loss": 3.072,
+      "step": 3000
+    },
+    {
+      "epoch": 0.7213812677388837,
+      "grad_norm": 20.23262596130371,
+      "learning_rate": 1.4419484511704895e-05,
+      "loss": 3.0135,
+      "step": 3050
+    },
+    {
+      "epoch": 0.7332071901608326,
+      "grad_norm": 19.417842864990234,
+      "learning_rate": 1.4655947032395366e-05,
+      "loss": 3.0607,
+      "step": 3100
+    },
+    {
+      "epoch": 0.7450331125827815,
+      "grad_norm": 19.843341827392578,
+      "learning_rate": 1.4892409553085838e-05,
+      "loss": 3.0963,
+      "step": 3150
+    },
+    {
+      "epoch": 0.7568590350047304,
+      "grad_norm": 20.248523712158203,
+      "learning_rate": 1.5128872073776309e-05,
+      "loss": 3.0419,
+      "step": 3200
+    },
+    {
+      "epoch": 0.7686849574266793,
+      "grad_norm": 24.61260986328125,
+      "learning_rate": 1.5365334594466777e-05,
+      "loss": 2.9891,
+      "step": 3250
+    },
+    {
+      "epoch": 0.7805108798486282,
+      "grad_norm": 16.637826919555664,
+      "learning_rate": 1.560179711515725e-05,
+      "loss": 2.9384,
+      "step": 3300
+    },
+    {
+      "epoch": 0.7923368022705771,
+      "grad_norm": 24.341026306152344,
+      "learning_rate": 1.583825963584772e-05,
+      "loss": 2.8918,
+      "step": 3350
+    },
+    {
+      "epoch": 0.804162724692526,
+      "grad_norm": 18.246440887451172,
+      "learning_rate": 1.607472215653819e-05,
+      "loss": 2.9816,
+      "step": 3400
+    },
+    {
+      "epoch": 0.8159886471144749,
+      "grad_norm": 19.296022415161133,
+      "learning_rate": 1.631118467722866e-05,
+      "loss": 2.9664,
+      "step": 3450
+    },
+    {
+      "epoch": 0.8278145695364238,
+      "grad_norm": 19.331918716430664,
+      "learning_rate": 1.6547647197919134e-05,
+      "loss": 2.8969,
+      "step": 3500
+    },
+    {
+      "epoch": 0.8396404919583728,
+      "grad_norm": 25.586254119873047,
+      "learning_rate": 1.6784109718609602e-05,
+      "loss": 2.9368,
+      "step": 3550
+    },
+    {
+      "epoch": 0.8514664143803217,
+      "grad_norm": 19.701223373413086,
+      "learning_rate": 1.7020572239300073e-05,
+      "loss": 2.8513,
+      "step": 3600
+    },
+    {
+      "epoch": 0.8632923368022706,
+      "grad_norm": 16.68182945251465,
+      "learning_rate": 1.7257034759990545e-05,
+      "loss": 2.9808,
+      "step": 3650
+    },
+    {
+      "epoch": 0.8751182592242195,
+      "grad_norm": 19.592416763305664,
+      "learning_rate": 1.7493497280681013e-05,
+      "loss": 2.8428,
+      "step": 3700
+    },
+    {
+      "epoch": 0.8869441816461684,
+      "grad_norm": 20.324504852294922,
+      "learning_rate": 1.7729959801371484e-05,
+      "loss": 2.8775,
+      "step": 3750
+    },
+    {
+      "epoch": 0.8987701040681173,
+      "grad_norm": 19.49851417541504,
+      "learning_rate": 1.7966422322061955e-05,
+      "loss": 2.739,
+      "step": 3800
+    },
+    {
+      "epoch": 0.9105960264900662,
+      "grad_norm": 19.18546485900879,
+      "learning_rate": 1.8202884842752427e-05,
+      "loss": 2.8277,
+      "step": 3850
+    },
+    {
+      "epoch": 0.9224219489120151,
+      "grad_norm": 23.6113338470459,
+      "learning_rate": 1.8439347363442898e-05,
+      "loss": 2.767,
+      "step": 3900
+    },
+    {
+      "epoch": 0.934247871333964,
+      "grad_norm": 19.779712677001953,
+      "learning_rate": 1.8675809884133366e-05,
+      "loss": 2.794,
+      "step": 3950
+    },
+    {
+      "epoch": 0.9460737937559129,
+      "grad_norm": 23.361425399780273,
+      "learning_rate": 1.8912272404823837e-05,
+      "loss": 2.7738,
+      "step": 4000
+    },
+    {
+      "epoch": 0.9460737937559129,
+      "eval_runtime": 47.0317,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.773771009103065,
+      "step": 4000
+    },
+    {
+      "epoch": 0.9578997161778618,
+      "grad_norm": 18.137535095214844,
+      "learning_rate": 1.914873492551431e-05,
+      "loss": 2.8568,
+      "step": 4050
+    },
+    {
+      "epoch": 0.9697256385998108,
+      "grad_norm": 18.014116287231445,
+      "learning_rate": 1.9385197446204777e-05,
+      "loss": 2.7938,
+      "step": 4100
+    },
+    {
+      "epoch": 0.9815515610217597,
+      "grad_norm": 17.168569564819336,
+      "learning_rate": 1.9621659966895248e-05,
+      "loss": 2.7272,
+      "step": 4150
+    },
+    {
+      "epoch": 0.9933774834437086,
+      "grad_norm": 17.75269889831543,
+      "learning_rate": 1.985812248758572e-05,
+      "loss": 2.7079,
+      "step": 4200
+    },
+    {
+      "epoch": 1.0052034058656576,
+      "grad_norm": 19.342844009399414,
+      "learning_rate": 1.9976346756548995e-05,
+      "loss": 2.6383,
+      "step": 4250
+    },
+    {
+      "epoch": 1.0170293282876064,
+      "grad_norm": 17.54117774963379,
+      "learning_rate": 1.9917213647921473e-05,
+      "loss": 2.6855,
+      "step": 4300
+    },
+    {
+      "epoch": 1.0288552507095554,
+      "grad_norm": 18.412206649780273,
+      "learning_rate": 1.9858080539293952e-05,
+      "loss": 2.6568,
+      "step": 4350
+    },
+    {
+      "epoch": 1.0406811731315042,
+      "grad_norm": 18.794939041137695,
+      "learning_rate": 1.979894743066643e-05,
+      "loss": 2.5981,
+      "step": 4400
+    },
+    {
+      "epoch": 1.0525070955534532,
+      "grad_norm": 17.26803970336914,
+      "learning_rate": 1.973981432203891e-05,
+      "loss": 2.6987,
+      "step": 4450
+    },
+    {
+      "epoch": 1.064333017975402,
+      "grad_norm": 15.831737518310547,
+      "learning_rate": 1.968068121341139e-05,
+      "loss": 2.6992,
+      "step": 4500
+    },
+    {
+      "epoch": 1.076158940397351,
+      "grad_norm": 16.746700286865234,
+      "learning_rate": 1.962154810478387e-05,
+      "loss": 2.5434,
+      "step": 4550
+    },
+    {
+      "epoch": 1.0879848628192998,
+      "grad_norm": 18.824857711791992,
+      "learning_rate": 1.956241499615635e-05,
+      "loss": 2.5553,
+      "step": 4600
+    },
+    {
+      "epoch": 1.0998107852412489,
+      "grad_norm": 16.81246566772461,
+      "learning_rate": 1.9503281887528828e-05,
+      "loss": 2.4978,
+      "step": 4650
+    },
+    {
+      "epoch": 1.1116367076631977,
+      "grad_norm": 18.369991302490234,
+      "learning_rate": 1.9444148778901307e-05,
+      "loss": 2.5679,
+      "step": 4700
+    },
+    {
+      "epoch": 1.1234626300851467,
+      "grad_norm": 19.55158805847168,
+      "learning_rate": 1.938501567027379e-05,
+      "loss": 2.4768,
+      "step": 4750
+    },
+    {
+      "epoch": 1.1352885525070955,
+      "grad_norm": 20.673002243041992,
+      "learning_rate": 1.9325882561646268e-05,
+      "loss": 2.5578,
+      "step": 4800
+    },
+    {
+      "epoch": 1.1471144749290445,
+      "grad_norm": 17.067432403564453,
+      "learning_rate": 1.9266749453018747e-05,
+      "loss": 2.4758,
+      "step": 4850
+    },
+    {
+      "epoch": 1.1589403973509933,
+      "grad_norm": 22.328304290771484,
+      "learning_rate": 1.9207616344391226e-05,
+      "loss": 2.5352,
+      "step": 4900
+    },
+    {
+      "epoch": 1.1707663197729423,
+      "grad_norm": 15.121694564819336,
+      "learning_rate": 1.9148483235763708e-05,
+      "loss": 2.5023,
+      "step": 4950
+    },
+    {
+      "epoch": 1.1825922421948911,
+      "grad_norm": 15.201376914978027,
+      "learning_rate": 1.9089350127136187e-05,
+      "loss": 2.4713,
+      "step": 5000
+    },
+    {
+      "epoch": 1.1944181646168401,
+      "grad_norm": 20.54207992553711,
+      "learning_rate": 1.9030217018508665e-05,
+      "loss": 2.486,
+      "step": 5050
+    },
+    {
+      "epoch": 1.206244087038789,
+      "grad_norm": 16.934635162353516,
+      "learning_rate": 1.8971083909881144e-05,
+      "loss": 2.483,
+      "step": 5100
+    },
+    {
+      "epoch": 1.218070009460738,
+      "grad_norm": 16.963790893554688,
+      "learning_rate": 1.8911950801253623e-05,
+      "loss": 2.4098,
+      "step": 5150
+    },
+    {
+      "epoch": 1.2298959318826868,
+      "grad_norm": 16.505352020263672,
+      "learning_rate": 1.8852817692626102e-05,
+      "loss": 2.5061,
+      "step": 5200
+    },
+    {
+      "epoch": 1.2417218543046358,
+      "grad_norm": 16.634069442749023,
+      "learning_rate": 1.879368458399858e-05,
+      "loss": 2.4597,
+      "step": 5250
+    },
+    {
+      "epoch": 1.2535477767265846,
+      "grad_norm": 16.373046875,
+      "learning_rate": 1.8734551475371063e-05,
+      "loss": 2.4591,
+      "step": 5300
+    },
+    {
+      "epoch": 1.2653736991485336,
+      "grad_norm": 21.308876037597656,
+      "learning_rate": 1.867541836674354e-05,
+      "loss": 2.3879,
+      "step": 5350
+    },
+    {
+      "epoch": 1.2771996215704826,
+      "grad_norm": 20.565275192260742,
+      "learning_rate": 1.861628525811602e-05,
+      "loss": 2.4146,
+      "step": 5400
+    },
+    {
+      "epoch": 1.2890255439924314,
+      "grad_norm": 15.853353500366211,
+      "learning_rate": 1.85571521494885e-05,
+      "loss": 2.3418,
+      "step": 5450
+    },
+    {
+      "epoch": 1.3008514664143802,
+      "grad_norm": 13.12362003326416,
+      "learning_rate": 1.8498019040860978e-05,
+      "loss": 2.4307,
+      "step": 5500
+    },
+    {
+      "epoch": 1.3126773888363292,
+      "grad_norm": 19.059667587280273,
+      "learning_rate": 1.843888593223346e-05,
+      "loss": 2.3653,
+      "step": 5550
+    },
+    {
+      "epoch": 1.3245033112582782,
+      "grad_norm": 17.448827743530273,
+      "learning_rate": 1.837975282360594e-05,
+      "loss": 2.3995,
+      "step": 5600
+    },
+    {
+      "epoch": 1.336329233680227,
+      "grad_norm": 18.326887130737305,
+      "learning_rate": 1.8320619714978418e-05,
+      "loss": 2.4527,
+      "step": 5650
+    },
+    {
+      "epoch": 1.3481551561021758,
+      "grad_norm": 18.03122901916504,
+      "learning_rate": 1.8261486606350896e-05,
+      "loss": 2.4547,
+      "step": 5700
+    },
+    {
+      "epoch": 1.3599810785241249,
+      "grad_norm": 18.269872665405273,
+      "learning_rate": 1.820235349772338e-05,
+      "loss": 2.3695,
+      "step": 5750
+    },
+    {
+      "epoch": 1.3718070009460739,
+      "grad_norm": 16.90838623046875,
+      "learning_rate": 1.8143220389095857e-05,
+      "loss": 2.3341,
+      "step": 5800
+    },
+    {
+      "epoch": 1.3836329233680227,
+      "grad_norm": 18.816362380981445,
+      "learning_rate": 1.8084087280468336e-05,
+      "loss": 2.2412,
+      "step": 5850
+    },
+    {
+      "epoch": 1.3954588457899715,
+      "grad_norm": 17.30527687072754,
+      "learning_rate": 1.8024954171840815e-05,
+      "loss": 2.2695,
+      "step": 5900
+    },
+    {
+      "epoch": 1.4072847682119205,
+      "grad_norm": 18.299711227416992,
+      "learning_rate": 1.7965821063213297e-05,
+      "loss": 2.2922,
+      "step": 5950
+    },
+    {
+      "epoch": 1.4191106906338695,
+      "grad_norm": 18.047449111938477,
+      "learning_rate": 1.7906687954585773e-05,
+      "loss": 2.3176,
+      "step": 6000
+    },
+    {
+      "epoch": 1.4191106906338695,
+      "eval_runtime": 46.9839,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.305679076455633,
+      "step": 6000
+    },
+    {
+      "epoch": 1.4309366130558183,
+      "grad_norm": 20.608333587646484,
+      "learning_rate": 1.784755484595825e-05,
+      "loss": 2.281,
+      "step": 6050
+    },
+    {
+      "epoch": 1.4427625354777673,
+      "grad_norm": 16.299001693725586,
+      "learning_rate": 1.7788421737330734e-05,
+      "loss": 2.2155,
+      "step": 6100
+    },
+    {
+      "epoch": 1.4545884578997161,
+      "grad_norm": 17.70014762878418,
+      "learning_rate": 1.7729288628703212e-05,
+      "loss": 2.1908,
+      "step": 6150
+    },
+    {
+      "epoch": 1.4664143803216652,
+      "grad_norm": 13.944992065429688,
+      "learning_rate": 1.767015552007569e-05,
+      "loss": 2.2071,
+      "step": 6200
+    },
+    {
+      "epoch": 1.478240302743614,
+      "grad_norm": 18.37308692932129,
+      "learning_rate": 1.761102241144817e-05,
+      "loss": 2.2617,
+      "step": 6250
+    },
+    {
+      "epoch": 1.490066225165563,
+      "grad_norm": 16.624183654785156,
+      "learning_rate": 1.7551889302820652e-05,
+      "loss": 2.2864,
+      "step": 6300
+    },
+    {
+      "epoch": 1.5018921475875118,
+      "grad_norm": 15.490421295166016,
+      "learning_rate": 1.749275619419313e-05,
+      "loss": 2.2509,
+      "step": 6350
+    },
+    {
+      "epoch": 1.5137180700094608,
+      "grad_norm": 15.517704010009766,
+      "learning_rate": 1.743362308556561e-05,
+      "loss": 2.1227,
+      "step": 6400
+    },
+    {
+      "epoch": 1.5255439924314098,
+      "grad_norm": 14.78442096710205,
+      "learning_rate": 1.737448997693809e-05,
+      "loss": 2.1919,
+      "step": 6450
+    },
+    {
+      "epoch": 1.5373699148533586,
+      "grad_norm": 19.766271591186523,
+      "learning_rate": 1.7315356868310567e-05,
+      "loss": 2.2072,
+      "step": 6500
+    },
+    {
+      "epoch": 1.5491958372753074,
+      "grad_norm": 17.84695053100586,
+      "learning_rate": 1.725622375968305e-05,
+      "loss": 2.1652,
+      "step": 6550
+    },
+    {
+      "epoch": 1.5610217596972564,
+      "grad_norm": 17.325145721435547,
+      "learning_rate": 1.7197090651055528e-05,
+      "loss": 2.2224,
+      "step": 6600
+    },
+    {
+      "epoch": 1.5728476821192054,
+      "grad_norm": 19.243274688720703,
+      "learning_rate": 1.7137957542428007e-05,
+      "loss": 2.0715,
+      "step": 6650
+    },
+    {
+      "epoch": 1.5846736045411542,
+      "grad_norm": 17.589859008789062,
+      "learning_rate": 1.7078824433800486e-05,
+      "loss": 2.1693,
+      "step": 6700
+    },
+    {
+      "epoch": 1.596499526963103,
+      "grad_norm": 14.71687126159668,
+      "learning_rate": 1.7019691325172968e-05,
+      "loss": 2.1141,
+      "step": 6750
+    },
+    {
+      "epoch": 1.608325449385052,
+      "grad_norm": 14.723918914794922,
+      "learning_rate": 1.6960558216545443e-05,
+      "loss": 2.1129,
+      "step": 6800
+    },
+    {
+      "epoch": 1.620151371807001,
+      "grad_norm": 16.5570011138916,
+      "learning_rate": 1.6901425107917922e-05,
+      "loss": 2.1001,
+      "step": 6850
+    },
+    {
+      "epoch": 1.6319772942289499,
+      "grad_norm": 17.945083618164062,
+      "learning_rate": 1.6842291999290404e-05,
+      "loss": 2.094,
+      "step": 6900
+    },
+    {
+      "epoch": 1.6438032166508987,
+      "grad_norm": 18.704225540161133,
+      "learning_rate": 1.6783158890662883e-05,
+      "loss": 2.2176,
+      "step": 6950
+    },
+    {
+      "epoch": 1.6556291390728477,
+      "grad_norm": 15.701910018920898,
+      "learning_rate": 1.6724025782035362e-05,
+      "loss": 2.109,
+      "step": 7000
+    },
+    {
+      "epoch": 1.6674550614947967,
+      "grad_norm": 16.768260955810547,
+      "learning_rate": 1.666489267340784e-05,
+      "loss": 2.0537,
+      "step": 7050
+    },
+    {
+      "epoch": 1.6792809839167455,
+      "grad_norm": 17.835603713989258,
+      "learning_rate": 1.6605759564780323e-05,
+      "loss": 2.0328,
+      "step": 7100
+    },
+    {
+      "epoch": 1.6911069063386943,
+      "grad_norm": 18.1043701171875,
+      "learning_rate": 1.6546626456152802e-05,
+      "loss": 2.1541,
+      "step": 7150
+    },
+    {
+      "epoch": 1.7029328287606433,
+      "grad_norm": 14.032896995544434,
+      "learning_rate": 1.648749334752528e-05,
+      "loss": 2.0164,
+      "step": 7200
+    },
+    {
+      "epoch": 1.7147587511825924,
+      "grad_norm": 15.934415817260742,
+      "learning_rate": 1.642836023889776e-05,
+      "loss": 2.0225,
+      "step": 7250
+    },
+    {
+      "epoch": 1.7265846736045412,
+      "grad_norm": 15.602225303649902,
+      "learning_rate": 1.636922713027024e-05,
+      "loss": 2.0243,
+      "step": 7300
+    },
+    {
+      "epoch": 1.73841059602649,
+      "grad_norm": 15.584887504577637,
+      "learning_rate": 1.631009402164272e-05,
+      "loss": 2.0152,
+      "step": 7350
+    },
+    {
+      "epoch": 1.750236518448439,
+      "grad_norm": 17.52799415588379,
+      "learning_rate": 1.62509609130152e-05,
+      "loss": 2.0455,
+      "step": 7400
+    },
+    {
+      "epoch": 1.762062440870388,
+      "grad_norm": 15.92798900604248,
+      "learning_rate": 1.6191827804387678e-05,
+      "loss": 2.0026,
+      "step": 7450
+    },
+    {
+      "epoch": 1.7738883632923368,
+      "grad_norm": 14.851804733276367,
+      "learning_rate": 1.6132694695760157e-05,
+      "loss": 1.9846,
+      "step": 7500
+    },
+    {
+      "epoch": 1.7857142857142856,
+      "grad_norm": 15.551090240478516,
+      "learning_rate": 1.607356158713264e-05,
+      "loss": 1.9594,
+      "step": 7550
+    },
+    {
+      "epoch": 1.7975402081362346,
+      "grad_norm": 14.651620864868164,
+      "learning_rate": 1.6014428478505118e-05,
+      "loss": 2.0523,
+      "step": 7600
+    },
+    {
+      "epoch": 1.8093661305581836,
+      "grad_norm": 19.447086334228516,
+      "learning_rate": 1.5955295369877596e-05,
+      "loss": 1.9751,
+      "step": 7650
+    },
+    {
+      "epoch": 1.8211920529801324,
+      "grad_norm": 14.130012512207031,
+      "learning_rate": 1.5896162261250075e-05,
+      "loss": 1.9898,
+      "step": 7700
+    },
+    {
+      "epoch": 1.8330179754020812,
+      "grad_norm": 18.4505615234375,
+      "learning_rate": 1.5837029152622554e-05,
+      "loss": 1.9658,
+      "step": 7750
+    },
+    {
+      "epoch": 1.8448438978240302,
+      "grad_norm": 12.992496490478516,
+      "learning_rate": 1.5777896043995033e-05,
+      "loss": 1.9976,
+      "step": 7800
+    },
+    {
+      "epoch": 1.8566698202459793,
+      "grad_norm": 17.20708656311035,
+      "learning_rate": 1.571876293536751e-05,
+      "loss": 1.9939,
+      "step": 7850
+    },
+    {
+      "epoch": 1.868495742667928,
+      "grad_norm": 14.438339233398438,
+      "learning_rate": 1.5659629826739994e-05,
+      "loss": 1.9666,
+      "step": 7900
+    },
+    {
+      "epoch": 1.8803216650898769,
+      "grad_norm": 16.87125015258789,
+      "learning_rate": 1.5600496718112473e-05,
+      "loss": 1.9704,
+      "step": 7950
+    },
+    {
+      "epoch": 1.8921475875118259,
+      "grad_norm": 17.480026245117188,
+      "learning_rate": 1.554136360948495e-05,
+      "loss": 1.9822,
+      "step": 8000
+    },
+    {
+      "epoch": 1.8921475875118259,
+      "eval_runtime": 47.026,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.1330844767959665,
+      "step": 8000
+    },
+    {
+      "epoch": 1.903973509933775,
+      "grad_norm": 15.649256706237793,
+      "learning_rate": 1.548223050085743e-05,
+      "loss": 1.8534,
+      "step": 8050
+    },
+    {
+      "epoch": 1.9157994323557237,
+      "grad_norm": 17.02906608581543,
+      "learning_rate": 1.5423097392229912e-05,
+      "loss": 1.856,
+      "step": 8100
+    },
+    {
+      "epoch": 1.9276253547776725,
+      "grad_norm": 16.321977615356445,
+      "learning_rate": 1.536396428360239e-05,
+      "loss": 1.9817,
+      "step": 8150
+    },
+    {
+      "epoch": 1.9394512771996215,
+      "grad_norm": 21.492490768432617,
+      "learning_rate": 1.530483117497487e-05,
+      "loss": 1.9095,
+      "step": 8200
+    },
+    {
+      "epoch": 1.9512771996215705,
+      "grad_norm": 18.752315521240234,
+      "learning_rate": 1.524569806634735e-05,
+      "loss": 1.9343,
+      "step": 8250
+    },
+    {
+      "epoch": 1.9631031220435196,
+      "grad_norm": 17.007205963134766,
+      "learning_rate": 1.518656495771983e-05,
+      "loss": 1.95,
+      "step": 8300
+    },
+    {
+      "epoch": 1.9749290444654684,
+      "grad_norm": 16.75872230529785,
+      "learning_rate": 1.512743184909231e-05,
+      "loss": 1.9981,
+      "step": 8350
+    },
+    {
+      "epoch": 1.9867549668874172,
+      "grad_norm": 18.816049575805664,
+      "learning_rate": 1.5068298740464788e-05,
+      "loss": 1.8872,
+      "step": 8400
+    },
+    {
+      "epoch": 1.9985808893093662,
+      "grad_norm": 16.992637634277344,
+      "learning_rate": 1.5009165631837266e-05,
+      "loss": 1.8112,
+      "step": 8450
+    },
+    {
+      "epoch": 2.010406811731315,
+      "grad_norm": 16.72859001159668,
+      "learning_rate": 1.4950032523209746e-05,
+      "loss": 1.8451,
+      "step": 8500
+    },
+    {
+      "epoch": 2.0222327341532638,
+      "grad_norm": 15.676278114318848,
+      "learning_rate": 1.4890899414582225e-05,
+      "loss": 1.8918,
+      "step": 8550
+    },
+    {
+      "epoch": 2.034058656575213,
+      "grad_norm": 15.531780242919922,
+      "learning_rate": 1.4831766305954705e-05,
+      "loss": 1.7837,
+      "step": 8600
+    },
+    {
+      "epoch": 2.045884578997162,
+      "grad_norm": 17.246252059936523,
+      "learning_rate": 1.4772633197327184e-05,
+      "loss": 1.8692,
+      "step": 8650
+    },
+    {
+      "epoch": 2.057710501419111,
+      "grad_norm": 13.021443367004395,
+      "learning_rate": 1.4713500088699663e-05,
+      "loss": 1.8614,
+      "step": 8700
+    },
+    {
+      "epoch": 2.0695364238410594,
+      "grad_norm": 15.586688041687012,
+      "learning_rate": 1.4654366980072143e-05,
+      "loss": 1.8677,
+      "step": 8750
+    },
+    {
+      "epoch": 2.0813623462630084,
+      "grad_norm": 19.62430191040039,
+      "learning_rate": 1.4595233871444622e-05,
+      "loss": 1.8005,
+      "step": 8800
+    },
+    {
+      "epoch": 2.0931882686849574,
+      "grad_norm": 15.454833984375,
+      "learning_rate": 1.4536100762817103e-05,
+      "loss": 1.8008,
+      "step": 8850
+    },
+    {
+      "epoch": 2.1050141911069065,
+      "grad_norm": 16.70480728149414,
+      "learning_rate": 1.4476967654189581e-05,
+      "loss": 1.8207,
+      "step": 8900
+    },
+    {
+      "epoch": 2.116840113528855,
+      "grad_norm": 17.584407806396484,
+      "learning_rate": 1.4417834545562062e-05,
+      "loss": 1.7491,
+      "step": 8950
+    },
+    {
+      "epoch": 2.128666035950804,
+      "grad_norm": 17.367647171020508,
+      "learning_rate": 1.435870143693454e-05,
+      "loss": 1.8351,
+      "step": 9000
+    },
+    {
+      "epoch": 2.140491958372753,
+      "grad_norm": 15.521934509277344,
+      "learning_rate": 1.4299568328307021e-05,
+      "loss": 1.7934,
+      "step": 9050
+    },
+    {
+      "epoch": 2.152317880794702,
+      "grad_norm": 18.928241729736328,
+      "learning_rate": 1.42404352196795e-05,
+      "loss": 1.8162,
+      "step": 9100
+    },
+    {
+      "epoch": 2.1641438032166507,
+      "grad_norm": 16.490169525146484,
+      "learning_rate": 1.418130211105198e-05,
+      "loss": 1.8496,
+      "step": 9150
+    },
+    {
+      "epoch": 2.1759697256385997,
+      "grad_norm": 16.48432731628418,
+      "learning_rate": 1.412216900242446e-05,
+      "loss": 1.7747,
+      "step": 9200
+    },
+    {
+      "epoch": 2.1877956480605487,
+      "grad_norm": 11.924939155578613,
+      "learning_rate": 1.406303589379694e-05,
+      "loss": 1.7665,
+      "step": 9250
+    },
+    {
+      "epoch": 2.1996215704824977,
+      "grad_norm": 17.498945236206055,
+      "learning_rate": 1.4003902785169417e-05,
+      "loss": 1.789,
+      "step": 9300
+    },
+    {
+      "epoch": 2.2114474929044468,
+      "grad_norm": 15.384320259094238,
+      "learning_rate": 1.3944769676541896e-05,
+      "loss": 1.8264,
+      "step": 9350
+    },
+    {
+      "epoch": 2.2232734153263953,
+      "grad_norm": 13.456559181213379,
+      "learning_rate": 1.3885636567914376e-05,
+      "loss": 1.788,
+      "step": 9400
+    },
+    {
+      "epoch": 2.2350993377483444,
+      "grad_norm": 24.769336700439453,
+      "learning_rate": 1.3826503459286855e-05,
+      "loss": 1.7902,
+      "step": 9450
+    },
+    {
+      "epoch": 2.2469252601702934,
+      "grad_norm": 18.193721771240234,
+      "learning_rate": 1.3767370350659335e-05,
+      "loss": 1.8175,
+      "step": 9500
+    },
+    {
+      "epoch": 2.258751182592242,
+      "grad_norm": 16.10167121887207,
+      "learning_rate": 1.3708237242031814e-05,
+      "loss": 1.8042,
+      "step": 9550
+    },
+    {
+      "epoch": 2.270577105014191,
+      "grad_norm": 15.939582824707031,
+      "learning_rate": 1.3649104133404295e-05,
+      "loss": 1.7767,
+      "step": 9600
+    },
+    {
+      "epoch": 2.28240302743614,
+      "grad_norm": 17.35470199584961,
+      "learning_rate": 1.3589971024776774e-05,
+      "loss": 1.7099,
+      "step": 9650
+    },
+    {
+      "epoch": 2.294228949858089,
+      "grad_norm": 16.262712478637695,
+      "learning_rate": 1.3530837916149252e-05,
+      "loss": 1.7841,
+      "step": 9700
+    },
+    {
+      "epoch": 2.306054872280038,
+      "grad_norm": 13.716343879699707,
+      "learning_rate": 1.3471704807521733e-05,
+      "loss": 1.87,
+      "step": 9750
+    },
+    {
+      "epoch": 2.3178807947019866,
+      "grad_norm": 13.402505874633789,
+      "learning_rate": 1.3412571698894212e-05,
+      "loss": 1.7485,
+      "step": 9800
+    },
+    {
+      "epoch": 2.3297067171239356,
+      "grad_norm": 14.37375259399414,
+      "learning_rate": 1.3353438590266692e-05,
+      "loss": 1.8367,
+      "step": 9850
+    },
+    {
+      "epoch": 2.3415326395458846,
+      "grad_norm": 14.258302688598633,
+      "learning_rate": 1.3294305481639171e-05,
+      "loss": 1.7925,
+      "step": 9900
+    },
+    {
+      "epoch": 2.3533585619678337,
+      "grad_norm": 18.176448822021484,
+      "learning_rate": 1.3235172373011651e-05,
+      "loss": 1.9135,
+      "step": 9950
+    },
+    {
+      "epoch": 2.3651844843897822,
+      "grad_norm": 16.076860427856445,
+      "learning_rate": 1.317603926438413e-05,
+      "loss": 1.7746,
+      "step": 10000
+    },
+    {
+      "epoch": 2.3651844843897822,
+      "eval_runtime": 46.8576,
+      "eval_samples_per_second": 0.0,
+      "eval_steps_per_second": 0.0,
+      "eval_validation_loss": 4.062871016729038,
+      "step": 10000
+    }
+  ],
+  "logging_steps": 50,
+  "max_steps": 21140,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 2000,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 64,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoints/checkpoint-10000/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e569c6363f87232c2592f6816dc1525dfa57d0e811b17118ca7ae653e7552dbe
+size 6225