概要

Imatrixにはneody/imatrix_datasetを使用しました。

fineweb-edu(英語)とfineweb-2(日本語)からランダムに125件ずつ抽出したデータです。

wikitext2やcc100などを用いた従来のimatrixデータセットと比較してより高精度が維持できることが期待できるかもしれません。

より低いbitは精度維持が困難であるため作成しておりません。

使用方法

ollama run hf.co/neody/sarashina2.2-3b-instruct-v0.1-gguf:Q5_K_M

GGUF

Model size

3B params

Architecture

llama

Hardware compatibility

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

16-bit

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Base model

Finetuned

Quantized

(18)

this model