Instructions to use SemplificaAI/gliner2-multi-v1-onnx with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- GLiNER
How to use SemplificaAI/gliner2-multi-v1-onnx with GLiNER:
from gliner import GLiNER model = GLiNER.from_pretrained("SemplificaAI/gliner2-multi-v1-onnx") - Notebooks
- Google Colab
- Kaggle
Upload folder using huggingface_hub
Browse files- .gitattributes +1 -0
- fp16/README.md +16 -0
- fp16/classifier_fp16.onnx +3 -0
- fp16/count_lstm_fp16.onnx +3 -0
- fp16/count_pred_fp16.onnx +3 -0
- fp16/encoder_fp16.onnx +3 -0
- fp16/span_rep_fp16.onnx +3 -0
- fp16/tokenizer.json +3 -0
.gitattributes
CHANGED
|
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
|
| 33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
| 34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
| 35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
| 33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
| 34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
| 35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
| 36 |
+
fp16/tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
fp16/README.md
ADDED
|
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# GLiNER2-multi-v1 (FP16 ONNX)
|
| 2 |
+
|
| 3 |
+
## Modello Base
|
| 4 |
+
Questo folder contiene i frammenti ONNX esportati dal modello base originale **`fastino/gliner2-multi-v1`**.
|
| 5 |
+
Il modello è stato convertito in precisione dimezzata (**FP16**) per ottimizzare l'uso della memoria e massimizzare le prestazioni di inferenza su NPU (Qualcomm) e GPU (CUDA).
|
| 6 |
+
|
| 7 |
+
## Struttura dei Frammenti
|
| 8 |
+
Data la natura dinamica di GLiNER2, il modello è suddiviso in 5 componenti indipendenti per aggirare i limiti del grafo statico ONNX:
|
| 9 |
+
1. `encoder_fp16.onnx`: Encoder contestuale (DeBERTa-v3-base).
|
| 10 |
+
2. `span_rep_fp16.onnx`: Layer per la rappresentazione degli span estratti.
|
| 11 |
+
3. `count_pred_fp16.onnx`: Predizione del conteggio delle entità.
|
| 12 |
+
4. `count_lstm_fp16.onnx`: Rete ricorrente (LSTM) per l'allineamento dei prompt.
|
| 13 |
+
5. `classifier_fp16.onnx`: Rete feed-forward finale per il calcolo della similarità.
|
| 14 |
+
|
| 15 |
+
## Compatibilità
|
| 16 |
+
Questi pesi sono testati e compatibili al 100% con il motore nativo in Rust (`gliner2-rs`).
|
fp16/classifier_fp16.onnx
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:1e10c9b829c03d7e6cd1800532ad31e8d5c1cbb17943bd715ee7f04d5e0040f0
|
| 3 |
+
size 2367029
|
fp16/count_lstm_fp16.onnx
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:327f0846b1be38b6d5495c37668462f6975bc1189740e5f0341666c8cd77f056
|
| 3 |
+
size 21318434
|
fp16/count_pred_fp16.onnx
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:691f8f69a18d67fd3563d11c6f207e79b8b94ba3bbfd90f6e034ad68e725b801
|
| 3 |
+
size 2424971
|
fp16/encoder_fp16.onnx
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:7bc376d564e3343a87653e89319c14aded7c996b42a3987756871def891f0ed7
|
| 3 |
+
size 556400395
|
fp16/span_rep_fp16.onnx
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:5367caed0ec24940cb9b070c21b9110bf9918579de8578c210f64c4517a0a2a8
|
| 3 |
+
size 33071798
|
fp16/tokenizer.json
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:a1c7ccb287623cccb7c03150953b6d2a09dd95122933393c9151c3a60095c97e
|
| 3 |
+
size 16337353
|