Install from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XL# Run inference directly in the terminal:
llama-cli -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XLUse pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XL# Run inference directly in the terminal:
./llama-cli -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XLBuild from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XL# Run inference directly in the terminal:
./build/bin/llama-cli -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XLUse Docker
docker model run hf.co/NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XL
Neve-Prism-3-12B-GGUF
Introdução
O Neve Prism 3 é um modelo de linguagem de última geração focado em visão para análise de imagens em alta precisão. Esta versão em formato GGUF foi otimizada pela NeveAI para oferecer o equilíbrio ideal entre precisão lógica e eficiência computacional.
Destaques do Modelo
Este modelo foi desenvolvido para uso geral e execução de tarefas diversas, focando em:
- Treinamento de Alta Escala (JAX + Pathways): Construído com infraestrutura moderna que permite treinamento eficiente e altamente escalável em múltiplos dispositivos.
- Raciocínio e Factualidade: Forte desempenho em tarefas de compreensão, lógica e conhecimento geral.
- Multimodalidade: Capaz de lidar com tarefas envolvendo texto e visão, incluindo compreensão de documentos, imagens e dados estruturados.
- Generalização Multitarefa: Projetado como modelo foundation, com capacidade de adaptação a múltiplos domínios e tipos de tarefa.
Benchmark de Performance
O Neve Prism 3 apresenta desempenho consistente em benchmarks de raciocínio, STEM e multimodalidade:
| Categoria | Benchmark | Neve Prism 3 | Gemma 3 4B |
|---|---|---|---|
| Reasoning | HellaSwag | 84.2 | 77.2 |
| Knowledge | TriviaQA | 78.2 | 65.8 |
| Reasoning | BIG-Bench Hard | 72.6 | 50.9 |
| Math | GSM8K | 82.6 | 71.0 |
| STEM | MMLU | 74.5 | 59.6 |
| Coding | HumanEval | 48.8 | 45.7 |
| Multilingual | Global-MMLU-Lite | 69.4 | 57.0 |
| Multimodal | MMMU | 50.3 | 39.2 |
Detalhes da Arquitetura
- Arquitetura: Transformer multimodal otimizado para foundation tasks.
- Treinamento: JAX + ML Pathways (orquestração distribuída em larga escala).
- Parâmetros: Classe média-alta (escalável entre diferentes tamanhos).
- Foco: Raciocínio, conhecimento factual e tarefas multimodais.
- Capacidades: Suporte a texto, visão e tarefas complexas de múltiplos domínios.
Como utilizar (GGUF)
Este modelo é compatível com llama.cpp, Ollama, LM Studio e outras ferramentas que suportam o formato GGUF.
Foco direcionado ao uso do modelo na plataforma autoral da organização NeveAI
Licença
Este repositório e os pesos do modelo estão licenciados sob a Licença Apache 2.0.
Contato
Se tiver qualquer dúvida, por favor, levante um issue ou entre em contato conosco em NeveIA.
- Downloads last month
- 51
5-bit
Install from brew
# Start a local OpenAI-compatible server with a web UI: llama-server -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XL# Run inference directly in the terminal: llama-cli -hf NeveAI/Neve-Prism-3-12B-GGUF:Q5_K_XL