Llama2-70b-Guanaco-QLoRA-fp16

TheBloke

Clasificación de texto

Modelo Llama2-70b Guanaco QLoRA en formato fp16 de TheBloke. Este modelo se ha convertido y/o fusionado desde el repositorio original al formato float16 para facilitar la inferencia en GPU.

Como usar

### Humano: {prompt}
### Asistente:

Para soporte adicional y discusiones sobre estos modelos y la IA en general, únete al servidor de Discord de TheBloke AI.
Patreon: https://patreon.com/TheBlokeAI
Ko-Fi: https://ko-fi.com/TheBlokeAI

Funcionalidades

Modelos GPTQ para inferencia en GPU, con múltiples opciones de parámetros de cuantización.
Modelos GGML de 2, 3, 4, 5, 6 y 8 bits para inferencia en CPU+GPU.
Modelo fusionado en formato fp16 para inferencia en GPU y futuras conversiones.
Adaptador QLoRA original de Mikael110.

Casos de uso

Clasificación de texto.
Generación de texto.
Investigaciones y proyectos de IA personalizados.
Supporta la creación de proyectos de IA novedosos, como ajustes finos y el entrenamiento.