Chinese-Alpaca-Plus-13B-GPTQ
Este es un modelo cuantizado en formato GPTQ de 4 bits del modelo Chinese-LLaMA-Alpaca 13B de Yiming Cui. Es el resultado de la cuantización a 4 bits utilizando GPTQ-for-LLaMa. En un esfuerzo por promover la investigación abierta de grandes modelos en la comunidad de NLP china, este proyecto ha abierto el código del modelo Chinese LLaMA y el gran modelo Alpaca con instrucciones finamente ajustadas. Basado en el LLaMA original, estos modelos amplían el vocabulario chino y usan datos chinos para un pre-entrenamiento secundario, lo que mejora aún más la comprensión semántica básica del chino. Al mismo tiempo, el modelo Chinese Alpaca utiliza datos de instrucciones chinas para un ajuste fino, lo que mejora significativamente la capacidad del modelo para comprender y ejecutar instrucciones.
Como usar
Cómo descargar y usar fácilmente este modelo en text-generation-webui:
1. Abra la interfaz de usuario de text-generation-webui como de costumbre.
2. Haga clic en la pestaña Modelo.
3. En Descargar modelo personalizado o LoRA, ingrese rabitt/Chinese-Alpaca-Plus-13B-GPTQ.
4. Haga clic en Descargar.
5. Espere hasta que diga que ha terminado de descargar.
6. Haga clic en el icono de Actualizar junto a Modelo en la parte superior izquierda.
7. En el menú desplegable Modelo, elija el modelo que acaba de descargar, Chinese-Alpaca-Plus-13B-GPTQ.
8. Si ve un error como Error no file named pytorch_model.bin... en la parte inferior derecha, ignórelo, es temporal.
9. Rellene los parámetros de GPTQ a la derecha: Bits = 4, Groupsize = 128 y model_type = Llama.
10. Haga clic en Guardar configuración para este modelo en la parte superior derecha.
11. Haga clic en Recargar el modelo en la parte superior derecha.
12. Una vez que diga que está cargado, haga clic en la pestaña Generación de texto e ingrese un prompt.
Funcionalidades
- Cuantizado con GPTQ a 4 bits
- Ampliación del vocabulario chino
- Pre-entrenamiento secundario con datos chinos
- Mejora de la comprensión semántica del chino
- Ajuste fino con datos de instrucción china
Casos de uso
- Generación de texto
- Respuesta a preguntas
- Instrucciones de ajuste fino