UlizaLlama
UlizaLlama es un modelo de lenguaje de 7 mil millones de parámetros que se basa en Jacaranda/kiswallama-pretrained. Jacaranda/kiswallama-pretrained es un modelo de lenguaje grande continuamente preentrenado con 321,530,045 tokens en swahili y un tokenizador personalizado con un vocabulario en swahili de 20,000 tokens para extender las capacidades de Meta/Llama2. Ofrece mejoras significativas tanto en codificación como en decodificación de texto en swahili, superando el rendimiento en swahili de Meta/Llama2. Además, Jacaranda/kiswallama-pretrained sobresale en proporcionar finalizaciones precisas de la siguiente palabra en swahili, una capacidad donde Meta/Llama2 queda corto.
Como usar
Para afinar UlizaLlama de acuerdo con tus casos de uso específicos usando LoRA o Q-LoRA, puedes explorar el cuaderno de demostración que hemos preparado para tu conveniencia.
Funcionalidades
- Adaptación del modelo Jacaranda/kiswallama-pretrained, continuamente preentrenado a partir del Meta/Llama2.
- Datos: Conjunto de datos instruccional en swahili e inglés compuesto por pares de pregunta-respuesta.
- Entrenamiento: Alineación con metodologías estándar, incorporación de cabezas centradas en tareas, optimización de pesos de la red neuronal mediante retropropagación y ajustes específicos de tareas.
- Afinamiento: Utilizó el enfoque LoRA, afinando dos matrices que reflejan la matriz principal de Jacaranda/kiswallama-pretrained.
Casos de uso
- Respuesta a preguntas dentro de dominios específicos.
- Capacidades de chat asistido: salud, agricultura, jurídico, educación, turismo y hospitalidad, servicios públicos, sectores financieros, comunicación, asistencia al cliente, comercio, etc.
- Resumen de textos.
- Finalización de texto autorregresiva.
- Generación de contenido.
- Reformulación de textos.
- Refinamiento y edición gramatical.
- Investigación adicional: El actual UlizaLlama está disponible como un modelo de 7 mil millones de parámetros. Se puede explorar la disponibilidad de variantes más grandes de UlizaLlama.