Atom-7B
Atom-7B es un modelo de código abierto totalmente comercializable, desarrollado conjuntamente por la comunidad china de Llama y AtomEcho (Echo atómico). Basado en Llama2-7B, el modelo ha sido preentrenado con una gran cantidad de datos en chino y continuará recibiendo actualizaciones de parámetros. Los detalles sobre el despliegue, entrenamiento y ajuste fino del modelo se pueden encontrar en el repositorio de GitHub de la comunidad china de Llama. El modelo sobresale en procesamiento de texto en chino gracias a una optimización profunda del vocabulario, ampliando el conjunto de caracteres chinos y mejorando la eficiencia del codificado/decodificado de texto en aproximadamente un 350%. El modelo utiliza una estructura de red Transformer estándar del tipo solo decodificador y soporta una longitud de contexto de hasta 4K, lo que permite manejar interacciones y consultas de mayor longitud.
Como usar
Para el uso del modelo, se recomienda el siguiente enfoque en función del hardware disponible:
**Configuración de Inferencia:**
Para tarjetas gráficas de consumidor como la 3080 (10G de VRAM), Atom-7B en INT8 solo necesita 8G de VRAM para ser desplegado directamente. En INT4, necesita solo 5G de VRAM.
Para mayor información sobre cómo desplegar y entrenar el modelo, consulte la [comunidad GitHub de Llama-Chinese](https://github.com/Llama-Chinese).
Funcionalidades
- Código abierto y comercializable
- Preentrenado con una gran cantidad de datos en chino
- Optimización del vocabulario chino para mayor eficiencia
- Soporte para una longitud de contexto de hasta 4K
- Utilización de la tecnología FlashAttention-2
- NTK adaptación para ampliar el contexto sin necesidad de entrenamiento adicional
Casos de uso
- Procesamiento de texto en chino de alta calidad
- Consultas y respuestas de conocimiento
- Resumen de textos largos
- Interacciones conversacionales de múltiples rondas