Atom-7B-Chat
FlagAlpha
Pregunta y respuesta
Atom-7B-Chat es un modelo de diálogo con 32k de longitud basado en Atom-7B, completamente de código abierto y comercializable, desarrollado conjuntamente por la comunidad Llama en chino y AtomEcho. Utiliza Llama2-7B y se ha entrenado con datos en chino a gran escala. Se proporcionarán actualizaciones continuas de los parámetros del modelo. El proceso de entrenamiento se puede encontrar en llama.family.
Como usar
Para usar este modelo, puede seguir los métodos detallados en el repositorio de GitHub de la comunidad Llama en chino: Llama-Chinese.
from transformers import AutoTokenizer, AutoModelForCausalLM
# Cargar el tokenizador y el modelo
model_name = 'FlagAlpha/Atom-7B-Chat'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# Tokenizar entrada
inputs = tokenizer('¿Dónde vivo?', return_tensors='pt')
# Generar respuesta
outputs = model.generate(**inputs)
# Decodificar y mostrar la respuesta
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Para el despliegue, puedes utilizar gráficos de consumo:
- Para una tarjeta gráfica 3080 (10G de VRAM), Atom-7B con INT8 solo necesita 8G de VRAM para su despliegue directo.
- Para una tarjeta gráfica 3080 (10G de VRAM), Atom-7B con INT4 solo necesita 5G de VRAM para su despliegue directo.
Funcionalidades
- Modelo de diálogo con 32k de longitud
- Completamente de código abierto y comercializable
- Desarrollado con datos en chino a gran escala
- Basado en Llama2-7B
- Capacidad de manejo de textos largos en chino
- Soporte para entrenamiento y ajuste fino continuo
Casos de uso
- Diálogos de múltiple ronda
- Preguntas y respuestas sobre conocimiento
- Resúmenes de textos largos
- Generación de texto en chino