FlagAlpha/Llama2-Chinese-13b-Chat-4bit
FlagAlpha
Pregunta y respuesta
El modelo FlagAlpha/Llama2-Chinese-13b-Chat-4bit es una versión ajustada de Llama2 para la generación de texto y respuesta a preguntas en chino. Dado que Llama2 originalmente tenía una alineación débil para el chino, este modelo ha sido ajustado utilizando un conjunto de instrucciones en chino para mejorar significativamente su capacidad de diálogo en este idioma. Este modelo ha sido cuantificado a 4 bits para su uso directo.
Como usar
Uso del modelo
from transformers import AutoModelForCausalLM, AutoTokenizer
# Cargar el tokenizador y el modelo
model_name = 'FlagAlpha/Llama2-Chinese-13b-Chat-4bit'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# Ejemplo de generación de texto
input_text = '我住在哪里?'
inputs = tokenizer(input_text, return_tensors='pt')
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))
El modelo también es accesible a través de endpoints de inferencia y está disponible para pruebas en línea en llama.family.
Funcionalidades
- Generación de texto
- Respuesta a preguntas
- Compatible con AutoTrain
- Compatible con Inference Endpoints
- Modelo cuantificado a 4 bits
Casos de uso
- Diálogo en chino
- Asistentes virtuales
- Automatización del servicio al cliente
- Generación de contenido en chino