Mikael110/llama-2-13b-guanaco-fp16
Esta es una versión de Llama-2 de Guanaco. Fue ajustada a partir del modelo base Llama-13b utilizando los scripts de entrenamiento oficiales que se encuentran en el repositorio de QLoRA. Quería que fuera lo más fiel posible y por lo tanto no cambié nada en el script de entrenamiento más allá del modelo al que apuntaba. Por lo tanto, el prompt del modelo es también el mismo que el modelo original de Guanaco. Este repositorio contiene el modelo fusionado f16. El adaptador de QLoRA se puede encontrar aquí. Una versión de 7b del modelo se puede encontrar aquí. Descargo de responsabilidad legal: Este modelo está sujeto a las restricciones de uso del modelo Llama-2 original. Y no ofrece ninguna garantía o garantía de ningún tipo.
Como usar
Para usar este modelo, puedes utilizar las siguientes bibliotecas y frameworks:
from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
model_name = 'Mikael110/llama-2-13b-guanaco-fp16'
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
output = text_generator('I like you. I love you')
print(output)
Funcionalidades
- Ajustado a partir del modelo base Llama-13b
- Utiliza scripts de entrenamiento oficiales del repositorio de QLoRA
- Modelo de fusión f16
- Compatible con AutoTrain
- Compatible con inferencia de generación de texto
Casos de uso
- Clasificación de texto
- Generación de texto
- Inferencia en puntos finales dedicados