EnViT5-base

Para más detalles, consulte nuestro repositorio de Github. Ejemplos de ajuste fino se pueden encontrar aquí.

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("VietAI/envit5-base")
model = AutoModelForSeq2SeqLM.from_pretrained("VietAI/envit5-base")
model.cuda()

# Necesita prefijo para oraciones en: vi: y en: 
inputs = [
"vi: VietAI es una organización sin fines de lucro con la misión de cultivar talentos en inteligencia artificial y construir una comunidad de expertos en el campo de la inteligencia artificial de clase mundial en Vietnam.",
"vi: Según el último informe de Linkedin sobre la lista de trabajos prometedores con salarios atractivos para el año 2020, los títulos de trabajos relacionados con la IA, como Especialista en Inteligencia Artificial (Artificial Intelligence Specialist) e Ingeniero de Aprendizaje Automático (Machine Learning Engineer), se ubican en posiciones altas.",
"en: Nuestros equipos aspiran a hacer descubrimientos que impacten a todos, y la clave de nuestro enfoque es compartir nuestra investigación y herramientas para impulsar el progreso en el campo.",
"en: Estamos en un viaje para avanzar y democratizar la inteligencia artificial a través de código abierto y ciencia abierta."
]

outputs = model.generate(tokenizer(inputs, return_tensors="pt", padding=True).input_ids.to('cuda'), max_length=512)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))