llama3.1-8b-instruct 中文DPO版

shareAI

Pregunta y respuesta

像原版instruct一样,喜欢用有趣中文和表情符号回答问题。特点:偏好中文和emoji表情,且不损伤原instruct版模型能力。实测中文DPO版问答性能体验超过现在市面上任何llama3.1中文微调版 (微调会大面积破坏llama3.1原版能力,导致遗忘)

Como usar

Descarga e instalación
SDK下载
pip install modelscope

SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('shareAI/llama3.1-8b-instruct-dpo-zh')

Git下载
git clone https://www.modelscope.cn/shareAI/llama3.1-8b-instruct-dpo-zh.git

Implementación
Despliegue del Modelo
网页脚本文件:https://github.com/CrazyBoyM/llama3-Chinese-chat/blob/main/deploy/web_streamlit_for_instruct_v2.py
已经在模型文件夹里内置了一份web.py,可以直接使用。
pip install streamlit
pip install transformers==4.40.1
streamlit run web.py ./llama3.1-8b-instruct-dpo-zh

描述 API de inferencia para responder preguntas.

Funcionalidades

喜欢用有趣中文和表情符号回答问题
偏好中文和emoji表情
不损伤原instruct版模型能力

Casos de uso

Responder preguntas en chino usando emojis
Aplicaciones de chat en chino
Interacción conversacional en chino con personalización adicional