model#

Lista de modelos#

Puedes listar todos los modelos de un tipo determinado que se pueden iniciar en Xinference.

xinference registrations --model-type <MODEL_TYPE> \
                         [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

Xinference es compatible con los siguientes MODEL_TYPE:

LLM

Modelo de generación de texto o modelo de lenguaje grande

Gran modelo de lenguaje
embedding

Modelo de incrustación de texto

Modelo de incrustación
image

Modelo de generación o procesamiento de imágenes

Modelo de imagen
audio

Modelo de audio

Modelo de audio
rerank

Modelo de reordenamiento

Modelo de reordenamiento
video

Modelo de video

Modelo de video
modelo flexible

Modelo flexible (modelo de aprendizaje automático tradicional)

Modelos de aprendizaje automático tradicional (experimentales)

Puedes ver todos los modelos integrados compatibles con Xinference en :ref:`aquí <models_builtin_index>`. Si el modelo que necesitas no está disponible, Xinference también te permite registrar tu propio :ref:`modelo personalizado <models_custom>`.

Iniciar y detener el modelo#

A cada instancia de modelo en ejecución se le asignará un uid de modelo único. Por defecto, el uid del modelo es igual al nombre del modelo. Este ID es el identificador para usar posteriormente la instancia del modelo, y la opción --model-uid del comando de inicio permite especificarlo manualmente.

Puedes iniciar un modelo a través de la línea de comandos o del cliente Python de Xinference.

xinference launch --model-name <MODEL_NAME> \
                  [--model-engine <MODEL_ENGINE>] \
                  [--model-type <MODEL_TYPE>] \
                  [--model-uid <MODEL_UID>] \
                  [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

Para el tipo de modelo LLM, iniciar el modelo no solo requiere especificar el nombre del modelo, sino también el tamaño de los parámetros, el formato del modelo y el motor del modelo. Consulte la documentación Gran modelo de lenguaje.

El siguiente comando puede listar los modelos en ejecución en Xinference:

xinference list [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

Cuando ya no necesites el modelo que se está ejecutando actualmente, libera los recursos que ocupa de la siguiente manera:

xinference terminate --model-uid "<MODEL_UID>" [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

Nota

Para modelos que ya no reciben mantenimiento y dependen de bibliotecas antiguas (como transformers), se recomienda habilitar la función espacio virtual del modelo para garantizar que puedan ejecutarse correctamente en un entorno compatible.

Modelo en uso#

Chat & Generar

Aprende a chatear con LLM en Xinference.

Chat & Generar
herramienta

Aprende cómo conectar LLMs con herramientas externas.

Herramienta
Incrustación

Aprenda a crear incrustaciones de texto en Xinference.

Insertar
Reordenamiento

Aprende cómo usar modelos de reordenamiento en Xinference.

Reordenamiento
Imagen

Aprende a usar Xinference para generar imágenes.

imagen
Multimodal

Aprende a usar LLM para procesar imágenes y audio.

Multimodal
audio

Aprende a usar Xinference para convertir audio a texto o texto a audio.

audio
vídeo

Aprende a usar Xinference para generar videos.

Vídeo (experimental)
modelo flexible

Comprende cómo usar Xinference para inferir modelos tradicionales de aprendizaje automático.

Modelos de aprendizaje automático tradicional (experimentales)