Instalar Xinference en un clúster de Kubernetes.#

Basado en el método nativo de Helm#

Xinference proporciona un método de instalación basado en Helm nativo en el clúster de Kubernetes.

Condiciones previas#

  • Un clúster de Kubernetes disponible.

  • Habilitar el soporte de GPU en Kubernetes, consulte aquí.

  • Instale Helm correctamente.

Pasos específicos#

  1. Añadir el repositorio Helm de Xinference

    helm repo add xinference https://xorbitsai.github.io/xinference-helm-charts

  2. Actualizar el índice del repositorio y consultar la versión instalable.

    helm repo update xinference
helm search repo xinference/xinference --devel --versions

  3. Instalación

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version>

Instalación personalizada#

El método de instalación anterior instala un Xinference similar a una máquina independiente, es decir, solo un nodo, y el resto de los parámetros de inicio se mantienen por defecto.

A continuación, se muestran algunas configuraciones de instalación personalizada comunes.

  1. Necesito descargar el modelo desde ModelScope.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.model_src="modelscope"

  2. Quiero usar la imagen de Xinference para la versión de CPU (o la imagen de otras versiones).

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.xinference_image="<xinference_docker_image>"

  3. Necesito iniciar 4 nodos worker de Xinference, cada worker gestiona 4 GPUs.

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.worker_num=4 --set config.gpu_per_worker="4"

La forma de instalación anterior se basa en la opción --set de Helm. Para escenarios de instalación personalizada más complejos, como el almacenamiento compartido entre varios workers, se recomienda encarecidamente utilizar tu propio archivo values.yaml y luego instalarlo mediante la opción -f de Helm.

The default values.yaml file is located here. Some examples can be found here.

Basado en el método de terceros KubeBlocks#

También puedes instalar Xinference en un clúster de K8s a través del KubeBlocks de terceros. Este método no es mantenido oficialmente por Xinference, por lo que no se puede garantizar estrictamente las actualizaciones y la disponibilidad en tiempo real. Consulta la documentación.