Guía de inicio

• Instalación
  • Transformers engine
  • El motor vLLM
  • Llama.cpp engine
  • El motor SGLang
  • Motor MLX
  • Otras plataformas
• Use
  • Ejecuta Xinference localmente.
  • Despliegue de Xinference en clúster
  • Despliegue de Xinference usando Docker
  • Más
• Registro
  • nivel de registro
  • Archivo de registro
  • Environment Variables
• Imagen de Docker
  • Preparación
  • Imagen de Docker
  • Imagen personalizada
  • Usa el espejo
  • Montar el directorio del modelo
• Instalar Xinference en un clúster de Kubernetes.
  • Basado en el método nativo de Helm
  • Basado en el método de terceros KubeBlocks
• Solución de problemas
  • No tienes permisos para el repositorio de Hugging Face.
  • Controlador de NVIDIA y versión de PyTorch no coinciden
  • El sistema externo no puede acceder al servicio Xinference a través de <IP>:9997.
  • Iniciar el modelo integrado requiere mucho tiempo, y a veces la descarga del modelo falla.
  • Cuando se utiliza la imagen oficial de Docker, RayWorkerVllm muere por OOM, lo que impide cargar el modelo.
  • Al cargar el modelo LLM se solicita el parámetro faltante model_engine.
  • Resolución de conflictos en la capa de hilos de MKL
  • Configurar el espejo de PyPI para acelerar la instalación de paquetes
  • Fallo al instalar Xinference 1.12.0 usando uv (hasta noviembre de 2025)
  • vLLM + Torch + Xinference problema de compatibilidad (fallo de segmentación)
• Variables de entorno
  • XINFERENCE_ENDPOINT
  • XINFERENCE_MODEL_SRC
  • XINFERENCE_HOME
  • XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD
  • XINFERENCE_HEALTH_CHECK_INTERVAL
  • XINFERENCE_HEALTH_CHECK_TIMEOUT
  • XINFERENCE_DISABLE_HEALTH_CHECK
  • XINFERENCE_DISABLE_METRICS
  • XINFERENCE_DOWNLOAD_MAX_ATTEMPTS
  • XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE
  • XINFERENCE_SSE_PING_ATTEMPTS_SECONDS
  • XINFERENCE_MAX_TOKENS
  • XINFERENCE_ALLOWED_IPS
  • XINFERENCE_BATCH_SIZE
  • XINFERENCE_BATCH_INTERVAL
  • XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU
  • XINFERENCE_LAUNCH_STRATEGY
  • XINFERENCE_MAX_CONCURRENT_LAUNCHES
  • XINFERENCE_ENABLE_VIRTUAL_ENV
  • XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED
  • XINFERENCE_CSG_TOKEN
  • XINFERENCE_CSG_ENDPOINT
  • XINFERENCE_QWEN3_RERANK_TEMPLATE
  • XINFERENCE_LAUNCH_HISTORY_DB_PATH
• Notas de la versión