Instalación en Ascend NPU

Xinference puede ejecutarse en la NPU Ascend. Utilice el siguiente comando para instalarlo.

Advertencia

La versión de código abierto depende de Transformers para la inferencia, lo que puede provocar problemas de rendimiento lento en chips como el 310p3. Ofrecemos una versión empresarial que admite el motor MindIE, con un rendimiento más potente y mejor compatibilidad para Ascend NPU. Para más detalles, consulte Xinference Empresarial.

Instalar PyTorch y la extensión Ascend

Instale la versión CPU de PyTorch y la extensión correspondiente de Ascend.

Con PyTorch v2.1.0 como ejemplo.

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

A continuación, instale la Extensión de PyTorch para Ascend.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

Ejecute el siguiente comando para verificar. Si funciona correctamente, imprimirá el número de NPU Ascend.

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

Instalar Xinference

pip3 install xinference

Ahora puedes consultar la documentación para usar Xinference. Transformers es el único motor de código abierto compatible con Ascend NPU.

Soporte empresarial

Si encuentra algún problema de rendimiento u otro en la NPU Ascend, le invitamos a consultar la edición empresarial de Xinference. Contáctenos aquí.