¡Bienvenido a Xinference!#
Xorbits Inference (Xinference) es una plataforma de código abierto diseñada para simplificar la ejecución e integración de varios modelos de IA. Con Xinference, puede ejecutar inferencias en entornos en la nube o locales utilizando cualquier LLM de código abierto, modelos de incrustación y modelos multimodales, y crear potentes aplicaciones de IA.
Usar Xinference para desarrollar aplicaciones de IA en escenarios reales.#
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
# Chat to LLM
model.chat(
messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
generate_config={"max_tokens": 1024}
)
# Chat to VL model
model.chat(
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What’s in this image?"},
{
"type": "image_url",
"image_url": {
"url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
},
},
],
}
],
generate_config={"max_tokens": 1024}
)
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.create_embedding("What is the capital of China?")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_image("An astronaut walking on the mars")
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
with open("speech.mp3", "rb") as audio_file:
model.transcriptions(audio_file.read())
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
query = "A man is eating pasta."
corpus = [
"A man is eating food.",
"A man is eating a piece of bread.",
"The girl is carrying a baby.",
"A man is riding a horse.",
"A woman is playing violin."
]
print(model.rerank(corpus, query))
from xinference.client import Client
client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")
model.text_to_video("")
Guía de inicio#
Instalar Xinference en Linux, Windows y macOS.
Primero, ejecuta Xinference en la máquina local.
Explora los diversos modelos compatibles con Xinference.
Registra los pesos del modelo y conviértelos en API.
Explorar la API#
Aprende a chatear con LLM en Xinference.
Aprende a conectar LLM con herramientas externas.
Aprende cómo crear incrustaciones de texto en Xinference.
Aprende a usar modelos de reordenación en Xinference.
Aprende a usar Xinference para generar imágenes.
Aprende a usar LLM para procesar imágenes y audio.
Aprende a usar Xinference para convertir audio a texto o texto a audio.
Aprende cómo usar Xinference para generar videos.
Comprende cómo usar Xinference para inferir modelos tradicionales de aprendizaje automático.
Participe con nosotros#
Últimas noticias
Síguenos en Twitter
Solicitar ayuda
Comunidad de Discord
Únete al grupo de Telegram
Abrir un issue en Github
contribución
Envía un PR en Github