Ejemplo: Chatbot de línea de comandos 🤖️#

Descripción:

Demostrar cómo interactuar con Xinference, utilizando la función de chat basada en LLM en la línea de comandos para interactuar con agentes de IA. 💻

Tecnología involucrada:

@ ggerganov ggml

@ Xinference como plataforma

Todos los modelos LLaMA y Chatglm compatibles con Xinference Inference.

Descripción detallada sobre la función de demostración:

  1. Acepta la entrada de línea de comandos del usuario en la terminal y obtiene los parámetros necesarios para iniciar el modelo.

  2. Inicia el framework Xinference y despliega automáticamente el modelo solicitado por el usuario en el clúster.

  3. Inicializar un historial de chat vacío para almacenar todo el contexto de la sala de chat.

  4. Solicita recursivamente la entrada del usuario como indicación, permitiendo que el modelo genere una respuesta basada en la indicación y el historial de chat. Muestra la salida de la respuesta en la terminal.

  5. Almacena las entradas del usuario y las respuestas del agente en el historial de chat, como contexto para las próximas rondas de conversación.

Código fuente