Ejemplo: Chatbot de PDF 📚#

Descripción:

Este ejemplo muestra cómo construir un chatbot de PDF utilizando un LLM local y un modelo de embedding.

Tecnología involucrada:

@ Xinference como servicio de alojamiento de modelos LLM

@ LlamaIndex se utiliza para orquestar todo el pipeline de RAG.

@ Streamlit se utiliza para la interfaz de usuario interactiva.

Explicación detallada sobre las funciones de demostración:

  • Se ha creado un Dockerfile que simplifica el proceso de implementación mediante Docker y garantiza que sea fácil de reproducir.

  • Usa Xinference para levantar los modelos LLM y embedding, y expón dos puertos para acceder a ellos.

  • Implementación de carga de archivos sin interrupciones e interacción de comunicación con el motor de chat utilizando Streamlit.

  • La velocidad de embedding de documentos es 5 veces más rápida que la API de OpenAI.

  • Aproveche el poder de GGML para ejecutar el modelo en la GPU, garantizando aceleración y reducción del tiempo de espera para la respuesta.

Código fuente