Mettre un pipeline RAG en production sans se brûler

Construire un agent RAG sur un notebook est relativement simple. Le mettre en production avec des exigences de disponibilité, de sécurité et de coût est une autre discipline.

1. Le choix de l'index vectoriel

pgvector est souvent suffisant jusqu'à plusieurs millions de chunks. Il évite d'introduire un service de plus dans l'infra, simplifie les sauvegardes et garde la gouvernance des données dans PostgreSQL.

2. Les garde-fous métiers

Un LLM brut hallucinera. Nous combinons : filtres de pertinence (cosine threshold), validation par schéma Pydantic en sortie, et escalade humaine déclenchée par un score de confiance bas.

3. Latence et coût

Le cache des embeddings, le regroupement des requêtes vectorielles et le recours à des modèles plus petits pour les questions simples permettent de réduire les coûts et la latence.