Un champ de conversation connecté à une base vectorielle peut être construit rapidement. Le travail difficile commence lorsque la réponse doit être utilisée dans une décision réelle.
Le document doit rester une source
Un fichier, son texte OCR, son résumé et ses fragments de recherche ne sont pas la même chose. Le système doit conserver le lien entre chaque extrait et la page d’origine. Sans ce lien, une citation est seulement une décoration.
La recherche doit combiner plusieurs signaux
La recherche sémantique comprend bien un sujet général. Elle peut en revanche perdre un numéro de dossier, une date, un nom ou une référence exacte. Un système robuste combine généralement recherche sémantique, recherche lexicale et filtres structurés.
Le contexte doit être borné
Envoyer tous les documents au modèle augmente le coût et peut réduire la qualité. Un contexte explicite, limité et observable aide à comprendre pourquoi une source a été retenue.
Les incertitudes doivent être visibles
Une bonne interface ne présente pas chaque réponse comme certaine. Elle montre les sources utilisées, les documents manquants, les contradictions et les affirmations qui nécessitent une vérification humaine.
Le produit final n’est donc pas un chatbot. C’est un système de recherche, de preuve et de décision dans lequel le modèle de langage n’est qu’un composant.