Compare the Market

Compare the Market a publié le 6 mars 2026, par l'intermédiaire de son équipe d'ingénierie, une évaluation empirique comparant quatre stratégies de récupération de contexte pour la revue de code par IA, mesurées sur 79 merge requests réelles avec MLflow sur Databricks. Les quatre configurations étaient une base sans contexte ajouté, la RAG par recherche par embedding, le «GKG» (GitLab Knowledge Graph, construit sur un parsing AST via Tree-sitter et la base de données de graphe Kuzu), et un hybride GKG+RAG.

Le résultat qui donne son poids à l'étude est négatif : la RAG a fait moins bien que la base sur presque toutes les métriques, y compris la couverture des commentaires en ligne, la couverture des résumés et la précision des scores. L'équipe cite quatre causes : le bruit issu de la similarité vectorielle qui récupère du code simplement semblable en apparence, les faux positifs, l'absence de compréhension des relations inter-fichiers, et un effet de distraction qui induit le modèle en erreur. Le GKG a atteint 0,696 de couverture des commentaires en ligne contre 0,577 pour la RAG, soit un écart de 21 pour cent. La raison structurelle avancée est que la revue exige de savoir qui appelle une fonction et comment elle s'inscrit dans l'architecture, ce que capture un AST mais pas la similarité sémantique.

L'implémentation relevait du contournement : le GKG étant en bêta et non intégré à GitLab CI/CD, l'équipe a encapsulé son binaire dans un sidecar Docker qui indexe la base de code à chaque pipeline de merge request et expose l'outillage via un serveur «MCP» local. Le coût est 4 fois la base, contre 3 fois pour les résultats moins bons de la RAG.

Le cinquième épisode de la revue SDLC de SFEIR cite ceci comme un avertissement : un reviewer construit sur la RAG vectorielle dégrade la revue.