Compare the Market

Compare the Market publicó el 6 de marzo de 2026 una evaluación empírica de su equipo de ingeniería en la que compara cuatro estrategias de recuperación de contexto para la revisión de código con IA, medidas en 79 merge requests reales con MLflow sobre Databricks. Los cuatro brazos fueron una línea base sin contexto añadido, RAG mediante búsqueda por embeddings, «GKG» (GitLab Knowledge Graph, construido sobre el análisis AST con Tree-sitter y la base de datos de grafos Kuzu) y un híbrido GKG+RAG.

El hallazgo que da peso al estudio es negativo: RAG rindió peor que la línea base en casi todas las métricas, incluida la cobertura de comentarios en línea, la cobertura de resúmenes y la precisión de las puntuaciones. El equipo señala cuatro causas: ruido derivado de que la similitud vectorial recupera código que simplemente se parece, falsos positivos, ausencia de comprensión de las relaciones entre archivos y un efecto de distracción que induce a error al modelo. GKG alcanzó una cobertura de comentarios en línea de 0,696 frente a 0,577 de RAG, una diferencia del 21 por ciento. La razón estructural que se aporta es que la revisión requiere saber quién llama a una función y cómo se sitúa dentro de la arquitectura, algo que un AST capta y la similitud semántica no.

La implementación fue una solución provisional: dado que GKG está en beta y no está integrado en GitLab CI/CD, el equipo envolvió su binario en un sidecar Docker que indexa la base de código en cada pipeline de merge request y expone herramientas a través de un servidor «MCP» local. El coste es 4 veces la línea base, frente a 3 veces para los peores resultados de RAG.

El quinto episodio de revisión del SDLC de SFEIR cita esto como una advertencia: un revisor construido sobre RAG vectorial degrada la revisión.