Por Qué los Prototipos de RAG Fallan al Llegar a los Usuarios Reales
Construir una demostración de Generación Aumentada por Recuperación (Retrieval-Augmented Generation - RAG) toma hoy menos de una tarde: se divide un conjunto de documentos PDF en fragmentos de quinientos tokens, se calculan sus vectores de incrustación (embeddings) y se consultan los cinco fragmentos más cercanos mediante distancia coseno. En una presentación ejecutiva con preguntas genéricas, el sistema parece infalible.
El problema surge en la primera semana de uso real dentro de una firma legal, una entidad financiera o un departamento de ingeniería. Un abogado consulta por la "Resolución Normativa de Directorio 102100000011", un auditor busca la cláusula asociada a la póliza "GL-2025-8849-B" o un técnico indaga por un código de falla específico de un equipo industrial. En ese instante, la búsqueda puramente vectorial devuelve fragmentos irrelevantes y el modelo de lenguaje, intentando ser servicial con el contexto incorrecto, fabrica una respuesta verosímil pero falsa.
En este artículo abordo cómo resolvemos este problema estructural en FORBUS S.R.L. mediante arquitecturas de Recuperación Híbrida (Hybrid Search) ejecutadas íntegramente dentro de PostgreSQL, combinando similitud semántica densa con precisión léxica de texto completo y fusión de rangos recíprocos (RRF).
1. El Límite Estructural de los Embeddings Densos
Un modelo de embeddings transforma una secuencia de texto en un vector continuo de alta dimensionalidad (por ejemplo, 768 o 1,536 dimensiones en punto flotante). Esta representación es excelente para capturar sinónimos y relaciones conceptuales: comprende que "rescisión unilateral de contrato por incumplimiento" guarda estrecha cercanía semántica con "terminación anticipada de acuerdo comercial".
Sin embargo, esa misma compresión semántica diluye los términos exactos de baja frecuencia (out-of-vocabulary tokens, códigos alfanuméricos, números de decreto o apellidos). Para un modelo denso, el código RND-102100000011 y el código RND-102100000019 producen vectores casi idénticos, a pesar de que jurídicamente regulan obligaciones tributarias completamente distintas.
La conclusión arquitectónica es clara: la búsqueda semántica y la búsqueda léxica no compiten; se complementan. Necesitamos un motor que recupere tanto por significado conceptual como por coincidencia exacta de términos.
2. Arquitectura Unificada en PostgreSQL: pgvector + tsvector
Un error común de sobre-ingeniería consiste en introducir una base de datos vectorial dedicada (como Pinecone, Qdrant o Milvus) junto a un clúster de Elasticsearch para la parte léxica, manteniendo además PostgreSQL como base de datos relacional. Esa triplicación de infraestructura introduce problemas crónicos de sincronización eventual, triplica el costo operativo y dificulta aplicar permisos de acceso por fila (Row-Level Security).
Con PostgreSQL y la extensión pgvector (versión 0.7+), podemos consolidar ambas capacidades en una sola tabla transaccional utilizando cuantización de media precisión (halfvec, float16) para reducir a la mitad el consumo de memoria RAM del índice HNSW sin pérdida apreciable de recall:
sqlCREATE EXTENSION IF NOT EXISTS vector; CREATE EXTENSION IF NOT EXISTS unaccent; -- Configuración de búsqueda de texto en español sin tildes para tolerancia ortográfica CREATE TEXT SEARCH CONFIGURATION es_corporativo ( COPY = spanish ); ALTER TEXT SEARCH CONFIGURATION es_corporativo ALTER MAPPING FOR hword, hword_part, word WITH unaccent, spanish_stem; CREATE TABLE conocimiento.fragmentos_documentales ( id_fragmento BIGSERIAL PRIMARY KEY, id_documento UUID NOT NULL, id_organizacion UUID NOT NULL, codigo_referencia VARCHAR(120) NOT NULL, jerarquia_seccion TEXT NOT NULL, contenido_texto TEXT NOT NULL, vigente BOOLEAN NOT NULL DEFAULT true, -- Vector en media precisión (16 bits por dimensión) para optimizar memoria en HNSW embedding halfvec(1024) NOT NULL, -- Columna generada automáticamente para búsqueda léxica ponderada vector_lexico tsvector GENERATED ALWAYS AS ( setweight(to_tsvector('es_corporativo', coalesce(codigo_referencia, '')), 'A') || setweight(to_tsvector('es_corporativo', coalesce(jerarquia_seccion, '')), 'B') || setweight(to_tsvector('es_corporativo', coalesce(contenido_texto, '')), 'C') ) STORED, creado_en TIMESTAMPTZ NOT NULL DEFAULT now() ); -- Índice HNSW para similitud coseno sobre vectores de 1024 dimensiones CREATE INDEX idx_fragmentos_embedding_hnsw ON conocimiento.fragmentos_documentales USING hnsw (embedding halfvec_cosine_ops) WITH (m = 16, ef_construction = 128); -- Índice invertido GIN para búsqueda léxica instantánea CREATE INDEX idx_fragmentos_vector_lexico_gin ON conocimiento.fragmentos_documentales USING gin (vector_lexico);
Observa cómo asignamos pesos diferenciados (A, B, C) en la columna generada vector_lexico. Si el usuario menciona en su consulta el código exacto de una norma o el título de un capítulo, el peso A o B impulsa ese fragmento a las primeras posiciones del ranking léxico.
3. Fusión de Rangos Recíprocos (Reciprocal Rank Fusion - RRF) en una Sola Consulta SQL
Cuando ejecutamos simultáneamente una búsqueda vectorial (que produce distancias coseno entre 0.0 y 2.0) y una búsqueda léxica ts_rank_cd (que produce puntuaciones de densidad no acotadas), sus escalas numéricas no son directamente comparables. Sumar ambas puntuaciones de forma lineal suele sesgar el resultado hacia uno de los dos motores.
El algoritmo Reciprocal Rank Fusion (RRF) resuelve este problema prescindiendo del puntaje absoluto y combinando únicamente la posición ordinal (rank) que cada documento obtuvo en cada lista de recuperación:
$$ ext{RRF_Score}(d in D) = sum_{m in M} rac{1}{k + ext{rank}_m(d)} $$
Donde $k$ es una constante de amortiguamiento (habitualmente fijada en $60$) que evita que un resultado aislado en primer lugar de un solo método domine desproporcionadamente sobre un documento que apareció consistentemente en tercer lugar en ambos métodos.
A continuación se muestra la implementación completa en SQL lista para producción:
sqlWITH busqueda_semantica AS ( SELECT id_fragmento, ROW_NUMBER() OVER (ORDER BY embedding <=> $1::halfvec(1024)) AS rango_semantico FROM conocimiento.fragmentos_documentales WHERE id_organizacion = $2 AND vigente = true ORDER BY embedding <=> $1::halfvec(1024) LIMIT 40 ), busqueda_lexica AS ( SELECT id_fragmento, ROW_NUMBER() OVER ( ORDER BY ts_rank_cd(vector_lexico, websearch_to_tsquery('es_corporativo', $3)) DESC ) AS rango_lexico FROM conocimiento.fragmentos_documentales WHERE id_organizacion = $2 AND vigente = true AND vector_lexico @@ websearch_to_tsquery('es_corporativo', $3) ORDER BY ts_rank_cd(vector_lexico, websearch_to_tsquery('es_corporativo', $3)) DESC LIMIT 40 ), fusion_rrf AS ( SELECT COALESCE(s.id_fragmento, l.id_fragmento) AS id_fragmento, s.rango_semantico, l.rango_lexico, ( COALESCE(1.0 / (60 + s.rango_semantico), 0.0) * 0.55 + COALESCE(1.0 / (60 + l.rango_lexico), 0.0) * 0.45 ) AS puntaje_rrf FROM busqueda_semantica s FULL OUTER JOIN busqueda_lexica l ON s.id_fragmento = l.id_fragmento ) SELECT f.id_fragmento, f.codigo_referencia, f.jerarquia_seccion, f.contenido_texto, r.rango_semantico, r.rango_lexico, ROUND(r.puntaje_rrf::numeric, 6) AS score_hibrido FROM fusion_rrf r INNER JOIN conocimiento.fragmentos_documentales f ON f.id_fragmento = r.id_fragmento ORDER BY r.puntaje_rrf DESC LIMIT 8;
Esta consulta se ejecuta en menos de 12 ms sobre colecciones de medio millón de fragmentos documentales, respetando el aislamiento multi-empresa (id_organizacion = $2) y filtrando únicamente normativa vigente (vigente = true).
4. Fragmentación Contextual y Control Determinista de Alucinaciones
Incluso el mejor motor de recuperación híbrida fallará si la etapa de ingesta destruye el contexto del documento. Cortar un contrato o una ley cada 500 caracteres sin respetar su estructura provoca que un párrafo diga "Queda prohibida la subcontratación salvo autorización escrita", sin que el fragmento conserve a qué servicio o artículo pertenece esa prohibición.
En nuestros pipelines de ingeniería de datos aplicamos tres reglas de diseño estrictas:
- Inyección de Ruta Jerárquica en cada Fragmento: Antes de calcular el embedding de un párrafo, anteponemos su árbol estructural completo (por ejemplo:
[Documento: Contrato Marco 2026 | Capítulo IV: Obligaciones del Proveedor | Cláusula 14.2: Confidencialidad]). De esta forma, ningún fragmento queda huérfano de contexto. - Umbral Mínimo de Evidencia (Abstention Gate): Si tras la fusión RRF ningún fragmento supera el umbral mínimo de relevancia calibrado o el re-ranker cruzado asigna baja afinidad, el backend intercepta el flujo y responde directamente que no existe sustento documental en la base de conocimiento, sin invocar siquiera al modelo generativo.
- Verificación de Citas Estructuradas: Exigimos mediante esquemas JSON estrictos (Structured Outputs) que cada afirmación generada por el modelo incluya el identificador
id_fragmentoycodigo_referenciadel bloque recuperado, permitiendo al usuario final abrir el documento original exactamente en la página citada.
Conclusión
Llevar la Inteligencia Artificial al núcleo operativo de una empresa no consiste en conectar un chat genérico a una carpeta de archivos, sino en aplicar ingeniería de recuperación de información rigurosa, gobernanza de datos transaccional y controles deterministas que garanticen respuestas auditables en todo momento.