Atalaya — Una Atalaya sobre los Datos Abiertos de Chile
Atalaya cosecha el catálogo abierto del Data Observatory de Chile, perfila cada tabla descargable y mina cinco tipos de relación cruzada — misma fuente, similitud semántica, solapamiento espacial, joinabilidad y correlación estadística — en un grafo de conocimiento explorable, con búsqueda semántica corriendo en el navegador. Honesto sobre la fuerza de la evidencia, nunca causal.
Contexto de Negocio
Los datos públicos sirven solo tanto como tu capacidad de conectarlos, y el tejido conectivo — qué datasets se unen, solapan o correlacionan — es justo lo que los catálogos nunca proveen. Atalaya convierte un catálogo plano en un grafo navegable de relaciones, que es la diferencia entre "aquí hay mil tablas" y "aquí están las dos que, unidas, responden tu pregunta". Hacerlo con disciplina estadística (nulos, FDR, guardias de correlación parcial) es lo que mantiene honestas las conexiones.
Valor Estratégico
Atalaya demuestra un stack completo de ingeniería de datos + IR — cosecha de catálogo, perfilado, resolución de entidades/joinabilidad, relaciones validadas estadísticamente y un score de fusión calibrado — entregado como una app web estática, sin backend, con inferencia en el cliente. Su disciplina es el punto: reporta la fuerza de la evidencia con honestidad (de ~14.000 aristas, la gran mayoría son priors baratos; la evidencia dura son unos cientos de joins y un puñado de correlaciones con FDR controlado), nunca implica causalidad, y el modelo de embeddings moderno supera a la línea base clásica solo modestamente. Ese encuadre honesto y reproducible es lo que lo hace un explorador de relaciones creíble en vez de un grafo que se exagera.
El Desafío
Un catálogo de datos abiertos es una lista de tablas, no un mapa de cómo se relacionan. El Data Observatory de Chile publica más de mil datasets públicos, pero cuáles dos podrían unirse, cuáles cubren el mismo territorio, cuáles correlacionan, cuáles vienen de la misma fuente — las preguntas que hacen a los datos abiertos realmente útiles — son invisibles. Responderlas a escala de catálogo exige ingeniería de datos real (cosechar, perfilar, resolver entidades) y cuidado estadístico, no una búsqueda por palabra clave.
Nuestro Enfoque
Atalaya es un pipeline de ingeniería de datos + recuperación de información — cosechar → perfilar → relacionar → evaluar → exportar — corrido sobre 1.017 datasets reales del catálogo (con un espejo parcial medido de varios GB). Perfila cada tabla, luego mina cinco tipos de relación en un grafo de conocimiento: misma fuente, similitud semántica (un modelo de oraciones MiniLM exportado a ONNX), solapamiento espacial, joinabilidad (containment por MinHash) y correlación estadística (Spearman con un nulo por permutación, control de FDR Benjamini-Hochberg y un guardia de correlación parcial). Un score novel de "afinidad" multi-evidencia calibrado fusiona las señales contra percentiles de distribución nula y pesos de fiabilidad, y puede re-ponderarse en vivo. Se entrega como un SPA React estático con el grafo horneado y búsqueda semántica corriendo en el cliente (transformers.js / onnxruntime-web) — sin backend.
Indicadores Clave de Rendimiento
| KPI | Línea Base | Resultado | Impacto |
|---|---|---|---|
| De catálogo a mapa | Una lista plana de tablas | Un grafo de conocimiento de 5 tipos de relación sobre 1.017 datasets | Encontrar los datasets que realmente conectan |
| Evidencia honesta | "14.000 relaciones" | Fuerza etiquetada: priors baratos vs 117 joins + 24 correlaciones con FDR | Sabes en qué aristas confiar |
| Dónde corre | Un backend servido | SPA estático; la búsqueda semántica corre en el cliente (ONNX) | Sin servidor, totalmente inspeccionable |
Arquitectura
atalaya graph
A map of how open data connects
Atalaya is a watchtower over Chile’s open data. It harvests the Data Observatory catalog, profiles every downloadable table, and mines five kinds of cross-dataset relation into an explorable knowledge graph — turning a flat list of a thousand-plus datasets into a map of which ones join, overlap, correlate or share a source. Live at atalaya.fasl-work.com.
Five relations, mined with care
Over 1,017 real datasets: same-source, semantic similarity (a MiniLM model exported to ONNX), spatial overlap, joinability (MinHash containment) and statistical correlation (Spearman with a permutation null, Benjamini-Hochberg FDR control and a partial-correlation guard). A novel calibrated affinity score fuses the signals against null-distribution percentiles and can be re-weighted live. The whole thing ships as a static SPA with the graph baked in and semantic search running client-side — no backend.
Honest about the graph
The number that matters is not “14,000 relationships” — most of those are cheap priors. The hard evidence is a few hundred joinable pairs and a handful of FDR-controlled correlations, and Atalaya labels that strength rather than hiding it. It never implies causation (some small-n correlations are flagged fragile), and the modern embedding model beats the classical TF-IDF baseline only modestly (+1.4 points). It is a relation explorer, reported at the confidence the data supports.
Stack Tecnológico
Los recursos visuales de este proyecto no están disponibles públicamente.