Síntesis: el mapa del módulo y los casos con datos reales
Estadística · Lección 25
Objetivo
Al terminar esta lección se puede:
- Situar cada una de las 24 lecciones anteriores en un mapa de cuatro bloques, y decir qué resultado central aporta cada una.
- Demostrar que los mínimos cuadrados de la lección 13 y la máxima verosimilitud de la 8 son el mismo problema cuando los errores son normales.
- Demostrar que el bootstrap de la lección 11 reobtiene el error estándar de la 7 sin usar su fórmula.
- Demostrar que el intervalo de confianza de la lección 9 y el intervalo de credibilidad de la 19 coinciden numéricamente en el caso normal con prior plana, y enunciar en qué se diferencian pese a ello.
- Elegir un caso con datos públicos y saber qué lecciones ejercita.
De dónde viene
- Las 24 lecciones del módulo. Esta no añade material nuevo: enuncia y demuestra las tres identidades que las conectan entre sí.
- Estadística 7, 8, 9, 11, 13 y 19 en particular, que son las que aparecen a los dos lados de los tres puentes.
- Python 6: todo el código de esta página es NumPy, y la Proposición 6.8 es la razón de que las comparaciones se hagan con tolerancia.
Para qué sirve después
- Inferencia causal 01 a 14: los resultados potenciales parten de la estimación y la incertidumbre de este módulo; el diseño de un experimento y su potencia son la lección 04 de ese módulo.
- Machine Learning: la verosimilitud es la función de pérdida de casi todo modelo probabilístico, y la calibración de la lección 16 es cómo se juzga una probabilidad predicha.
- Series de tiempo: la validación sin fuga es la lección 17 aplicada al eje temporal.
- Los casos de la sección 3, que son el sitio donde esto deja de ser lectura.
Notación
| Notación | Se lee | Significado |
|---|---|---|
| n | ene | El tamaño de la muestra |
| \bar{x} | equis barra | La media muestral |
| s | ese | La desviación típica muestral, con n-1 en el denominador |
| \hat{\theta} | theta sombrero | Un estimador del parámetro \theta |
| L(\theta) | ele de theta | La verosimilitud: la probabilidad de los datos observados según \theta |
| bloque | — | Cada uno de los cuatro grupos en que esta lección ordena el módulo |
| puente | — | Una identidad que muestra que dos lecciones resuelven el mismo problema |
1. El mapa
Las 24 lecciones se ordenan en cuatro bloques. Cada uno responde a una pregunta distinta, y el siguiente usa lo que el anterior dejó demostrado.
Bloque A, Qué es el azar (1 a 6). Construye el objeto: una variable aleatoria, su distribución, sus resúmenes y su comportamiento al acumular.
| Lección | Resultado central | |
|---|---|---|
| 1 | Variables aleatorias | La variable como función del resultado, no como el resultado |
| 2 | PMF y CDF | Dos descripciones equivalentes de la misma distribución |
| 3 | Distribuciones analíticas | Cuándo una forma cerrada describe un fenómeno |
| 4 | Esperanza y varianza | La esperanza es lineal siempre; la varianza no |
| 5 | Covarianza y correlación | Correlación cero no implica independencia |
| 6 | Teorema central del límite | La media se vuelve normal aunque los datos no lo sean |
Bloque B, Qué se puede afirmar (7 a 14). Del dato al enunciado: estimar, medir la incertidumbre, decidir.
| Lección | Resultado central | |
|---|---|---|
| 7 | Estimación | Insesgadez y error estándar, y su compromiso con la varianza |
| 8 | Máxima verosimilitud | El estimador que hace más probables los datos observados |
| 9 | Intervalos de confianza | Qué afirma exactamente un 95 %, y qué no |
| 10 | Pruebas de hipótesis | El valor p como probabilidad de los datos, no de la hipótesis |
| 11 | Bootstrap | La incertidumbre sin fórmula, remuestreando |
| 12 | Normal multivariante | La covarianza como geometría |
| 13 | Regresión desde primeros principios | La proyección ortogonal como solución |
| 14 | Inferencia sobre coeficientes | Cuándo un coeficiente dice algo |
Bloque C, Dónde se rompe (15 a 17). Las tres formas en que un análisis correcto produce una conclusión falsa.
| Lección | Resultado central | |
|---|---|---|
| 15 | Datos faltantes | Rellenar con la media hunde la cobertura al 76 % |
| 16 | Calibración y lift | Recalibrar es gratis y lleva el Brier a su suelo |
| 17 | P-hacking | Mirar entre n=20 y n=400 lleva el error del 5 % al 35 % |
Bloque D, La otra lectura (18 a 24). El mismo problema visto como actualización de una creencia, y cómo se calcula cuando no hay fórmula.
| Lección | Resultado central | |
|---|---|---|
| 18 | Teorema de Bayes | La posterior como compromiso entre prior y datos |
| 19 | Priors conjugados | El núcleo como única herramienta |
| 20 | Distribuciones predictivas | Lo que cuesta ignorar la incertidumbre del parámetro |
| 21 | Comparación de modelos | De dónde sale la navaja de Occam |
| 22 | Metropolis-Hastings | Derivado del balance detallado |
| 23 | Gibbs | La fórmula que dice de antemano si va a servir |
| 24 | Diagnóstico de cadenas | El punto ciego de R-hat |
2. Tres puentes
Las lecciones se escribieron por separado y en orden, lo que deja la impresión de veinticuatro técnicas distintas. Tres identidades muestran que varias de ellas son la misma cosa vista desde otro sitio.
Definición 25.1 (puente). Un puente entre dos lecciones es una demostración de que sus procedimientos, partiendo de supuestos y de motivaciones distintas, producen el mismo resultado sobre los mismos datos. Un puente no añade un método: reduce el número de métodos que hay que recordar.
2.1 Mínimos cuadrados y máxima verosimilitud
Proposición 25.2. Sea el modelo y = X\beta + \varepsilon con \varepsilon de componentes independientes y normales de varianza \sigma^2 conocida. Entonces el \beta que minimiza \lVert y - X\beta\rVert^2 (lección 13) es exactamente el que maximiza la verosimilitud L(\beta) (lección 8).
Demostración. La densidad conjunta de las n observaciones, por independencia, es el producto de sus densidades normales: L(\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(y_i - x_i^\top\beta)^2}{2\sigma^2}\right). Tomando logaritmo, que es una transformación estrictamente creciente y por tanto conserva el punto donde se alcanza el máximo, \log L(\beta) = -\frac{n}{2}\log(2\pi\sigma^2) \;-\; \frac{1}{2\sigma^2}\sum_{i=1}^{n}(y_i - x_i^\top\beta)^2. El primer sumando no depende de \beta, y el segundo es la suma de cuadrados multiplicada por la constante negativa -1/(2\sigma^2). Maximizar \log L equivale entonces a minimizar la suma de cuadrados, que es el problema de la lección 13. Los dos argumentos máximos coinciden. ∎
La demostración deja ver también qué supuesto hace cada camino. Los mínimos cuadrados no necesitan la normalidad: la proyección ortogonal de la lección 13 es geometría y vale siempre. La verosimilitud sí la necesita, y a cambio entrega toda la maquinaria del bloque B. El puente existe solo cuando el supuesto se cumple.
La rejilla busca el máximo de la verosimilitud en un entorno del punto de mínimos cuadrados y lo encuentra exactamente ahí: la distancia entre ambos es 0, no un número pequeño.
2.2 Bootstrap y error estándar
Proposición 25.3. Para la media muestral, el error estándar estimado por remuestreo (lección 11) converge, al crecer el número de remuestras, al mismo valor que da la fórmula s/\sqrt{n} (lección 7).
Demostración. El bootstrap sortea n observaciones con reemplazo de la muestra observada, que equivale a extraer n valores independientes de la distribución empírica, la que asigna probabilidad 1/n a cada dato. Esa distribución tiene varianza \frac{1}{n}\sum_i (x_i-\bar{x})^2.
La media de n extracciones independientes de una distribución de varianza v tiene varianza v/n, por la propiedad de la varianza de una suma de independientes de la lección 4. Sustituyendo, \operatorname{Var}(\bar{x}^*) = \frac{1}{n}\cdot\frac{1}{n}\sum_i (x_i-\bar{x})^2 = \frac{n-1}{n}\cdot\frac{s^2}{n}. Su raíz es s/\sqrt{n} multiplicada por \sqrt{(n-1)/n}, que tiende a 1. El remuestreo estima esa desviación por simulación, de modo que converge a ella al crecer el número de remuestras. ∎
El valor del bootstrap sale en 0{,}207256 frente a los 0{,}206903 de la fórmula, una razón de 1{,}0017. La cifra exacta depende del sorteo y por eso la prosa afirma la coincidencia dentro de una tolerancia y no el dígito, siguiendo la regla 7 del proyecto.
Lo que el puente aporta es saber cuándo usar cada camino. La fórmula solo existe para la media y unos pocos estadísticos más; el remuestreo se aplica a la mediana, a un cociente o a un percentil, donde no hay fórmula que recordar.
2.3 Confianza y credibilidad
Proposición 25.4. Sea una muestra normal de varianza \sigma^2 conocida. El intervalo de confianza del 95 % para la media (lección 9) y el intervalo central de credibilidad del 95 % obtenido con prior plana (lección 19) tienen los mismos extremos.
Lo que no coincide es lo que cada uno afirma, y eso no depende de los números.
Demostración. Con prior plana la posterior es proporcional a la verosimilitud. Para la media de una normal con \sigma conocida, L(\mu) \propto \exp\!\left(-\frac{1}{2\sigma^2}\sum_i (x_i-\mu)^2\right) \propto \exp\!\left(-\frac{n(\mu-\bar{x})^2}{2\sigma^2}\right), donde el último paso desarrolla el cuadrado y absorbe en la constante todo lo que no depende de \mu. La posterior es por tanto normal de media \bar{x} y desviación \sigma/\sqrt{n}, y su intervalo central del 95 % es \bar{x}\pm 1{,}96\,\sigma/\sqrt{n}, que es literalmente la fórmula del intervalo de confianza de la lección 9.
La diferencia está en el enunciado. El intervalo de confianza afirma algo sobre el procedimiento: al repetirlo sobre muestras distintas, el 95 % de los intervalos que produce contienen la media verdadera, que es fija. El de credibilidad afirma algo sobre el parámetro: dado lo observado, la probabilidad de que \mu caiga dentro es del 95 %. La segunda frase requiere tratar a \mu como aleatoria, cosa que el primer marco no permite. Los extremos coinciden y las afirmaciones no son intercambiables. ∎
Los extremos salen en (9{,}653014,\ 10{,}484557) y (9{,}653016,\ 10{,}484556): la mayor diferencia es de 1{,}15\times10^{-6}, atribuible a la rejilla con que se calculó la posterior. La coincidencia numérica es la que hace tan fácil confundir las dos afirmaciones, y la lección 9 dedica su segunda mitad a separarlas.
3. Casos con datos reales
Los tres puentes se demuestran sobre datos simulados, donde la respuesta se conoce de antemano. Un dato real no trae respuesta, y ahí es donde el módulo se pone a prueba.
Las fuentes siguientes son abiertas y se comprobó el 13-09-2026 que responden. Ninguna exige cuenta ni pago.
| Fuente | Qué trae | Bueno para |
|---|---|---|
| Palmer Penguins | Medidas corporales de tres especies, con valores faltantes reales | Lecciones 5, 13 y 15 |
| seaborn-data | Los mismos, en un CSV directo | Carga sin fricción |
| vega-datasets | Clima diario de Seattle, varios años | Lecciones 1 a 6, y series de tiempo |
| OpenIntro | Decenas de conjuntos pensados para enseñar inferencia | Lecciones 7 a 14 |
| Gapminder | Indicadores por país y año, desde 1800 | Lecciones 5, 13 y 14 |
| Our World in Data | Series largas con metodología documentada | Lecciones 15 y 16 |
| Banco Mundial | Indicadores oficiales, con huecos abundantes | Lección 15 |
| UCI ML Repository | El repositorio clásico de conjuntos de prueba | Lecciones 13, 16 y ML |
| NSFG | La encuesta que usa Think Stats | Todo el bloque A |
| BRFSS | Encuesta de salud con diseño muestral complejo | Lecciones 7, 9 y 15 |
| Think Stats | El libro, con sus cuadernos y datos | Todo el módulo |
Tres casos concretos, en orden de dificultad. Cada uno cierra cuando su afirmación esté declarada y comprobada, igual que en estas páginas.
- Los huecos no son al azar (lecciones 15, 7 y 9). Con un indicador del Banco Mundial, comprobar si los países sin dato difieren sistemáticamente de los que sí lo tienen. Estimar la media con y sin reponderar, y medir cuánto se mueve. La conclusión útil no es el número sino si el mecanismo es ignorable.
- Una regresión que se sostenga (lecciones 13, 14 y 5). Con Palmer Penguins, predecir la masa a partir de las medidas del pico y la aleta. Comprobar los supuestos, dar intervalos para cada coeficiente, y encontrar el par de predictores correlacionados que hace inestable a uno de ellos.
- Una probabilidad que se pueda creer (lecciones 16, 10 y 20). Con cualquier conjunto de UCI con respuesta binaria, ajustar un modelo sencillo, dibujar su curva de calibración, calcular el Brier y recalibrar. Comprobar que recalibrar baja el Brier sin tocar el orden de las predicciones, que es la Proposición 16.10.
Reto
En proyectos/notebooks/F1-retos.ipynb, sección Est 25:
- Escribir los tres puentes como pruebas automáticas que fallen si dejan de cumplirse, y añadirlos al cuaderno como una celda que se pueda volver a correr sobre datos nuevos.
- Buscar un cuarto puente en el módulo y demostrarlo. Hay al menos dos más: la relación entre la prueba de la lección 10 y el intervalo de la 9, una hipótesis se rechaza exactamente cuando queda fuera del intervalo, y la que une la comparación de modelos de la 21 con la verosimilitud de la 8.
- Tomar uno de los tres casos de la sección 3, llevarlo hasta el final, y escribir el resultado con la estructura de estas lecciones: qué se afirma, con qué datos, y qué queda sin demostrar.
Para el Cerebro
Nota nueva en 10-Conceptos/sintesis-estadistica.md, enlazada a las notas de las lecciones 7, 8, 9, 11, 13 y 19. Conviene rehacer a mano la demostración de la Proposición 25.4: es la más corta de las tres y la que más se usa mal, porque la coincidencia de los números invita a intercambiar dos afirmaciones que no son intercambiables.
¿Cuántos bloques tiene el módulo y qué pregunta responde cada uno?::Cuatro: qué es el azar (1–6), qué se puede afirmar (7–14), dónde se rompe (15–17), la otra lectura (18–24)
¿Qué es un puente entre dos lecciones?::La demostración de que sus procedimientos dan el mismo resultado sobre los mismos datos
¿Por qué mínimos cuadrados coincide con máxima verosimilitud?::Con errores normales, el log de la verosimilitud es la suma de cuadrados por una constante negativa más un término sin β
¿Qué supuesto necesita cada uno?::Mínimos cuadrados ninguno, es geometría; la verosimilitud necesita la normalidad
¿Por qué el bootstrap reobtiene s/√n?::Remuestrear equivale a extraer de la distribución empírica, cuya varianza da s²(n−1)/n²
¿Cuándo conviene el bootstrap sobre la fórmula?::Cuando no hay fórmula: mediana, cocientes, percentiles
¿Coinciden el intervalo de confianza y el de credibilidad?::Con prior plana y caso normal, los extremos sí; las afirmaciones no
¿Qué afirma cada uno?::El de confianza, sobre el procedimiento al repetirlo; el de credibilidad, sobre el parámetro dado lo observado
¿Por qué se confunden tanto?::Porque los números coinciden, y esa coincidencia invita a intercambiar las frases
¿Dónde se practica todo esto?::En los casos de la sección 3, con datos abiertos y sin respuesta conocidaFuentes
Lo que esta página demuestra sola. Las Proposiciones 25.2, 25.3 y 25.4 se demuestran a partir de resultados ya establecidos en el módulo (la densidad normal y la monotonía del logaritmo, la varianza de una media de independientes de la lección 4, y el desarrollo del cuadrado que identifica el núcleo de la posterior) y cada una se comprueba ejecutándola: que la rejilla sobre la verosimilitud encuentra el máximo exactamente en el punto de mínimos cuadrados, con distancia 0 y gradiente de la suma de cuadrados del orden de 10^{-14}; que el bootstrap da 0{,}207256 frente a los 0{,}206903 de la fórmula, con razón 1{,}0017; y que los dos intervalos difieren a lo sumo en 1{,}15\times10^{-6}. Los dos visuales se contrastaron contra estas mismas afirmaciones en todo el rango de sus controles.
Lo que se usa de otras lecciones sin repetir. El módulo entero. En particular la varianza de una suma de independientes es de la lección 4, la definición de error estándar de la 7, la de verosimilitud de la 8, la construcción del intervalo de confianza de la 9, el remuestreo de la 11, la solución por proyección de la 13 y el manejo del núcleo de una posterior de la 19. Que las comparaciones numéricas se hagan con tolerancia y no con igualdad exacta es la Proposición 6.8 del módulo de Python.
Lo que se enuncia sin demostrar. Que la distribución empírica es el análogo muestral de la poblacional en el sentido que el bootstrap requiere: la Proposición 25.3 calcula su varianza y da la convergencia en el número de remuestras, y no demuestra la consistencia del bootstrap al crecer n, que queda fuera del módulo. En la Proposición 25.4 se supone \sigma conocida; con \sigma estimada los dos intervalos dejan de coincidir exactamente, y esa discrepancia no se cuantifica aquí.
Lo que viene de los libros. Ninguno. Esta lección es autocontenida: es una síntesis del propio módulo y no hay ningún libro con índice verificado que trate específicamente estos tres puentes, así que el campo libro: queda vacío en lugar de citar una fuente sin verificar. Las fuentes de datos de la sección 3 se enlazan como origen de conjuntos abiertos y no se les atribuye ninguna afirmación de esta página; se comprobó el 13-09-2026 que las once responden.
Lo que es mío, no del libro. La organización del módulo en cuatro bloques con un resultado central por lección. El concepto de puente de la Definición 25.1, y la elección de estos tres en concreto por ser los que más reducen lo que hay que recordar. Y el énfasis de la Proposición 25.4 en que la coincidencia de los números es precisamente lo que hace peligrosa la confusión entre las dos afirmaciones.
Enlaces de datos comprobados el 13-09-2026; la lección no cita ningún libro.