Hessiana y expansión de Taylor

Matemática · Lección 14

L2 Derivación Fase F1 Libro MML §5.7 · §5.8 Prereqs Derivada y gradiente · Formas cuadráticas

Objetivo

Al terminar esta lección se puede:

  1. Definir las derivadas parciales de segundo orden y la hessiana, y demostrar que es simétrica cuando las segundas parciales son continuas.
  2. Demostrar la fórmula de Taylor de segundo orden, y que el error del polinomio cuadrático es o(\|h\|^2).
  3. Demostrar que en un mínimo local el gradiente se anula, y que un punto crítico con hessiana definida positiva es un mínimo local estricto.
  4. Clasificar un punto crítico —mínimo, máximo o punto silla— leyendo los signos de los eigenvalores de la hessiana.

De dónde viene

  • Matemática 13: el gradiente y la aproximación lineal (Definición 13.7). Taylor de segundo orden es esa misma aproximación con un término más, y la regla de la cadena de la Proposición 13.3 es lo que permite demostrarla.
  • Matemática 12: las formas cuadráticas y el criterio espectral (Proposición 12.4). La hessiana es simétrica, así que h^\top H h es una forma cuadrática y su signo lo deciden los eigenvalores.
  • Matemática 9 y 10: los eigenvalores de una matriz simétrica, que aquí clasifican puntos críticos.

Para qué sirve después

  • Matemática 15: una función con hessiana semidefinida positiva en todo punto es convexa, y ahí todo mínimo local pasa a ser global.
  • Matemática 16 y 17: el descenso de gradiente usa el término lineal; el método de Newton minimiza en cada paso el modelo cuadrático completo de la Proposición 14.5.
  • Estadística 8: la segunda derivada de la log-verosimilitud es lo que decide si un punto crítico es el máximo, y su esperada cambiada de signo es la información de Fisher.

Notación

Símbolo Se lee Significado
\dfrac{\partial^2 f}{\partial x_i\partial x_j} derivada parcial segunda Derivar respecto a x_j y después respecto a x_i
H_f(a) hache sub efe de a La hessiana de f en a; también se escribe \nabla^2f(a)
T_1(h),\;T_2(h) te uno, te dos Los polinomios de Taylor de orden uno y dos
r_2(h) resto El error de T_2; cumple r_2(h)/\|h\|^2\to0
\lambda_1\ge\lambda_2 lambdas Los eigenvalores de la hessiana
a a El punto donde se desarrolla
h hache El desplazamiento desde a; tiende a cero

1. La segunda derivada en varias variables

Definición 14.1 (derivadas parciales de segundo orden). Si la derivada parcial \partial f/\partial x_j existe en un entorno de a y ella misma admite derivada parcial respecto a x_i, esa derivada es \frac{\partial^2 f}{\partial x_i\,\partial x_j}(a) := \frac{\partial}{\partial x_i}\Big(\frac{\partial f}{\partial x_j}\Big)(a).

Definición 14.2 (hessiana). La hessiana de f en a es la matriz n\times n de todas las segundas parciales, H_f(a) := \begin{pmatrix} \dfrac{\partial^2 f}{\partial x_1^2}(a) & \cdots & \dfrac{\partial^2 f}{\partial x_1\partial x_n}(a)\\ \vdots & \ddots & \vdots\\ \dfrac{\partial^2 f}{\partial x_n\partial x_1}(a) & \cdots & \dfrac{\partial^2 f}{\partial x_n^2}(a) \end{pmatrix}.

El gradiente de la lección 13 es un vector; la hessiana es una matriz. Que sea simétrica no es gratuito: depende de una hipótesis que se puede incumplir.

Proposición 14.3 (simetría de la hessiana). Si las dos parciales cruzadas \partial^2f/\partial x_i\partial x_j y \partial^2f/\partial x_j\partial x_i existen y son continuas en un entorno de a, entonces coinciden en a. En ese caso H_f(a) es simétrica.

Demostración. Basta el caso de dos variables: las demás coordenadas quedan fijas. Escríbase a=(a_1,a_2) y, para s,t pequeños y no nulos, el doble incremento \Delta(s,t) = f(a_1+s,\,a_2+t) - f(a_1+s,\,a_2) - f(a_1,\,a_2+t) + f(a_1,\,a_2). Esa expresión se puede leer de dos maneras, agrupando por la primera variable o por la segunda.

Agrupando por la primera. Sea \varphi(x) = f(x,a_2+t) - f(x,a_2). Entonces \Delta(s,t) = \varphi(a_1+s)-\varphi(a_1) y, por el teorema del valor medio, existe \xi entre a_1 y a_1+s con \Delta(s,t) = s\,\varphi'(\xi) = s\Big[\frac{\partial f}{\partial x}(\xi,a_2+t) - \frac{\partial f}{\partial x}(\xi,a_2)\Big]. Aplicando otra vez el valor medio, ahora a la función y\mapsto \partial f/\partial x(\xi,y), existe \eta entre a_2 y a_2+t con \Delta(s,t) = s\,t\;\frac{\partial^2 f}{\partial y\,\partial x}(\xi,\eta).

Agrupando por la segunda. El mismo argumento con \psi(y) = f(a_1+s,y)-f(a_1,y) produce \xi',\eta' en los mismos intervalos con \Delta(s,t) = s\,t\;\frac{\partial^2 f}{\partial x\,\partial y}(\xi',\eta').

Igualando y dividiendo entre st\ne0, \frac{\partial^2 f}{\partial y\,\partial x}(\xi,\eta) = \frac{\partial^2 f}{\partial x\,\partial y}(\xi',\eta'). Cuando (s,t)\to(0,0) los cuatro puntos intermedios tienden a a, porque están atrapados en los intervalos que se encogen. Por la continuidad de las dos parciales cruzadas, cada lado tiende a su valor en a, y los límites coinciden. ∎

La hipótesis de continuidad es la que hace el trabajo, y sin ella el resultado es falso. La celda construye el contraejemplo clásico: una función cuyas dos parciales cruzadas existen en el origen y valen -1 y +1.

En la función de arriba las cruzadas coinciden hasta la sexta cifra. En la de abajo difieren en dos unidades enteras: sus segundas parciales existen en el origen pero dan saltos alrededor de él, y la Proposición 14.3 no se les aplica. De aquí en adelante se supone que las segundas parciales son continuas, y por tanto que H_f(a) es simétrica —que es justo lo que hace falta para usar la lección 12—.

2. Taylor de segundo orden

Definición 14.4 (polinomios de Taylor). Para f con gradiente y hessiana en a, los polinomios de Taylor de orden uno y dos en el desplazamiento h son T_1(h) = f(a) + \nabla f(a)\cdot h, \qquad T_2(h) = f(a) + \nabla f(a)\cdot h + \tfrac{1}{2}\,h^\top H_f(a)\,h.

T_1 es la aproximación lineal de la Definición 13.7. T_2 le añade la forma cuadrática que define la hessiana.

Proposición 14.5 (Taylor de segundo orden). Si las segundas parciales de f existen y son continuas en un entorno de a, entonces f(a+h) = T_2(h) + r_2(h), \qquad \frac{r_2(h)}{\|h\|^2}\longrightarrow 0 \;\text{ cuando } h\to0.

Demostración. Fíjese h y defínase la función de una variable \phi(t) = f(a+th) para t\in[0,1]. Por la regla de la cadena (Proposición 13.3) junto con la Proposición 13.8, \phi'(t) = \nabla f(a+th)\cdot h, \qquad \phi''(t) = h^\top H_f(a+th)\,h, donde la segunda igualdad es la primera derivada aplicada de nuevo, componente a componente. Por el desarrollo de Taylor de una variable con resto de Lagrange —que se da por conocido— existe \theta\in(0,1) con \phi(1) = \phi(0) + \phi'(0) + \tfrac{1}{2}\phi''(\theta), es decir f(a+h) = f(a) + \nabla f(a)\cdot h + \tfrac{1}{2}\,h^\top H_f(a+\theta h)\,h. Restando T_2(h) queda r_2(h) = \tfrac{1}{2}\,h^\top\big[H_f(a+\theta h) - H_f(a)\big]h, y acotando la forma cuadrática por la mayor magnitud de sus entradas, \frac{|r_2(h)|}{\|h\|^2} \;\le\; \tfrac{1}{2}\,\big\|H_f(a+\theta h) - H_f(a)\big\|. Cuando h\to0 el punto a+\theta h tiende a a, y por la continuidad de las segundas parciales la diferencia de matrices tiende a la matriz nula. Luego el cociente tiende a cero. ∎

Las dos columnas se estabilizan, y eso es la Proposición 14.5 medida: el error de T_1 es de orden t^2 y el de T_2, de orden t^3. La primera columna converge además a |u^\top H u|/2 = 1{,}210909, que es exactamente el término cuadrático: lo que a T_1 le falta es, hasta orden superior, lo que T_2 le añade.

3. Puntos críticos y cómo clasificarlos

Definición 14.6 (punto crítico). Un punto a es crítico para f si f es diferenciable en a y \nabla f(a)=0.

Proposición 14.7 (condición necesaria de primer orden). Si f es diferenciable en a y a es un mínimo local —o un máximo local—, entonces a es un punto crítico.

Demostración. Supóngase que a es mínimo local y que \nabla f(a)\ne0, y tómese la dirección unitaria v = -\nabla f(a)/\|\nabla f(a)\|. Por la Proposición 13.9 aplicada a -v, esa es la dirección de máximo descenso y D_vf(a) = \nabla f(a)\cdot v = -\|\nabla f(a)\| < 0. Por la Definición 13.6, el cociente [f(a+tv)-f(a)]/t tiende a ese número negativo cuando t\to0, así que para todo t>0 suficientemente pequeño el cociente es negativo; multiplicando por t>0, f(a+tv) < f(a). Hay entonces puntos tan cerca de a como se quiera donde f vale menos, y a no era mínimo local. La contradicción obliga a \nabla f(a)=0. El caso del máximo es el mismo con -f. ∎

El recíproco es falso, y por eso hace falta el segundo orden: en un punto crítico el gradiente no dice nada más, y quien decide es la hessiana.

Proposición 14.8 (condición suficiente de segundo orden). Sea a un punto crítico de f, con segundas parciales continuas, y sea H=H_f(a) con eigenvalores \lambda_1\ge\dots\ge\lambda_n.

  1. Si H es definida positiva (\lambda_n>0), entonces a es un mínimo local estricto.
  2. Si H es definida negativa (\lambda_1<0), entonces a es un máximo local estricto.
  3. Si H es indefinida (\lambda_1>0>\lambda_n), entonces a es un punto silla: hay direcciones en las que f crece y direcciones en las que decrece, de modo que no puede ser máximo ni mínimo local.

Demostración. Por la identidad (\ast) de la Proposición 12.4, en la base propia h^\top Hh=\sum_i\lambda_iy_i^2 con \|y\|=\|h\|, de donde \lambda_n\|h\|^2 \;\le\; h^\top Hh \;\le\; \lambda_1\|h\|^2 \qquad\text{para todo } h.

(1) Como a es crítico, la Proposición 14.5 deja f(a+h)-f(a) = \tfrac12h^\top Hh + r_2(h), y con la cota anterior f(a+h)-f(a) \;\ge\; \tfrac{\lambda_n}{2}\|h\|^2 + r_2(h). Como r_2(h)/\|h\|^2\to0 y \lambda_n>0, existe \delta>0 tal que |r_2(h)| < \tfrac{\lambda_n}{4}\|h\|^2 siempre que 0<\|h\|<\delta. Para esos h, f(a+h)-f(a) \;\ge\; \Big(\tfrac{\lambda_n}{2}-\tfrac{\lambda_n}{4}\Big)\|h\|^2 = \tfrac{\lambda_n}{4}\|h\|^2 \;>\;0, así que f vale estrictamente más en todo el entorno perforado: mínimo local estricto.

(2) Aplíquese (1) a -f, cuya hessiana es -H y cuyos eigenvalores cambian de signo.

(3) Sean q_+ y q_- eigenvectores unitarios de \lambda_1>0 y \lambda_n<0. Tomando h=tq_+ y usando q_+^\top Hq_+=\lambda_1, \frac{f(a+tq_+)-f(a)}{t^2} = \frac{\lambda_1}{2} + \frac{r_2(tq_+)}{t^2} \;\longrightarrow\; \frac{\lambda_1}{2} > 0, luego f(a+tq_+)>f(a) para t pequeño. El mismo cálculo con q_- da límite \lambda_n/2<0 y f(a+tq_-)<f(a). En cualquier entorno de a hay entonces puntos por encima y puntos por debajo. ∎

Los tres casos dejan fuera uno: si el menor eigenvalor es exactamente cero, la forma cuadrática se anula en una dirección entera y el término de orden dos no alcanza para decidir. El Ejercicio 1 muestra los tres desenlaces posibles con la misma segunda derivada nula.

La clasificación por eigenvalores y el conteo de vecinos dicen lo mismo. En la silla, de 4000 direcciones sorteadas 1966 suben y 2034 bajan; en el mínimo suben las 4000. La Proposición 14.8 convierte ese experimento en un teorema: no hace falta mirar vecinos, basta con el signo de dos números.

Ejercicios

Ejercicio 1 — Cuando el segundo orden no decide

Si la hessiana es singular, la Proposición 14.8 no se aplica a ninguno de sus tres casos. Comprobar que x^4, x^3 y -x^4 tienen las tres la segunda derivada nula en el origen y sin embargo son, respectivamente, un mínimo, ni mínimo ni máximo, y un máximo. Demostrar además que si f''(a)=0 y f'''(a)\ne0 entonces a no puede ser extremo local.

Ejercicio 2 — La cuadrática cuya hessiana no se mueve

Para f(x)=\tfrac12x^\top Ax - b^\top x con A simétrica definida positiva, comprobar que \nabla f(x)=Ax-b y que H_f(x)=A en todo punto. Deducir que el único punto crítico resuelve Ax=b y que es mínimo global, no solo local, porque el resto de Taylor es idénticamente cero.

El mínimo sigue siéndolo a distancia 50, no solo en un entorno: con r_2\equiv0 la desigualdad de la Proposición 14.8 vale para todo h, no solo para los pequeños. Esa es, en miniatura, la diferencia entre local y global que la lección 15 convierte en la definición de convexidad.

Reto

En proyectos/notebooks/F1-retos.ipynb, sección Mat 14:

  1. Escribir hessiana(f, a, h=1e-4) por diferencias finitas y comprobarla contra la hessiana analítica de tres funciones distintas, midiendo cómo empeora el error cuando h baja de 10^{-6} —el error de redondeo crece más rápido que el de truncamiento—.
  2. Tomar f(x,y)=x^4-4xy+y^4 del segundo visual y dibujar, para cada uno de los tres puntos críticos, el cociente [f(p+rv)-f(p)]/r^2 en función de r para varias direcciones fijas. Comprobar que todas convergen a \tfrac12v^\top Hv y estimar a qué r deja de valer el modelo cuadrático.
  3. Construir una función con hessiana semidefinida positiva y menor eigenvalor exactamente cero en un punto crítico, tal que el punto sea mínimo; y otra con la misma hessiana donde no lo sea. Anotar en 50-Errores/ por qué el criterio se queda mudo ahí.

Del libro

Mathematics for Machine Learning trata este material al final de su capítulo 5: §5.7 Higher-Order Derivatives introduce la hessiana, y §5.8 Linearization and Multivariate Taylor Series la aproximación de Taylor en varias variables. El libro tiene copyright y no es descargable desde el entorno en que se escribió esta página, así que se cita número y título y no se le atribuye ninguna frase.

Preguntas para leer §5.7 y §5.8 con lápiz:

  1. §5.8 escribe la serie de Taylor multivariante con tensores de orden creciente, de los que la hessiana es el de orden dos. Con la Definición 14.4, ¿cuántas entradas independientes tiene el término de orden tres de una función de n variables, y por qué la simetría de la Proposición 14.3 se generaliza a él?
  2. La linealización de §5.8 es exactamente T_1. ¿Qué hipótesis de la Proposición 14.5 se necesita para que el error sea o(\|h\|^2) y no solo o(\|h\|), y dónde se usa en la demostración?
  3. §5.7 define la hessiana para funciones escalares. Para una función vectorial f:\mathbb{R}^n\to\mathbb{R}^m la segunda derivada deja de ser una matriz. ¿Qué objeto es, y cuántos índices tiene?

Para el Cerebro

Nota nueva en 10-Conceptos/hessiana.md, enlazada a [[derivada-y-gradiente]], [[formas-cuadraticas]] y [[convexidad]]. Conviene rehacer a mano la demostración de la Proposición 14.5 con \phi(t)=f(a+th): reduce todo el caso multivariante al Taylor de una variable, y es el mismo truco que reaparece en la lección 15 para la convexidad y en la 17 para el método de Newton.

¿Qué es la hessiana?::La matriz de todas las segundas derivadas parciales, H_f(a)
¿Cuándo es simétrica?::Cuando las segundas parciales cruzadas son continuas en un entorno del punto
¿Qué pasa si no lo son?::Puede fallar: en xy(x²−y²)/(x²+y²) las dos cruzadas valen −1 y +1 en el origen
¿Qué es T₂?::f(a) + ∇f(a)·h + ½ hᵀH h, el polinomio de Taylor de orden dos
¿Cuánto vale el error de T₂?::Es o(‖h‖²): dividido entre ‖h‖² tiende a cero
¿Cómo se demuestra Taylor multivariante?::Con φ(t)=f(a+th) se reduce al Taylor de una variable, vía regla de la cadena
¿Qué es un punto crítico?::Un punto donde el gradiente se anula
¿Por qué en un mínimo local el gradiente es cero?::Porque si no lo fuera, la dirección −∇f haría bajar a f (Prop 13.9)
¿Qué decide si un punto crítico es mínimo?::El signo de los eigenvalores de la hessiana
¿Definida positiva?::Mínimo local estricto; definida negativa, máximo; indefinida, punto silla
¿Y si el menor eigenvalor es cero?::El criterio no decide: x⁴, x³ y −x⁴ tienen todas segunda derivada nula en 0
¿Qué es un punto silla?::Un punto crítico con vecinos por encima y por debajo, en direcciones distintas

Fuentes

Lo que esta página demuestra sola. Las Proposiciones 14.3, 14.5, 14.7 y 14.8 se demuestran aquí a partir de la lección 13 —la regla de la cadena y la dirección de máximo descenso— y de la lección 12 —el criterio espectral—. Se comprueban además numéricamente: la simetría de las cruzadas hasta la sexta cifra en un caso y su fallo por dos unidades enteras en el contraejemplo; que el error de T_1 es de orden t^2 y el de T_2 de orden t^3, con la primera columna convergiendo a |u^\top Hu|/2; la clasificación de los tres puntos críticos de x^4-4xy+y^4 contra el conteo de 4000 vecinos sorteados; los tres desenlaces con segunda derivada nula; y que la hessiana de una cuadrática es constante y su mínimo es global a cualquier distancia. Los dos visuales se contrastaron antes de publicarse contra las fórmulas en todo el rango de sus controles.

Lo que se usa de otras lecciones sin repetir. La regla de la cadena es la Proposición 13.3 y la fórmula D_vf(a)=\nabla f(a)\cdot v es la 13.8; la dirección de máximo descenso, la 13.9. La identidad (\ast) que acota h^\top Hh entre \lambda_n\|h\|^2 y \lambda_1\|h\|^2 es la Proposición 12.4. Que una matriz simétrica tiene eigenvalores reales y base ortonormal de eigenvectores es la lección 10.

Lo que se enuncia sin demostrar. El teorema del valor medio, usado dos veces en la Proposición 14.3, y el desarrollo de Taylor de una variable con resto de Lagrange, usado en la 14.5: los dos son resultados de cálculo de una variable que se dan por conocidos. En la 14.5 se acota la forma cuadrática por la magnitud de las entradas de la matriz sin precisar qué norma matricial se usa; cualquiera de las equivalentes sirve, y la conclusión no depende de la elección.

Lo que viene de los libros.

  • Mathematics for Machine Learning (Deisenroth, Faisal & Ong, Cambridge University Press, 2020), §5.7 Higher-Order Derivatives y §5.8 Linearization and Multivariate Taylor Series — citadas por número y título, sin transcribir texto.

Lo que es mío, no del libro. La demostración de la Proposición 14.3 por doble incremento, escrita para que la hipótesis de continuidad se vea usada en el último paso y no antes. El contraejemplo medido en la primera celda, elegido para que el fallo se note en unidades enteras y no en decimales. Y el segundo visual, que dibuja [f(p+rv)-f(p)]/r^2 en lugar de la diferencia cruda: así el modelo cuadrático queda fijo mientras r cambia, y se ve converger lo que la Proposición 14.5 afirma.

Índices verificados el 12-09-2026 contra el índice publicado del PDF oficial.

→ Siguiente: Convexidad y por qué importa