how the normal equation is obtained?

Para obtener la ecuación normal debemos partir del punto en que ya sabemos que sirve para encontrar todos los parámetros de un sistema multiparamétrico (con n parámetros θ en lugar de solo uno o dos como anteriormente), que además tiene un número de entradas de n-1 y que esto se puede expresar de manera matricial.

Este modelo se expresa como:

Donde:

· y^ =vector o matriz de valores predichos de m x 1 (m es la cantidad de datos).

· X = matriz de entradas de m x n (la primera columna es únicamente unos, lo que equivale a que el modelo inicia con el parámetro θ^0 que no multiplica a una entrada).

· θ = vector o matriz de parámetros del modelo de n x 1.

La ecuación que buscamos es resultado del Error Cuadrático Promedio, esto es similar a la sumatoria de errores cuadráticos trabajada anteriormente, solo que al ser promedio el resultado de la sumatoria se divide entre m (cantidad de datos).

Esta vez se está trabajado con vectores y matrices, entonces hay ciertas reglas que se pueden utilizar, como el hecho de que suma de los cuadrados de los elementos de un vector es igual al producto de este por su transpuesta (a*a^T), entonces si nuestro vector a es todo xθ-y, podemos hacer lo siguiente:

Además, por propiedades cuando se tiene la transpuesta de una suma o resta de matrices (A+B)^T es equivalente a tener la suma de latranspuesta de cada una (A^T + B^T), por lo tanto:

Recordando que buscaremos el valor mínimo del error para obtener los parámetros, entonces de nuevo se debe recurrir a las derivadas:

El valor de 1/m es una constante, por lo que al igualar a cero se puede omitir. Además, antes de derivar se puede desarrollar la multiplicación de las dos diferencias para lograr obtener una forma más sencilla (tipo polinomio) para derivar:

Como al realizar el producto de y(xθ)^T dará el mismo resultado que (xθ)y^T se pueden sumar, ya que representan la misma cantidad. Así que:

Aplicando una regla que ya habíamos utilizado anteriormente:

Entonces ahora que ya se ha reducido al máximo la expresión ha resultado una forma polinomial que es fácil de derivar, derivando:

Ahora únicamente falta despejar θ:

Así se llega a la ecuación normal que se busca, nótese que se añade el gorrito a θ únicamente para indicar que serán valor calculados y no reales proporcionados como lo son las y.