Introducción al ajuste por mínimos cuadrados

Un modelo de regresión relaciona los datos de respuesta con los datos predictores mediante uno o varios coeficientes. Un método de ajuste es un algoritmo que calcula los coeficientes del modelo a partir de un conjunto de datos de entrada. Curve Fitting Toolbox™ utiliza métodos de ajuste por mínimos cuadrados para estimar los coeficientes de un modelo de regresión.

Curve Fitting Toolbox admite los métodos de ajuste por mínimos cuadrados siguientes:

Mínimos cuadrados lineales
Mínimos cuadrados ponderados
Mínimos cuadrados robustos
Mínimos cuadrados no lineales

El tipo de modelo de regresión y las propiedades de los datos de entrada determinan el método de mínimos cuadrados que es más adecuado para estimar los coeficientes del modelo.

Calcular valores residuales

Un valor residual de un punto de datos es la diferencia entre el valor de la respuesta observada y la estimación de respuesta devuelta por el modelo ajustado. La fórmula para calcular el vector de respuestas estimadas es

$\hat{y} = f (X, b)$

, donde

$\hat{y}$ es un vector de respuestas estimadas de n por 1.
f es el formato general del modelo de regresión.
X es una matriz con diseño de n por m.
b es un vector de respuestas de m por 1 de coeficientes de modelos ajustados.

Un método de ajuste por mínimos cuadrados calcula los coeficientes del modelo que minimizan la suma de errores cuadráticos (SSE), que también se llama suma residual de cuadrados. Dado un conjunto de n puntos de datos, el valor residual del punto de datos i-ésimo r_i se calcula empleando la fórmula

$r_{i} = y_{i} - {\hat{y}}_{i}$

donde y_i es el i-ésimo valor de respuesta observado y ŷ_i es el i-ésimo valor de respuesta ajustado. El SSE viene dado por

$S S E = \sum_{i = 1}^{n} r_{i}^{2} = \sum_{i = 1}^{n} {(y_{i} - {\hat{y}}_{i})}^{2}$

Supuestos de error

La diferencia entre los valores observados y verdaderos de un punto de datos se conoce como el error. Dado que no se puede observar directamente, el error para un punto de datos se aproxima con el valor residual del punto de datos.

Los métodos de ajuste por mínimos cuadrados son más precisos para conjuntos de datos que no contienen un gran número de errores aleatorios con valores extremos. Los resultados estadísticos, como los límites de confianza y de predicción, asumen que los errores tienen una distribución normal. Las técnicas de ajuste de datos suelen hacer dos suposiciones importantes sobre el error en los datos que contienen variaciones aleatorias:

El error existe solo en los datos de respuesta y no en los datos predictores.
Los errores son aleatorios y siguen una distribución normal con media cero y varianza constante.

Las técnicas de ajuste de datos asumen que los errores tienen una distribución normal porque esta suele proporcionar una aproximación adecuada a la distribución de muchas cantidades medidas. Aunque el método de ajuste por mínimos cuadrados no asume errores distribuidos con normalidad cuando calcula estimaciones de parámetro, el método funciona mejor para datos que no contienen un gran número de errores aleatorios con valores extremos. La distribución normal es una de las distribuciones de probabilidad en la que los errores aleatorios extremos no son habituales. Sin embargo, los resultados estadísticos como los límites de confianza y de predicción requieren errores con distribución normal para ser válidos.

Si la media de los valores residuales no es cero, compruebe si los valores residuales están influenciados por la elección del modelo o de las variables predictoras. En el caso de los métodos de ajuste que no sean mínimos cuadrados ponderados, Curve Fitting Toolbox asume adicionalmente que los errores tienen varianza constante en los valores de las variables predictoras. Los valores residuales que no tienen una varianza constante indican que el ajuste podría estar influenciado por datos de baja calidad.

Mínimos cuadrados lineales

Curve Fitting Toolbox utiliza el método de mínimos cuadrados para ajustar un modelo lineal a los datos. Un modelo lineal se define como una ecuación que es lineal en sus coeficientes. Use el método de ajuste lineal por mínimos cuadrados cuando los datos contienen pocos valores extremos y la varianza del error es constante en las variables predictoras.

Un modelo lineal de grado m – 1 tiene un formato de matriz

$y = X β + ε$

donde

y es un vector de datos de respuesta de n por 1.
$β$ es un vector de coeficientes desconocidos de m por 1.
X es una matriz con diseño de n por m que contiene m – 1 columnas de predictor. Cada variable predictora se corresponde con una columna de X. La última columna de X es una columna de unos que representa el término constante del modelo.
$ε$ es un vector de errores desconocidos de n por 1.

Por ejemplo, un polinomio de primer grado con el formato

$y = p_{1} x + p_{2}$

viene dado por

$[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \\ . \\ . \\ . \\ y_{n} \end{matrix}] = [\begin{matrix} x_{1} 1 \\ x_{2} 1 \\ x_{3} 1 \\ . \\ . \\ . \\ x_{n} 1 \end{matrix}] \times [\begin{array}{l} p_{1} \\ p_{2} \end{array}]$

No se puede calcular $β$ directamente porque $ε$ es desconocido. El método de ajuste por mínimos cuadrados lineales aproxima $β$ calculando un vector de coeficientes b que minimiza la SSE. Para calcular b, Curve Fitting Toolbox resuelve un sistema de ecuaciones conocidas como ecuaciones normales. Las ecuaciones normales vienen dadas por la fórmula

$(X^{T} X) b = X^{T} y$

, donde X^T es la traspuesta de la matriz X. La fórmula para b es entonces

$b = {(X^{T} X)}^{- 1} X^{T} y$

. Utilice el operador de barra invertida de MATLAB^® (mldivide) para resolver el sistema de ecuaciones lineales simultáneas para coeficientes desconocidos. Dado que invertir X^TX puede llevar a errores de redondeo inaceptables, el operador de barra invertida utiliza la descomposición QR con pivoteo, que es un algoritmo muy estable numéricamente. Consulte Operaciones aritméticas para obtener más información sobre el operador de barra invertida y la descomposición QR. Para calcular el vector de valores de respuesta ajustados ŷ, sustituya b en la fórmula del modelo.

$\hat{y} = X b$

Para obtener un ejemplo de ajuste de un modelo polinómico usando el método de ajuste por mínimos cuadrados lineales, consulte Ajustar un modelo polinómico a los datos.

Mínimos cuadrados ponderados

Si el error en los datos de respuesta no tiene varianza constante en los valores de los datos predictores, el ajuste puede verse influenciado por datos de baja calidad. El método de ajuste por mínimos cuadrados ponderados utiliza factores de escala denominados ponderaciones para influir en el efecto de un valor de respuesta en el cálculo de los coeficientes del modelo. Utilice el método de ajuste por mínimos cuadrados ponderados si las ponderaciones son conocidas o siguen un formato concreto.

El método de ajuste por mínimos cuadrados ponderados introduce ponderaciones en la fórmula para SSE, que se convierte en

$S S E = \sum_{i = 1}^{n} w_{i} {(y_{i} - {\hat{y}}_{i})}^{2}$

, donde w_i son las ponderaciones. Las ponderaciones que proporcione deberían transformar las varianzas de respuesta en un valor constante. Si conoce las varianzas $σ_{i}^{2}$ de los errores de medición de sus datos, entonces las ponderaciones vienen dadas por $w_{i} = \frac{1}{σ_{i}^{2}}$ . Como alternativa, se pueden utilizar los valores residuales para estimar el error en el cálculo de $σ_{i}^{2}$ .

La fórmula ponderada para SSE genera la fórmula para b

$b = {(X^{T} W X)}^{- 1} X^{T} W y$

donde W es una matriz diagonal tal que $W_{i i} = w_{i}$ .

Para obtener un ejemplo de ajuste de un modelo polinómico usando el método de ajuste por mínimos cuadrados ponderados, consulte Mejorar el ajuste de un modelo con ponderaciones.

Mínimos cuadrados robustos

Los valores extremos en los datos de respuesta se denominan valores atípicos. El ajuste por mínimos cuadrados lineales es sensible a los valores atípicos porque al elevar al cuadrado los valores residuales se magnifican los efectos de estos puntos de datos en el cálculo de la SSE. Use el método de ajuste robusto por mínimos cuadrados si sus datos contienen valores atípicos.

Curve Fitting Toolbox ofrece los métodos de ajuste robustos por mínimos cuadrados siguientes:

Mínimo de valores residuales absoluto (LAR). Este método identifica una curva que minimiza los valores residuales en lugar de las diferencias cuadráticas. Por lo tanto, los valores extremos tienen una influencia menor en el ajuste.
Ponderaciones bicuadradas. Este método minimiza una suma ponderada de cuadrados, donde la ponderación dada a cada punto de datos depende de lo lejos que esté el punto de una curva ajustada. Los puntos cerca de la curva ajustada obtienen una ponderación completa. Los puntos más alejados de la curva obtienen una ponderación reducida. Los puntos que están más alejados de la curva de lo que cabría esperar por casualidad obtienen una ponderación de cero.
El método de ponderaciones bicuadradas suele ser preferible al LAR porque intenta buscar una curva que ajuste el grueso de los datos con el enfoque de mínimos cuadrados y, al mismo tiempo, minimiza el efecto de los valores atípicos.

El ajuste robusto de ponderaciones bicuadradas utiliza el algoritmo de mínimos cuadrados ponderados de forma iterativa, que sigue estos pasos:

Ajusta el modelo por mínimos cuadrados ponderados. Para la primera iteración, el algoritmo utiliza ponderaciones iguales a uno a menos que se especifiquen las ponderaciones.
Calcula los valores residuales ajustados y los estandariza. Los valores residuales ajustados vienen dados por

$r_{a d j} = \frac{r_{i}}{\sqrt{1 - h_{i}}}$
, donde h_i son parámetros que reducen la ponderación de los puntos de datos que se encuentran lejos de la curva ajustada. Los valores residuales ajustados estandarizados vienen dados por

$u = \frac{r_{a d j}}{K s}$
, donde K=4,685 es una constante de ajuste y s es la desviación robusta estándar que se obtiene al dividir por 0,6745 la desviación absoluta mediana (DAM) de los valores residuales.
Calcula las ponderaciones robustas como una función de u. Las ponderaciones bicuadradas vienen dadas por
$w_{i} = {\begin{matrix} {(1 - {(u_{i})}^{2})}^{2} & | u_{i} | < 1 \\ 0 & | u_{i} | \geq 1 \end{matrix}$
Si el ajuste converge, sale del proceso de iteración. De lo contrario, realiza la siguiente iteración del método de ajuste de ponderaciones bicuadradas regresando al paso 1.

En lugar de minimizar los efectos de los valores atípicos con un ajuste de mínimos cuadrados robusto, puede marcar puntos de datos para excluirlos del ajuste. Para obtener más información, consulte Eliminar valores atípicos.

Para obtener un ejemplo de ajuste de un modelo polinómico usando el método de ajuste por mínimos cuadrados robusto, consulte Compare Robust Fitting Methods.

Mínimos cuadrados no lineales

Curve Fitting Toolbox utiliza el método de mínimos cuadrados no lineales para ajustar un modelo no lineal a los datos. Un modelo no lineal se define como una ecuación que es no lineal en los coeficientes o que tiene una combinación de coeficientes lineales y no lineales. Por ejemplo, los modelos exponencial, de Fourier y gausiano son modelos no lineales.

Un modelo no lineal tiene un formato de matriz

$y = f (X, β) + ε$

, donde

y es un vector de datos de respuesta de n por 1.
$β$ es un vector de coeficientes de m por 1.
X es la matriz de diseño de n por m.
f es una función no lineal de $β$ y X.
$ε$ es un vector de errores desconocidos de n por 1.

En un modelo no lineal, a diferencia de un modelo lineal, los coeficientes aproximados b no se pueden calcular utilizando técnicas de matriz. Curve Fitting Toolbox utiliza el enfoque iterativo siguiente para calcular los coeficientes:

Inicializa los valores de coeficientes. Para algunos modelos no lineales, la toolbox proporciona un enfoque heurístico para calcular valores iniciales. Para otros modelos, los coeficientes se inicializan con valores aleatorios en el intervalo [0,1].
Calcula la curva ajustada para el conjunto actual de coeficientes. El valor de respuesta ajustada ŷ viene dado por $\hat{y} = f (X, b)$ y se calcula empleando la matriz jacobiana de $f (X, β)$ . La jacobiana de $f (X, β)$ se define como la matriz de derivadas parciales tomadas con respecto a los coeficientes de $β$ .
Ajusta los coeficientes utilizando uno de estos algoritmos de mínimos cuadrados no lineales:
- Trust-region: este algoritmo es el predeterminado. Debe usar el algoritmo trust-region si especifica restricciones de coeficiente. Con el algoritmo trust-region se pueden resolver problemas no lineales con más eficiencia que con el resto de los algoritmos y constituye una mejora del popular algoritmo de Levenberg-Marquardt.
- Levenberg-Marquardt: si el algoritmo trust-region no produce un ajuste razonable y no dispone de restricciones de coeficiente, use el algoritmo de Levenberg-Marquardt.
Si el ajuste cumple con los criterios de convergencia especificados, sale de la iteración. De lo contrario, vuelve al paso 2.

Curve Fitting Toolbox admite el uso de ponderaciones y ajustes robustos para calcular la SSE en modelos no lineales.

La precisión de las predicciones de un modelo no lineal depende del tipo de modelo, los criterios de convergencia, el conjunto de datos y los valores iniciales asignados a los coeficientes. Si las opciones predeterminadas no generan un ajuste razonable, experimente con diferentes valores iniciales para los coeficientes del modelo, algoritmos de mínimos cuadrados no lineales y criterios de convergencia. En general, empiece modificando los valores iniciales de los coeficientes, ya que los ajustes de modelos no lineales son particularmente sensibles a los valores iniciales de los coeficientes del modelo. Para obtener más información sobre cómo modificar las opciones predeterminadas, consulte Especificar las opciones de ajuste y los puntos de partida optimizados.

Para obtener un ejemplo de ajuste de un modelo exponencial utilizando el método de ajuste por mínimos cuadrados no lineales, consulte Ajustar un modelo exponencial a los datos.

Referencias

[1] DuMouchel, W. H., and F. L. O'Brien. “Integrating a Robust Option into a Multiple Regression Computing Environment.” Computer Science and Statistics: Proceedings of the 21st Symposium on the Interface. Alexandria, VA: American Statistical Association, 1989.

[2] Holland, P. W., and R. E. Welsch. “Robust Regression Using Iteratively Reweighted Least-Squares.” Communications in Statistics: Theory and Methods, A6, 1977, pp. 813–827.