Aproximación discreta mínimo-cuadrática: caso lineal
1. Tema 6: Aproximación.
71
1
1
TEMA 6: APROXIMACIÓN.
6.1.- INTRODUCCIÓN.
Nos ocuparemos en este capÌtulo del concepto y mÈtodos de la aproximación de funcio-
nes, en sus dos modalidades de aproximación discreta y aproximación continua. Se pondr·
mayor Ènfasis en los mÈtodos de aproximación lineal, pero se considerar·n tambiÈn casos
caracterÌsticos de aproximación no lineal, todos ellos enmarcados en el mÈtodo de los mÌni-
mos cuadrados que protagoniza el desarrollo del capÌtulo por ser el de mayor interÈs e impor-
tancia para la pr·ctica de la ingenierÌa.
En muchos problemas de ingenierÌa es necesario trabajar a menudo con conjuntos de
datos experimentales (x1,y1),..., (xN,yN), donde las abscisas {xk} (distintas entre sÌ) representan
la variable independiente, y las ordenadas {yk} la medida realizada. Interesa entonces deter-
minar la función y = f (x) que mejor se aproxime a los datos, proceso matem·tico que se de-
nomina aproximación discreta en consonancia con el n˙mero finito N de puntos (xi,yi) que se
utilizan como datos de partida.
En ocasiones la representación gr·fica de los datos puede ser fuente de información que
nos permita elegir el tipo de función f que mejor se ajusta a los mismos; pero tambiÈn puede
ocurrir que, conociendo suficientemente el fenómeno fÌsico en estudio, dispongamos de un
modelo matem·tico y de la forma de la función f que lo describe, a falta de mayor concreción
en par·metros fÌsicos del modelo o, simplemente, de mayor precisión en las medidas tomadas
por limitaciones instrumentales y humanas. En ambos casos, lo que queda es hallar los valores
m·s adecuados de los M par·metros {cj (j = 1,...,M)} que definen la función matem·tica
f (x,c1,...,cM) que mejor aproxima el cumplimiento de las N condiciones estipuladas:
yi = f (xi,c1,...,cM) (i =1,...,N) (1)
Estas condiciones representan un sistema algebraico de ecuaciones lineales que habr·
que resolver para determinar los par·metros {cj (j =1,...,M)}.
Ejemplo 1:
Se trata de ajustar los 3 coeficientes de la función polinómica de grado 2:
f (x) = c1 + c2x + c3x2
a un conjunto de 5 datos (puntos) disponibles (xi,yi) (i = 1,...,5).
Las ecuaciones (1) indican que la curva y = f (x) debe pasar por los 5 puntos (xi,yi) definidos como
datos para este ejemplo. En este caso las ecuaciones (1) se particularizan en el siguiente sistema
lineal de 5 ecuaciones y 3 incógnitas {c1, c2, c3}:
1 x x2 y
1 1
1 x x2
c y
2 2
2
1 x x2 c y Ac b
3 3
2 3
1 x x2 c y
4 4
1 x x2
3 4
y
5 5 5
que en formato matricial en lo que sigue representaremos en la forma: A c b, indicando con A la
matriz de coeficientes, c el vector de incógnitas y b el vector tÈrmino independiente.
2. Tema 6: Aproximación.
72
1 3 2n1
ObsÈrvese que el sistema est· sobredeterminado porque tiene mayor n˙mero de ecua-
ciones que de incógnitas; por tanto, en general, no existir· solución, y de ahÌ el signo utili-
zado en lugar del habitual =. Ello quiere decir que resolveremos el sistema rectangular de
ecuaciones de manera aproximada buscando el mejor (o menos malo) conjunto de incógnitas
{c1, c2, c3}; el significado de mejor y el mÈtodo de resolución son aspectos a desarrollar a lo
largo del capÌtulo. El significado geomÈtrico de la solución es el adelantado al plantear el pro-
blema: al calcular {c1, c2, c3} estaremos definiendo el polinomio de grado 2 que mejor se
acerca a los 5 puntos proporcionados como datos.
Una conclusión importante del comentario anterior es que en este capÌtulo dedicado a la
aproximación de funciones, indirectamente tambiÈn abordamos la resolución, en sentido
aproximado, de sistemas lineales de ecuaciones rectangulares para los que en general no exis-
te solución; efectivamente, ser· muy ˙til en muchas aplicaciones pr·cticas definir un vector
˙nico que verifique un sistema de ecuaciones sobredeterminado de manera aproximada ópti-
ma (en el sentido de los mÌnimos cuadrados, como veremos).
ObsÈrvese tambiÈn que de existir sólo 3 puntos como dato, el sistema estarÌa determina-
do y el polinomio calculado pasarÌa exactamente por los 3 puntos; habrÌamos resuelto enton-
ces un problema de interpolación que est· incluido (cuando N = M) en el problema m·s gene-
ral de aproximación discreta. Ello no quiere decir que el problema general de aproximación
(N > M) carezca de interÈs; al contrario, normalmente en los problemas de ajuste de los datos
experimentales interesa que N >M para atenuar y filtrar posibles errores o imprecisiones.
La aproximación discreta y la interpolación de funciones son conceptos cercanos pero
en el primero no se exige como en el segundo que la función aproximante verifique exacta-
mente los datos discretos del problema; esta diferencia evita las dificultades observadas en la
interpolación de grandes cantidades de datos, especialmente si Èstos muestran alg˙n tipo de
ruido o perturbación proveniente de los errores experimentales.
En otras ocasiones puede ser conveniente aproximar en un intervalo dado [a,b] una fun-
ción continua f *(x) en vez de un conjunto discreto de puntos (xi,yi), mediante otra función f (x)
de una familia o clase de funciones que comparten alguna caracterÌstica que facilita el trabajo
matem·tico, por ejemplo polinomios, funciones racionales, polinomios trigonomÈtricos, etc.
Estaremos entonces ante el concepto de aproximación continua, que ser· objeto de estudio en
los apartados finales del capÌtulo.
Com˙n a ambos tipos de aproximación, discreta o continua, es el car·cter lineal o no
lineal de la misma, que definiremos a continuación, como paso previo al desarrollo del capÌtu-
lo; asÌ, diremos que un mÈtodo de aproximación es lineal si la función aproximante
f (x,c1,...,cM) es lineal en los par·metros {cj (j =1,...,M)}; y no lineal en el caso contrario.
Ejemplo 2:
El ajuste polinomial mediante la función
f (x) = c1 + c2x + c3x2
+ FFF + cnxn1
es un problema de aproximación lineal, porque un polinomio es lineal en sus coeficientes, aunque
no lo es en general en la variable independiente x. Sin embargo, el ajuste exponencial mediante la
función
f (x) c ec2 x
c ec4 x
c ec2 n x
es un problema de aproximación no lineal.
3. Tema 6: Aproximación.
73
N
6.2.- APROXIMACIÓN DISCRETA.
øCómo se determina la mejor aproximación f (x) que pase cerca (no por cada uno) de los
N puntos dato (xk,yk)? Para responder esta pregunta hay que considerar los errores (tambiÈn
llamados desviaciones) que se definen a continuación:
ek = f (xk) yk (k 1,...,N)
Hay varias normas (formas de medir estos errores) que podemos usar para medir la dis-
tancia entre la curva y = f (x) y los datos. Las m·s utilizadas son:
Error m·ximo: E (f ) max
1k N
f (xk ) yk
1 N
Error medio: E1( f )
k 1
f ( xk ) yk
Error cuadr·tico medio: E2 ( f )
Ejemplo 3:
Vamos a comparar el error m·ximo, el error medio y el error cuadr·tico medio de la aproxima-
ción lineal y = f (x) = 8.6 1.6 x con respecto al conjunto de datos (1,10), (0,9), (1,7), (2,5), (3,4),
(4,3), (5,0) y (6,1).
En la siguiente tabla se representan estos datos, el error absoluto y el error cuadr·tico en cada
punto:
xk yk f (xk) = 8.61.6 xk |ek| ek
2
1 10.0 10.2 0.2 0.04
0 9.0 8.6 0.4 0.16
1 7.0 7.0 0.0 0.00
2 5.0 5.4 0.4 0.16
3 4.0 3.8 0.2 0.04
4 3.0 2.2 0.8 0.64
5 0.0 0.6 0.6 0.36
6 1.0 1.0 0.0 0.00
Suma: 2.6 1.40
Los errores se calculan a partir de los valores f (xk) y ek:
E(f ) = max{0.2, 0.4, 0.0, 0.4, 0.2, 0.8, 0.6, 0.0} = 0.8
E1(f ) = 2.6 / 8 = 0.325
E2(f ) = (1.4 / 8)1/2
0.41833
Podemos ver que el error m·ximo E( f ) es el mayor de los tres. Si el error en un punto es grande,
entonces elvalor de este error es el que determina E( f ). El error medio E1( f ) es simplemente la
media aritmÈtica de los valores absolutos de los errores en los puntos; se usa a menudo porque es
f·cil de calcular. El error cuadr·tico medio E2( f ) se usa muy a menudo porque es f·cil de mini-
mizar y porque considera la naturaleza aleatoria de los errores.
La función mejor aproximación es aquÈlla que minimiza la función error y, por tanto,
depender· de la norma elegida para la definición del mismo. Con las normas definidas, serÌan
tres las funciones de aproximación óptimas que podrÌamos calcular, pero la que corresponde a
la tercera norma, el error cuadr·tico medio, es la elección m·s utilizada en IngenierÌa, y se
denomina aproximación mÌnimo-cuadr·tica.
1
N
N
f (x ) y
k k
2
k1
4. Tema 6: Aproximación.
74
M
M
6.3.- APROXIMACIÓN DISCRETA MÍNIMO-CUADR¡TICA: CASO LINEAL.
Dados N puntos {(xk,yk) (k = 1,...,N)} con abscisas distintas, y M funciones linealmente
independientes { fj (x) (j = 1,...,M)}, se trata de encontrar M coeficientes {cj} tales que la fun-
ción f (x) definida como la combinación lineal
f (x) cj f j (x)
j 1
minimice la suma de los cuadrados de los errores cometidos en cada punto:
N
2
N M
E c1, c2 , , cM f (xk ) yk c j f j xk yk
k1 k1 j 1
es decir, E= N[E2(f )]2. Minimizar E es equivalente a minimizar E2(f ), y para que la magni-
tud escalar E alcance un mÌnimo relativo para un conjunto dado de valores de los par·metros
{c1,..., cM}, es necesario que se verifiquen las condiciones E / ci = 0 para i = 1,2,..., M. Cal-
culando estas derivadas e igualando a cero se obtiene un sistema de ecuaciones lineales cuya
solución es {cj}. En efecto,
E
N M
c
0 2
cj fj xk yk
fi xk
i k1 j1
cj fj xk fi xk yk fi xk
k1 j1 k1
y permutando los signos de sumatorio queda el siguiente sistema de ecuaciones en cj:
N
f (x ) f (x ) c
f (x ) y (i 1,2,...,M) (2)
j 1 k1
j k i k
j i k k
k1
que reciben el nombre de ecuaciones normales o ecuaciones normales de Gauss.
A pesar de su car·cter aproximado, la solución obtenida mediante mÌnimos cuadrados
alisa (filtra) los errores aleatorios de los datos y permite captar la tendencia de fondo mostrada
por el fenómeno medido. Precisamente, el mÈtodo fue desarrollado por Gauss para calcular
las órbitas celestes de planetas y cometas. Las órbitas elÌpticas de estos cuerpos quedan de-
terminadas por cinco par·metros, es decir, en principio, por cinco observaciones de su posi-
ción. Sin embargo, debido a la imprecisión de los instrumentos de medida y del factor huma-
no, el c·lculo de una órbita a partir de tan solo 5 observaciones es escasamente fiable, y la
solución correcta se obtiene mediante el ajuste por mÌnimos cuadrados de numerosas observa-
ciones.
ObsÈrvese que hemos pasado del sistema rectangular de ecuaciones (1) de dimensión
NM al sistema final cuadrado de dimensiones MM ; todo ello queda mejor reflejado si de
manera equivalente reproducimos el proceso seguido en forma matricial como en el Ejem-
plo 1. Entonces el sistema de ecuaciones (1) es equivalente a:
M
aij f j (xi )
c j f j (xi ) yi (i 1,..., N) Ac b
b y
j 1 i i
N M N
N
2
5. Tema 6: Aproximación.
75
2
b r = b A c
Ac
En la fila genÈrica i se establece que la función f (x) verifica (aproximadamente) el dato (xi,yi).
Las dimensiones de la matriz de coeficientes A y del vector b son NM y N1 respectivamen-
te, y estaremos tratando con un sistema lineal de ecuaciones rectangular sobredeterminado si,
como ocurre en general, N> M.
Para obtener la solución de mÌnimos cuadrados del sistema rectangular A c b defini-
remos el vector residuo y minimizaremos el cuadrado de su norma euclÌdea:
r b Ac; r 2 rTr (b Ac)T (b Ac) bTb 2cT ATb cT AT Ac
anulando las derivadas con respecto a los par·metros c, para obtener:
2AT
b 2AT
Ac 0 (3)
…ste es un sistema de M ecuaciones con M incógnitas (matriz de coeficientes ATA de dimen-
sión MM ) que se conoce como sistema de ecuaciones normales. Si el rango de la matriz A
es M (las columnas de A son linealmente independientes), el sistema de ecuaciones obtenido
es no singular y tiene solución ˙nica.
Efectivamente, entonces A c representa un vector del espacio generado por las columnas
de A (dimensión M en general; el plano en la figura) que en el caso habitual del mÈtodo de los
mÌnimos cuadrados (N > M ) no incluye al vector b de dimensión N. Por tanto en lugar de una
solución exacta buscaremos el vector A c (del espacio generado por las columnas de A) m·s
cercano a b (en la norma euclÌdea); entonces, este vector A c deber· coincidir con la proyec-
ción ortogonal de b en el espacio columna de A (el plano), como se muestra en la figura:
Figura 1.
Por tanto, el vector residuo r = b A c ser· perpendicular al espacio columna de A, y se
verificar· la condición de ortogonalidad (producto escalar nulo) de todos los vectores colum-
nas de A con el vector (columna) r; en formato matricial:
0 AT
r AT
(b Ac) AT
Ac AT
b
que es el mismo sistema de ecuaciones normales obtenido anteriormente.
Ejemplo 4:
Resolver numÈricamente el Ejemplo 1 (ajuste cuadr·tico a 5 puntos) con arreglo a los siguientes
valores numÈricos:
x ñ1.0 ñ0.5 0.0 0.5 1.0
y 1.0 0.5 0.0 0.5 2.0
Resolución:
El sistema de ecuaciones sobredeterminado ser·:
AT Ac ATb
6. Tema 6: Aproximación.
76
1
1 1.0 1.0 1.0
1 0.5 0.25
c
0.5
Ac 1 0.0 0.0
c2 0.0 b
1 0.5 0.25
c
0.5
3
1 1.0 1.0 2.0
El sistema de ecuaciones normales: AT
A c AT
b
1
1 1 1 1 1
1
1.0 1.0
0.5 0.25
5.0 0.0 2.5
T
A A 1.0 0.5 0.0 0.5 1.0
1 0.0 0.0 0.0 2.5 0.0
1.0 0.25 0.0 0.25 1.0
1 0.5 0.25
1 1.0 1.0
1.0
2.5 0.0 2.125
1 1 1 1 1
0.5
4.0
T
A b 1.0 0.5 0.0 0.5 1.0
0.0 1.0
1.0 0.25 0.0 0.25 1.0
0.5
3.25
2.0
Tiene como solución:
0.086
c
0.40
1.4
y por tanto:
6.3.2.- Aproximación polinomial.
Es un caso particular de la aproximación discreta mÌnimo-cuadr·tica lineal que ya ha
sido tratado en alguno de los ejemplos; veremos aquÌ su formulación y caracterÌsticas especÌ-
ficas. Cuando en el mÈtodo general descrito se tienen de nuevo N puntos, pero se utilizan M
funciones { fj (x) = xj (j = 0,1, .., M1)}, la función aproximante f (x) ser· un polinomio de gra-
do menor o igual que M1:
f (x) c
M 1
c x c x2
c xM 1
c x j
0 1 2 M 1 j
j 0
Entonces, procediendo an·logamente al caso anterior:
N
2
N M 1
j
E f (xk ) yk c j xk yk E(c0 ,..., cM 1 )
k1
E
k1 j 0
N M 1
j i
y minimizando E:
c
0 2 cj xk yk xk
i
M 1
N
k1
ji
j 0
N
i
xk c j yk xk (i 0,1,...,M 1) (4)
j 0 k
1
aij
k 1
f (x) 0.086 0.4x 1.4x2
2
7. Tema 6: Aproximación.
77
2
ObsÈrvese que la matriz de coeficientes de este sistema es simÈtrica, pues aij = aji; ade-
m·s, aij es cte. para i+j = cte., con lo que tambiÈn son iguales todos los elementos alineados
perpendicularmente a la diagonal principal.
6.3.2.1.- Aproximación polinómica lineal. Determinación de la recta de regresión.
Se trata del caso particular en que el grado del polinomio es 1 y el n˙mero de coeficien-
tes a determinar es M = 2. La recta de regresión o recta óptima en (el sentido de los) mÌnimos
cuadrados es la de ecuación
y = f (x) = Ax+ B
que minimiza el error cuadr·tico medio E2(f ). Recordemos que la cantidad E2(f ) ser· mÌnima
si lo es el valor E=N [E2(f )]2; en este caso:
E N[E ( f )]2
Axk B yk
k 1
valor que puede visualizarse geomÈtricamente como la suma de los cuadrados de las distan-
cias verticales desde los puntos hasta la recta. Particularizando a este caso las fórmulas gene-
rales para polinomios (4), los coeficientes de la recta de regresión resultan ser la solución del
siguiente sistema lineal de ecuaciones normales:
N
2 N N
xk A xk B yk xk
k 1
k1 k1
(5)
N
N
xk A N B yk
k 1 k 1
RecuÈrdese que el sistema de ecuaciones normales tambiÈn puede obtenerse matricial-
mente seg˙n (3).
6.3.2.2.- Aproximación polinómica cuadr·tica.
Eligiendo como función de aproximación un polinomio de grado 2, y M =3 coeficientes
a determinar, la par·bola óptima en el sentido de los mÌnimos cuadrados:
y = f(x) = Ax2 + Bx + C
se determina sustituyendo los coeficientes A= c3, B= c2 y C =c1 en el sistema de ecuaciones
normales (4):
N
4 N
3 N
2 N
2
xk A xk Bxk C yk xk
k 1 k1 k 1 k 1
N
3 N
2 N
N
xk A xk B xk C yk xk (6)
k 1 k1 k 1 k 1
N 2 N
N
xk A xk B N C yk
k 1 k 1 k 1
y resolviendo el sistema de 3 ecuaciones para las incógnitas A, B y C. ObsÈrvense las simetrÌ-
as en la matriz de coeficientes, y recuÈrdese que el sistema de ecuaciones normales tambiÈn
puede obtenerse matricialmente seg˙n (3).
6.3.2.3.- Inconvenientes de la aproximación polinomial. Ortogonalización.
N
2
8. Tema 6: Aproximación.
78
Si los datos no muestran una naturaleza polinomial, puede ocurrir que la curva resultan-
te presente oscilaciones grandes. Este fenómeno, llamado oscilación polinomial, se hace m·s
pronunciado conforme aumenta el grado del polinomio, y por esta razón no se suelen usar
polinomios de grado seis o mayor a no ser que se sepa que la función de la que provienen los
datos es un polinomio.
Por otra parte el sistema de ecuaciones normales es un sistema mal condicionado, que
se ve muy afectado por los errores de redondeo. De hecho, se puede demostrar que, al formar
el sistema de ecuaciones normales, el n˙mero de condición de la matriz A de coeficientes ori-
ginal (que empeora sensiblemente al aumentar el grado del polinomio de aproximación) que-
da elevado al cuadrado en la matriz de coeficientes ATA resultante.
cond( AT A) [cond( A)]2