Este documento describe varios métodos para optimización sin restricciones, incluyendo la minimización o maximización de funciones de una o más variables. Explica conceptos como funciones cóncavas, convexas, cuasicóncavas y cuasiconvexas, y presenta métodos de búsqueda lineal como la búsqueda uniforme, dicotómica y de la relación áurea. También cubre búsqueda multidimensional usando derivadas y matrices definidas y semidefinidas.

1. OPTIMIZACIÓN SIN RESTRICCIONES.- Es el problema de minimizar o maximizar una función sin la existencia de restricciones. Esta función puede ser de una o más variables. Esto es importante porque un problema con restricciones puede tratarse con los multiplicadores de Lagrange como uno sin restricciones como veremos más adelante. Funciones cóncavas y convexas.- Revisemos el concepto de función cóncava f(x) es cóncava si f(X1+  (X2-X1))>=f(X1)+  (f(X2)-f(X1)) para  entre 0 y 1. Donde la primera parte es la ecuación de la curva desde X1 hasta X2, y la segunda parte la recta que va desde f(X1) hasta f(x2). Será convexa si –f(X) es cóncava

3. Funciones cuasicóncavas y cuasiconvexas.- La función f es cuasi convexa si para cada X1, X2 es verdad la siguiente inecuación f(X1+  (X2-X1)) <=Máximo {f(X1), f(X2)} Esto es justamente no cuasi convexa

4. Búsqueda lineal sin usar derivadas.- Supongamos que se debe minimizar f(x) sujeto a a<=X<=b. A este intervalo se lo llama de incertidumbre . En lo que sigue se verá un teorema que demuestra que si f es estrictamente cuasi convexa el intervalo de incertidumbre puede reducirse. Teorema.- sea f una función cuasiconvexa en el intervalo [a,b]. Sea c y d pertenecientes al intervalo [a,b] de tal manera que c < d. Si f(c)>f(d) entonces f(e)>=f(c) para todo e entre a y c a b c d f(c) f(d) Nuevo intervalo

5. Estos métodos pueden ser de 2 tipos: a) Simultáneos .- Cuando los puntos candidatos se determinan a priori; b) Secuenciales.- Cuando los puntos se ubican en función de los anteriores. Ejemplo de búsqueda simultánea: Búsqueda Uniforme.- El intervalo de incertidumbre [a,b] se divide en intervalos. n son los puntos de la grilla y n-1 los espacios. Hay tantas evaluaciones funcionales como puntos tiene la grilla. Se elige en caso de un mínimo el valor menor y se toma un intervalo a la derecha y otro a la izquierda y el nuevo intervalo se vuelve a dividir en partes. En general se puede detener por pequeña diferencia entre dos valores de la función sucesivos o por tamaño del último intervalo. Ejemplo de búsqueda secuencial: Búsqueda dicotómica.- Si coloco c y d a distancia e del centro de ab, e deberá ser suficiente grande para diferenciar sus valores funcionales pero a su vez pequeño para que el nuevo intervalo de incertidumbre sea pequeño. En este caso el nuevo intervalo de incertidumbre es e +( b - a )/2. El proceso se detiene de la misma forma que el anterior

6. a b 2e c d Nuevo intervalo

7. Método de la relación aurea.- En una iteración general k en este método tenemos el intervalo de incertidumbre [ ak, bk]. Por el teorema anterior el nuevo intervalo [ak+1,bk+1] está dado por [ck,bk] si f(ck)>f(dk) y por [ak,dk] si f(ck)<f(dk). Los puntos c y d se seleccionan así: 1.- La longitud del nuevo intervalo de incertidumbre bk+1-ak+1 no debe depender del resultado de la iteración k. Si f(bk)>=f(ck) ó f(bk)<=f(ck) la longitud debe ser igual. Por lo tanto bk-ck=dk-ak ak bk ck dk ak+1 ak+1 bk+1 ck+1 bk+1 ck+1 dk+1 dk+1 A

8. Si ck es de la forma ck=ak+(1-  )(bk-ak) B donde  tiene un valor entre 0 y 1, entonces dk debe ser de la forma dk=ak+  bk-ak) C de esa manera (bk+1)-(ak+1)=bk-ck=dk-ak=  bk-ak) D 2.- De la manera que ck+1 y dk+1 se seleccionan para una nueva iteración ck+1 coincide con dk ó dk+1 con ck. Se demuestra que el valor de  es 0,618 Búsqueda lineal usando derivadas.- Método de bisección.- Supongamos que la función f es convexa y diferenciable. En la iteración n sea el intervalo de incertidumbre [ak, bk]. Supongamos que conocemos la derivada f´(k) y consideremos 3 casos: 1.- Si f´(k)=0 Por la convexidad de f, k es un mínimo 2.- Si f´(k)>0 Se entiende que el mínimo está a izquierda 3.- Si f´(k)<0 “ “ “ “ “ “ “ derecha Para minimizar las longitudes a considerar tomaremos k en el punto medio de [ak,bk].

9. Búsqueda Multidimensional sin derivadas.- Dado un vector X, se busca una buena dirección d, y se minimiza f desde X en la dirección d por una de las técnicas anteriores. Método de coordenadas cíclicas.- A partir de un punto X se siguen una a una la dirección de los ejes de coordenadas Y X 0.05 1 0.25 5 3

10. Ejemplo: Hallar el mínimo de la siguiente función Z=(X-1)^2 + (Y+5)^2 Z=X^2+Y^2-2X+10Y+25 Hagamos X=7 y reemplacemos Z=49+Y^2-14+10Y+25 Z=Y^2+10y+60 dZ/dY=2Y+10 haciendo esto igual a 0 Y=-5 Z=X^2+25-2X+50+25 Z=X^2-2X+100 dZ/dX=2X-2 haciendo esto igual a 0 X=1 Reemplazando este valor llegaríamos a Y=-5. Por lo que se ve el método es altamente convergente

11. Matrices definidas y semidefinidas.- Sea A una matriz simétrica nxn. A será positiva definida si X^t*A*X>0 para todo X en En. De la misma manera si X^t*A*X>=0 será positiva semidefinida. Si X^t*A*X<0 negativa definida. Si X^t*A*X<=0 negativa semidefinida. Sea A=[aij] una matriz simétrica de nxn y se definen los determinantes A1=|a11| a11 a12 a11 a12 a13 A2= A3= a21 a22 a23 a21 a22 a31 a32 a33 Veamos los signos de A1, A2 y A3 ++++…..++++ Positiva Definida (PD) ++000..000 Positiva Semidefinida (PSD) -+-+-+ Negativa Definida (ND) -+-+00000 Negativa Semidefinida (NSD) Si la matriz hessiana de una función f(x) es PD ó PSD la función es convexa. Sea Z=4X^2+6Y^2

12. df/dx 8X 8 0 Grad f(x,y)= H f(x,y)= df/dy 12Y 0 12 H f(x,y) es PD luego f(x,y) es convexa. Sea Z=-6X^3+5X^2+3Y^2-4XY+2 -18X^2+10x-4y -36X+10 -4 Grad f(X,Y) H f(X,Y)= 6Y-4X -4 6 Para que Hf(X,Y) sea PD debe ocurrir -36X+10>0 para X=-0,25 6(-36X+10)-16>0 Se puede comprobar gráficamente

13. Método por gradientes ó de la máxima pendiente.- Eso se ve en la próxima página