Optimización Dinámica

OPTIMIZACIÓN DÍNAMICA Lo enzo ESCOT MANGAS Elena OLMEDA FERNÁNDEZ E a DEL POZO GARCÍA OPTIMIZACIÓN DINÁMICA J. In oducción. Lo enzo ESCOT MANGAS Uni e sidad Complu ense de Mad id Elena OLMEDO FERNÁNDEZ Uni e sidad de Se illa E a del Pozo GARCIA Uni e sidad Complu ense de Mad id 2. Ca ac cl'ización del pl'oble1na de op hnización dinán1ica. 2.1. El p oblema de decisión en iempo disc e o. 2.2. El p oblema de decisión en iempo con inuo. 2.3. El concep o de o ma uncional. 2.4. Valo es del pun o inal y condiciones de as e salidad. 2.5. La o ma uncional como obje i o. 3. El cálculo de a iaciones: la ecuación de Enlc . 3.1. El p oblema undamen al del cálculo de a iaciones. 3.2. La ecuación de Eule . 3.3. Gene alizaciones de la condición de as e salidad. 3.4. Condiciones de segundo o den. 4. Teo ía del con ol óp imo: el P incipio del Máximo. 4.1. El P incipio del Máximo. 4.2. O as condiciones de as e salidad. 4.3. Condiciones su icien es. 4.4. Teo ía del con ol óp imo con ho izon e in ini o. 4.4.1. El Hamil oniano a alo co ien e. 5. P og nmación dinámica: el p incipio ele op imaliclacl de Bcllman. 6. Bibliog a ía Anexo A. Gene alizaciones de la ecuación de Eule . Anexo B. Condiciones su icien es de conca idad Anexo C. Gene alización del P incipio del Máximo OPTIMIZACIÓN DINÁMICA Lo enzo Esco , Elena Olmedo y E a del Pozo 1. INTRODUCCIÓN. «Todos ene111os que on1a decisiones. En cada mo1nen o de nues a ida, an o p i ada co no p o esional, nos emos obligados a selecciona una al e na i a den o de un conjun o de opciones. La calidad de las decisiones que o1nan1os a e e a adicaln1en e a nues a salud, nues o bienes a econó1nico, las elaciones que man ene1nos con o as pe sonas, e c. Es a a i mación puede aplica se ambién a las emp esas, los o ganismos de la Adminis ación Pública y las ins i uciones p i adas sin ines de luc o. La uni e salidad del p oblema de oma de decisiones da luga a que esul e de g an in e és p egun a se cuál es la me odología adecuada pa a oma decisiones, en endiendo po "adecuada" aquella que p opo ciona un mayo g ado de consecución de los obje i os deseados» (Villalba y Je ez, 1990, pp. 17). En es e sen ido, la Teo ía de la Op imización cons i uye la he amien a ma emá ica más "adecuada" pa a la solución de p oblemas que implican la oma de decisiones. Una p ime a clasi icación de los dis in os mé odos de op imización dis ingue en e la op imización es á ica y la op imización diná111ica. La op imización es á ica p opo ciona una magni ud óp ima, aislada en el iempo, pa a las a iables de las que depende la unción obje i o del p oblema, en endiendo como óp ima aquella magni ud compa ible con las es icciones del p oblema que hace máxima o mínima dicha unción obje i o'. En la op imización es á ica el iempo no in e iene en la o mulación del p oblema. Cuando exis e una elación in e1 empo al en e las a iables que de inen el p oblema', ca ece de sen ido u iliza la op imización es á ica, ya que esa elación dinámica no queda ecogida en es os mé odos de op imización, no esul ando po ello necesa iamen e óp ima la solución po és os ob enida. En es os casos, pa a ob ene soluciones óp imas deben u iliza se las he1 a1nien as que p opo ciona la op ilnización diná111ica 3• La op imización diná111ica si e pa a calcula cadenas o secuencias óp imas de acciones en el iempo, es deci , pa a de e mina la magni ud o alo óp imo de las a iables que de inen el obje i o del p oblema en cada ins an e de iempo den o de un in e alo dado (pe íodo de plani icación). Es as secuencias de alo es se á óp ima en el sen ido de que hacen máximos o mínimos los obje i os del p oblema eniendo en cuen a an o las es icciones en és e impues a, como la elación dinámica exis en e en e sus a iables. La solución de un p oblema de op imización dinámica p opo ciona, po an o, una ayec o ia empo al óp ima comple a pa a cada a iable del p oblema, mos ando el mejo alo de la a iable, hoy, mañana, y así has a el inal del pe íodo de plani icación'. A lo la go del p esen e abajo, epasa emos algunos de los mé odos undamen ales de op imización dinámica. Comenza emos con un análisis global del p oblema de op imización dinámica en el que in oduci emos las p incipales ca ac e ís icas del mismo. En los siguien es apa ados nos cen a emos en las es o mas de soluciona lo más ampliamen e u ilizadas: el cálculo de a iaciones, la eo ía del con ol óp imo y la p og amación ma emá ica. 1 La unción obje i o ep esen a el g ado de consecución de los obje i os deseados en el p oble1na de decisión. Según se de ina es a unción obje i o el óp imo del p oblema de decisión se alcanza á cuando és a alcance un 1náxin10 o un 1n{ni1110. Po ejemplo, si la unción obje i o ep esen a los bene icios de una emp esa, el óp imo se alcanza á cuando es os bene icios sean máximos, mien as que si la unción obje i o se ep esen a median e los cos es de p oducción, el óp iino se alcanza á cuando los cos es sean m nimos. 2 Es a e oalimen ación empo al se 1nani ies a cuando el alo que ome alguna de esas a iables en el ins an e a ec a al alo de esa a iable en un ins an e + con . . . En es e abajo nos ocupa emos (lnicainen e de la op imización dinánlica. Sob e el concep o de Op imización es á ica y los dis in os 1né odos de solución id Bo cll, J. J !é odos 111a emá icos pa a la economía. P og amación ma emá ica. Ediciones Pi ámide, Mad id, 1989. ~Es in e esan e se11ala que en el caso en que no haya elación in e cmpo al en e las a iables, la solución del p oble1na dinámico coincide con la secuencia de soluciones que o ece el p oblen1a es á ico esuci o pe iodo as pe íodo . . 2. 2. CARACTERIZACIÓN DEL PROBLEMA DE OPTIMIZACIÓN DINÁMICA. Pa a analiza cuales son los in eg an es esenciales que dis inguen y ca ac e izan al p oblema de op imización diná1nica, a1nos a u iliza , a 1nodo de in oducción, un ejen1plo econó111ico en iempo disc e o, gene alizándolo pos e ionnen e pa a el caso con inuo 5• 1 2. 1. El p oblema de decisión en iempo disc e o. Aunque la op imización dinámica es a ada ecuen emen e como la ob ención de una secuencia óp ima en el iempo ( ya sea és e con inuo o disc e o), ambién es posible concebi el p oblema como la ob ención de una secuencia conc e a de es ados óp ima den o de un p oceso económico cons i uido po a ias e apas. En es e úl imo caso, la op imización dinámica puede se en ocada como un p oblema de oma de decisión mul ie ápica más que como una oma de decisión empo al. Supongamos, po ejemplo, una emp esa que se en en a a la ans o mación de una cie a sus ancia desde un es ado inicial A (es ado de ma e ia p ima) has a un es ado inal Z (es ado de p oduc o e minado), median e un p oceso p oduc i o que comp ende cinco e apas. En cada e apa, la emp esa se encuen a an e el p oblema de elección en e a ias al e na i as posibles pa a con inua el p oceso p oduc i o (subp oceso), cada una de las cuales en aña un cos e especí ico. El p oblema de decisión al que se en en a la emp esa se á el de selecciona la secuencia de subp ocesos a lo la go de las cinco e apas pa a minimiza el cos e o al. Es ado A E apa 1 E apa 2 E apa 3 E apa 4 E apa 5 Fig2.l En la igu a 2.1 ilus amos el p oblema. En el eje ho izon al se ep esen an las dis in as e apas, y en el eje e1 ical los es ados que puede oma dicha sus ancia a lo la go de odo el p oceso de ans o mación. El es ado inicial A, se ep esen a a la izquie da y el inal Za la de echa. Los pun os B, C, .. ., K, mues an los es ados in e medios en los que se puede i ans o mando la sus ancia inicial du an e el p oceso de ans o mación. Tales pun os ienen 5 Seguimos aquí a Chiang, A.C.: Ele111e11 s o Dy11amic Op imiza ion. -.1cG aw-Hill, lnc. Ne ' Yo k, 1992. págs. 4-22 - 3 - unidos po un a co al que se le asigna un alo (cos e). Cada a co mues a la posibilidad y el cos e de pasa de un es ado a o o. Nues o p oblema se á, según el g á ico, selecciona la secuencia de es ados conec ados po a cos desde el es ado inicial A has a el inal Z, ales que la suma de los alo es de los a cos que la componen sea mínima. En es e ejemplo es ácil e que la ayec o ia óp ima es ACEHJZ, con 14 unidades de cos e. A es e esul ado podemos llega enume ando odos los p ocesos posibles y calculando el cos e pa a cada uno, eligiendo el que enga el neno cos e. Sin e111ba go, se á ú il encon a algún 1né odo sis e ná ico pa a_ encon a la solución óp iina aplicable a p oblemas más complicados. Sob e es e pun o ol e emos en los siguien es apa ados cuando es udiemos los dis in os mé odos de solución del p oblema de op imización. De momen o se iala emos simplemen e que de es e sencillo ejemplo podemos ex ae una impm an e conclusión: la elección miope de op imización es á ica e apa a e apa, no conduce po lo gene al a la ayec o ia óp ima. Como ya hemos comen ado, es o se debe a que los mé odos es á icos de op imización, no ienen en cuen a que la elección que· se haga en una e apa de e minada es a á condicionando las posibilidades de elección en las e apas pos e io es. Po ejemplo, pa a la elección es á ica en la p ime a e apa, en luga de elegi el paso AC (que se ía el paso óp imo a ealiza conside ando odo el p oceso co1 jun amen e ), se hab ía elegido AB al ene és e un meno cos e en es a p ime a e apa. Es a elección es á ica e apa a e apa conduci ía al p oceso global ep esen ado po ABEHJZ con un cos e o al de 15 unidades, es deci , una si uación dis in a, con un mayo cos e global, que la e dade amen e óp ima. 2. 2. El p oblema de decisión en iempo con inuo. El ejemplo an e io es á ca ac e izado po una a iable de e apa disc e a, es deci , que oma como alo es sólo núme os en e os. Igualmen e los di e en es es ados pe enecen a un in e alo ini o y nume able dado [A, B, C, ... , Z]. Si ambas a iables uesen con inuas, el an e io p oblema de decisión mul ie ápica se pod a ep esen a po la igu a 2.2, en la cual se ep esen an las posibles ayec o ias o p ocesos de ans o mación desde A has a Z (en es e caso sólo se han ep esen ado 5). Cada ayec o ia posible se e aho a como una senda que puede oma un in ini o núme o de e apas en el in e alo [O, T]. Hay ambién un núme o in ini o de es ados en cada ayec o ia, siendo cada es ado el esul ado de la elección pai icula hecha en una e apa especi ica an e io . Es ado z A E apa o T Fig2.2 Es e ipo de en oque en iempo con inuo si e pa a ep esen a mul i ud de p oblemas de decisión. Puede supone se, po ejemplo, que la igu a 2.2 ep esen a un mapa de ca e e as, donde la a iable e apa ep esen a la longi ud y la - 4 - a iable es ado ep esen a la la i ud. El p oblema de op imización pod ía consis i en es e caso en anspo a una ca ga desde A has a Z con el mínimo cos e, seleccionando la ayec o ia o u a de iaje ap opiada. El cos e de cada ayec o ia depende, en gene al, no sólo de la dis ancia iajada, sino además de la opog a la del e eno po la que anscu e. Si suponemos que el e eno uese homogéneo (ej. una llanu a) la solución depende ía simplemen e de la dis ancia eco ida, siendo la solución óp i1na la ayec o ia ec a. En la mayo ía de los casos nues a a iable e apa end á ep esen ada po el iempo, y los alo es que oma la a iable de es ado, la que de ine en que es ado o si uación se encuen a el p oceso o enómeno en cada momen o, se ep esen a án en el eje e ical. Las cu as de la igu a 2.2 se án, po an o, ayec o ias en el iempo, siendo ep esen ada cada una de ellas po los alo es que oma la a iable de es ado en cada ins an e del iempo. 2.3. El concep o de o ma uncional. Una ez expues os algunos ejemplos sencillos de op imización dinámica, podemos pasa a con inuación a epasa algunas de sus p incipales ca ac e ís icas. En pa icula , podemos se iala que odo p oblema de op imización dinámica debe ene los siguien es elemen os: a) Un pun o inicial y un pun o inal'. b) Un conjun o de posibles ayec o ias desde el es ado inicial al es ado inal. c) Un conjun o de alo es asociados a cada ayec o ia comple a. d) Un obje i o especí ico que nos conduzca a la ayec o ia óp ima: maximiza o minimiza el alo asociado a la ayec o ia. Dejando pa a más adelan e la clasi icación de las dis in as posibilidades pa a el pun o inicial y el pun o inal, nos cen amos aho a en la elación en e cada ayec o ia y el alo asociado a la misma. Pa a ello ep esen amos en la igu a 2.3 un conjun o de posibles ayec o ias en el iempo y su alo asociado. Fig2.3 y Conjun o de posibles ayec o ias (cu as) y 1 ( ) z A~·· y y 11 ( ) z A~ y y 111 ( ) z •• A e Conjun o de alo es asociados ( ec a eal) '• V1 • V 111 I ' • VII 6 A lo la go del p esen e abajo conside amos, sin pé dida de gene alidad, que el ins an e inicial 1 0 oma alo ce o, 1 0=0. - 5 - La no ación gene al de es a elación denominada como o ma uncional es V[y( )]. Hay que acla a que en es e caso el alo de V a a depende , en gene al, de cada ayec o ia comple ay( ), y no explíci amen e del iempo. Es deci , es a no ación no implica, a di e encia de lo que ocu e en la unción compues a g[ MJ que ges una unción de x, g(x). Tenemos que en ende V como una unción de y( ) como al, en su conjun o'. Es po ello que pa a e i a con usiones la o ma uncional suela ano a se como VM eliminando el iempo. Es á cla o pues que sólo cambios en la posición o al de la ayec o ia -y- pueden conduci a cambios en el alo asociado de la ayec o ia -V(y)-. Rep esen amos, po an o, cada ayec o ia como y, en endiendo que es una unción del iempo y que cuando que amos ep esen a el es ado de la a iable y en un ins an e conc e o se ha á de o ma explici a, po ejemplo y(O) ep esen a el es ado inicial A, ey(J) el es ado inal Z. Po y( ) en endemos " ayec o ia y". La ayec o ia óp ima es a á deno ada po y*( ) o simplemen e po ayec o ia y*. 2.4. Valo es del pun o inal y condiciones de as e sal/dad. An e io men e hemos simpli icado el p oblema asumiendo que an o el pun o inicial (O,A), como el pun o inal (T,Z) es aban dados. Sin emba go podemos lexibiliza el p oblema conside ando que ales pun os no es án p ede e minados'. El supues o de que el pun o inicial es á dado no es demasiado es ic i o, ya que en la mayo ía de los p oblemas de op imización suele conside a se como comienzo del pe íodo la posición co ien e. Así que analiza emos únicamen e las dis in as posibilidades que pueden apa ece en un p oblema de op imización pa a el alo del pun o inal, asumiendo que con los del pun o inicial p ocede íamos de mane a análoga. A o Fig 2.4. a) z ·---·· ---·~ Fig. 2.4. b) ' ' ' ' L T ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' z Z2 Z3 __ _l_ __ , Una p ime a posibilidad, la cons i uye aquella si uación en la que el ins an e inal es á ijado o p ede e1 ninado en cie o alo T, pe o que po el con a io, se iene comple a libe ad pa a elegi el es ado inal a la ho a de de e mina la ayec o ia óp ima (Figu a 2.4. a)). En es e caso, mien as el ho izon e de plani icación es á ijo en T, cualquie pun o en la e ical ~T es acep able como pun o inal, como pueden se los pun os Z1, Z2, Z3• Es e ipo de p oblemas se denomina como p nblema con ec a inal e ical ( e ical- e minal-line p oblem). O o ipo de posibilidades pa a el pun o inal en los p oblemas de op imización dinámica son las que asumen un es ado inal dado Z, mien as que se iene libe ad pa a elegi el ins an e inal conc e o en el que acaba cada ayec o ia ( igu a 2.4. b)). En es e ipo de p oblemas la ec a ho izon al y=Z cons i uye el conjun o de pun os inales acep ables. Es e ipo de p oblemas se conoce con el nomb e de p oblema con ec a inal ho izon al (ho izon al- e 111i11al-line p oblem). Un ejemplo de es e ipo de 7 En los eje1nplos ilus ados en las igu as 2. l y 2.2 a cada p oceso p oducli 'o comple o y a cada plan o u a de iaje le co esponde un cos e o al especi ico. K Re omamos as la conside ación del an e io pun o a). - 6 - p oblemas lo cons i uye la p oducción de un bien con una de e minada calidad con mínimo cos e, pe o no suje a a ningún iempo máximo de p oducción. Z=i{T} 1 ~z, A T1 , Fig 2.4. c) ' ' ' ' ' ' - i - ---- T3 El e ce ipo de alo pa a el pun o inal que puede apa ece en un p oblema de op imización dinámica lo cons i uye aquél en el que ni el ins an e inal ni el es ado inal es án dados a p io i, aunque ambos alo es ienen ligados po una es icción del ipo Z= p(T). Se denomina a es e ipo de p oblemas como p oblema de cu a inal ( e n1i11al-cu e p oblen1). En es os úl imos el agen e deciso iene mayo libe ad pa a elegi el pun o inal, po lo que ambién debe se capaz de consegui un mejo alo óp imo de ayec o ia V*, que el alcanzable con un pun o inal p ede e minado (T,Z). Pa a de i a la solución óp ima de un p oblema de op imización (es deci la ayec o ia óp ima), end emos que ene en cuen a es e ipo de es icciones sob e el pun o inal. De es a o ma, la in oducción de es e ipo de condiciones inales da á luga a que en la esolución del p oblema deba de cumpli se lo que se conoce como condición ele as c salidad, indicando és a como debe a a esa la ayec o ia óp ima la cu a o ec a inal . A modo de esumen, podemos conclui que dicha condición de as e salidad pod á adop a las siguien es o mas según sea la condición inal: a) Un pun o p ede e minado y único: y(T)=Z b) Cualquie pun o si uado en una ec a: b.l) Rec a e ical =T b.2) Rec a ho izon al y=Z c) Cualquie pun o si uado en una cu a: Z= p(T) 2. 5. La o ma uncional como obje i o. Una ayec o ia óp in1a es, po de inición, aquella que 1naxi niza o 1ninilniza el alo asociado a cada ayec o ia VM. Pues o que cualquie ayec o ia y debe es a de inida obliga o iamen e en un in e alo de iempo o pe iodo de plani icación (que end á dado po la condición inicial y la condición inal), el alo o al asociado a la misma puede de ini se co1no una su1na de alo es asociado a la ayec o ia en cada ins an e. Pa a acla a es e pun o, e omemos el ejemplo en iempo disc e o ep esen ado en la igu a 2.1. En dicho p oblema el alo de cada ayec o ia o senda comple a posible, iene de inido como la suma de los alo es de los a cos que la componen. Gene alizando pa a el caso con inuo la suma se con ie e en una in eg al de inida pa a el in e alo [O, Tj del alo de cada a co'. Pe o, ¿cómo de inimos el alo del a co en el iempo con inuo?. Pa a esponde a es a p egun a, p ime o enemos que iden i ica el a co en el iempo con inuo. La igu a 2.1 sugie e es componen es necesa ios pa a iden i ica comple amen e cada a co: - La e apa ( iempo) inicial de la que pa e el a co. - El alo inicial de la a iable de es ado (en dicha e apa) de la que pa11e el a co. - La di ección en la que se dib ija el a co, ya que pueden exis i a ios a cos di e en es que pa an del mismo pun o. ~ 1'6:J= J' (" alo del a co'') d o - 7 - Si gene aliza1nos es os es co1nponen es pa a el caso con inuo ob end e1nos espec i a1nen e, que cada a co es a á de inido po : a) 1 b) y(I) !O c) y'( ) ~ dy/dl As!, pa a una ayec o ia daday1, el a co asociado a un de e minado pun o del iempo 1 0, es a á ca ac e izado po un único alo y1 (1 0) y una única pendien e y'1 (1 0} 11 • Si exis ie a alguna unción F, que asigna a a cada a co un alo , en onces el alo de dicho a co pod ía esc ibi se como F{1 0, y¡(1 0 ), y'¡(1 0 )}. Igualmen e, pa a o a ayec o ia, J'u, el alo y la pendien e de la cu a en el ins an e = 0 (es deci , en el n1is1no ins an e que pa a el caso an e io ) se ian y 11 (1,J e y' 11 (1 0 }, espec i amen e, y el alo del a co se ía F[1 0, y 11 (1 0 ), y' 11 (1 0 )}. De es a mane a, se puede llega a la exp esión gene al pa a el alo asociado a cada a co 1 ', F[I, y (1), y'(I}], y al del alo asociado a la ayec o ia, de inido po la o ma uncional -la suma de alo es de los dis in os a cos que o man la ayec o ia-, que puede gene aliza se esc ibiéndolo como la in eg al de inida: T (2.l) V[y} = F[I, y(I), y'( )} di o Reco demos de nue o que el símbolo V[y] en a iza, que sólo la a iación en la ayec o ia y ú• 1 e sus )ii) es capaz de al e a la magni ud de V. Cada ayec o ia o senda a lo la go del iempo y, es a á a su ez compues a po un conjun o de a cos en el in e alo {O,T]1', los cuales, a a és de la unción F(que asigna un alo a cada a co), p opo cionan un conjun o de alo es de a co, que se á di e en e pa a cada ayec o ia según és a es é compues a po unos a cos o po o os. La in eg al de inida suma á odos es os alo es de a co pa a cada ayec o ia p opo cionando un alo ~ el cual nos si e pa a elegi o selecciona la ayec o ia óp ima que se á la que maximice o minimice dicho alo . Una ez de inida nues a ünción obje i o median e la ecuación (2.1 ), és a puede gene aliza se pa a el caso en que haya dos a iables de es ado z e y en el p oblema 1 4. Pa a de e mina el alo de los a cos pa a cada ayec o ia end á que ene se en cuen a aho a las dos a iables de es ado en la unción obje i o, que queda á como: T (2.2) V[y,z] = J F[I, y( ), z(I), y'( ), z'(I}] di o El p oblema es ánda es a á cons i uido po aquél que enga como obje i o la o ma uncional dada po (2.1) o (2.2). Pa a simpli ica sup imimos el a gumen o (1) de las a iables de es ado, esc ibiendo la in eg al de o ma que la unción F quede F(I, y, Y? o F(I, y, z, y', z?. Un ejemplo Mac oeconómico 10 En es e caso y( ) no ep esen a ninguna ayec o ia sino que es el alo de Ja a iable de es ado en el ins an e . 1 dy 1 " y (1 )~-' 1 o di 'º 12 Nó ese que en el caso con inuo la dimensión del a co iende a se in ini esimal. 1 ~ Dando dis in os alo es a en e [ (!< T], y a a •és de y( ) e y'( ), ob end emos los dis in os a cos, y po medio de Fsus alo es asociados. u Es e caso se co esponde con el p oblema en el cual el es ado del enómeno o p oceso obje o de análisis es á de inido en cada ins an e po el alo que 01nen es as dos a iables - 8 - se basa en un nue o concep o: La/unción Hamil oniano. Dicho Hamil oniano se de ine pa a el an e io p oblema 4.1. COIH0 23 : H( , y, u, .l)" F ( , y, u) + l( ) ( , y, u) Función Ha1nil oniano dónde la a iable auxilia J.( ), dependien e del iempo, ac úa como un mul iplicado dinámico de Lag ange o p ecio somb a de la a iable de es ado asociada. Las condiciones del P incipio del Máximo ienen dadas po 24: (4.2) Max H(IJ',11).) / E [O, T] 25 11cU 1 oH (4.3) y =¡;¡: (4.4) )..'=- ºH ay (4.5a) y{T) = Y (ecuación de mo imien o pa a la a iable de es ado y) (ecuación de mo imien o pa a la a iable auxilia ),,) (condición de T as e salidad) La solución al sis ema o mado po las ecuaciones (4.2)-(4.Sa) p opo ciona las ayec o ias óp imas pa a cada una de las a iables u*( ), y*( ) y}, *(1) 26 • Maximiza V= -11 2 d o suje o a y'= y+ u y(O)= 1 y(l) =O El p ime paso pa a soluciona el p oblema se á cons ui la unción Hamil oniano: a pa i de aquí aplicamos las condiciones del P incipio del Máximo (4.2)-(4.5a), que pa a es e p oblema queda ían: n Aunque el P incipio del Máxi1110 se onnuló inicialmen e pa a el p oblema de op imización en ie1npo con inuo ambién puede gene aliza se pa a el caso disc e o. Véase Shone, R.:Economic Dynamics. Phase diag ams and hei economic applica ion. Camb idge Uni e si y P ess, Camb idge, 1997, págs. 192·196 H Pa a un desa ollo de es as condiciones éase Chiang, A. C. elemen s o dynamic .... op.ci . págs.177-181 H Si la solución a es e p oble1ua uese in e io , la an e io condición queda ía: aH/au =O. Si es e p oblc1na iene una solución esquina, Ja condición queda a u '=O :6 El P incipio del I .1áxín10 puede gene aliza se pa a el caso en que exis en nu s de una a iable de es ado y de con ol. Véase Anexo C. - 15 - ( 2 ) 1 aH y =-=y+u a>.. (3) ¡./~-ªH~-i.. ay (4) y(/) =O Pa a ob ene a pa i de es e sis ema de ecuaciones las ayec o ias óp imas u*( ), y*( ) y J. *( ), debemos obse a en p ime luga , que de (1) se ex ae la solución pa a la a iable de con ol u( ) = J.( )/2. Sin emba go como dicha solución depende de la a iable auxilia , la ayec o ia óp ima u*( ) no queda oda ía pe ec amen e de e minada. Pa a ello debemos ene en cuen a el es o de las condiciones del P incipio del Máximo. Así, a pa i de (3) se ob iene la solución gene al pa a la a iable auxilia J,( )=k e·', siendo k una cons an e a bi a ia. A paiii de aquí y sus i uyendo los an e io es esul ados en (2) se ob iene la siguien e ecuación di e encial: y'= y+ (ke"~/2 cuya solución es y( )= ce' - (I/4)ke·', siendo e o a cons an e a bi a ia. Las cons an es e y k se pueden de e mina aho a u ilizando la condición inicial y la condición de as e salidad: 1 e= -- l-e2 k= 4e 2 l-e 2 y a pa i de ellas, se pueden ob ene las ayec o ias óp imas del p oblema de op imización: y*( )= e'- e' e·' l -e2 I-e 2 ), *( )= 4e2 e·' l -e 2 11*(1) = 2e2 e·' l-e 2 4.2. O as condiciones de as e salidad. Co1no ya hici nos con el Cálculo de Va iaciones, an1os aho a a e co1no se 1nodi ican las condiciones de p ime o den del P incipio del Máximo cuando en el p oblema de con ol óp imo apa ecen o as condiciones pa a el pun o inal al y como se se ialó en el apa ado 4.2. En gene al, es as al e na i as a ec an a la condición de as e salidad ( 4.5a) del P incipio del Máximo, que oma an las siguien es exp esiones dependiendo de los supues os que se hagan sob e el pun o inal": a) Rec a inal e ical: (4.5b) b) Rec a inal ho izon al: (4.5c) [HJ,. =O ~ 7 Ya que la unción Hamil oniano es no lineal y quela a iable de con ol puede oma alo es en oda la ec a eal, la condición (4.2) equi ale a (1). Además comoa2H/au1 "" -2, se cumple la condición su icien e pa a que es a solución sea ealmen e un 1náxi1110 del l-lamil oniano "ll Pa a un desa ollo de es as condiciones yéase Chiang, A. C. elemen s o dynamic .... op.ci . págs.225-226. - 16 - e) Cu a inal: (4.5d) [H - A'Jl 1 l,~ = O (con Y ~ q¡{J)) 4.3. Condiciones su icien es. El P incipio del Máximo cons i uye una condición necesa ia o de p ime o den pa a encon a las ayec o ias c í icas. Sin e1nba go, es as condiciones no son en gene al su icien es. Se á necesa io, po an o, que esas ayec o ias cu1nplan aden1ás unas condiciones su icien es o de segundo o den pa a que sean eahnen e óp i nas, es deci , pa a que ealmen e maximicen la o ma uncional in oducida en (4.1). Es as condiciones de segundo o den, como ya imos pa a el p oblema del cálculo de a iaciones, equie en que se sa is agan cie as condiciones de conca idad. P esen amos a con inuación el eo ema de Su iciencia de A ow29 de inido pa a el p oblema de maximización ( 4.1 ). Es e eo ema es ablece que las condiciones necesa ias es ablecidas po el P incipio del Máximo son ambién su icien es si se cumple que la unción Hamil oniana maximizada30: H°( , y,1(}~ F( , y, u*)+ ). ( , y, u*) es cónca a en la a iable y ' 1 E[O, T}, dado 2. 4.4. Teo la del con ol óp imo con ho izon e in ini o. La eo ia del con ol óp imo, a pesa de sus limi aciones, ha sido ampliamen e u ilizada en economía 31 • En e los emas abo dados bajo es e en oque se encuen a la elabo ación y ex ensión de los modelos ela i os al c ecimien o económico12• Una ca ac e ís ica di e encial de es e ipo de aplicaciones, es que conside an un ho izon e de plani icación in ini o. Cuando a amos con un p oblema de con ol óp imo con ho izon e de plani icación in ini o apa ece el p oblema conocido como con e gencia de las imciones obje i o la ho a de aplica el P incipio del Máximo. Es e p oblema adica en que la o ma uncional obje i o: (4.6) ~ J F( , y, u) d o es aho a una in eg al imp opia, que puede ene un alo ini o o in ini o. En es e úl imo caso, es deci , si la in eg al di e ge, pueden exis i más de una ayec o ia pa a la a iable de es ado y de con ol que conduzca a un alo in ini o en la o ma uncional, siendo di icil de e mina cuál de ellas es la óp ima. Pam e i a es e ipo de p oblemas, se suele exigi el cumplimien o de alguna condición que ga an ice la con e gencia de la o ma uncional a un alo conc e o, lo que pe mi e de e mina las ayec o ias óp imas y*( ) y u*( ) sin equí ocos. Es e ipo de condición su icien e pa a la con e gencia de la o ma uncional suele apa ece en o ma de asa de descuen o, de o ma que si en la in eg al imp opia (4.6), la unción in eg al F( ,y,1(} oma la o ma G( ,y,1(}·e.,,,, donde pes una asa posi i a de descuen o, y la unción G( ,y,u) es á aco ada, se ga an iza que la o ma uncional con e ge a un alo ini o33• n A ow, K. J.: <<Applica ions o Con ol Theo y o Economic G o 1hi>, en Geo ge B. Dan zing y A hu F. Veino , J . (eds.) i 1a hema ics o he Dec sion Scie11ces, Pa e 2, An e ican Ma hema ical Socic y, P o idencc, 1968, pág.92. w Es a unción se encuen a sus i uyendo el alo óp imo de la a iable de con ol u* que soluciona la condición (4.2) en la unción 1 amil oniano. · 11 Véase Fe nández Dlaz, A. y Rod íguez Saiz, L.: In oducción y A e odolog a de la pol ica Económica. Ediciones CE, -.1ad id, 1986, pág 319-333. - 1 ~ La modelización del c echnien oeconómico co1no un p oblema de op imización dinán1ica bajo es e en oque del con ol óp imo se ecoge bajo la denmninación de n1odelos de c ecimien o óp imo. Pa a una amplia pano ámica de es e en oque éase Ba o, R.J. y Sala-i-Ma in, X.:Economic G ow h. McG aw-Hill, !ne. New Yo k, 1995. 33 Ja( ,y,11)e · 1 d ~ jce · d o=Q donde 6 es la co a supe io de Ja unción G( ,y,11) " o p - 17 - O o p oblema que apa ece en es e ipo de p oblemas con ho izon e de plani icación in ini o hace e e encia a las condiciones de as e salidad, ya que en es os casos no exis e un ins an e inal T dado, ompiéndose la alidez gene al de las condiciones de as e salidad (4.5a-d) de las condiciones necesa ias del P incipio del Máximo". En es e ipo de p oblemas y pa a de i a las espec i as condiciones de as e salidad, se hacen dos ipos de supues os sob e el pun o inal: a) El alo inal de la a iable de es ado con e ge en el in ini o a un alo conc e o": lim y( )=y. (con y.dado) '"" En es e caso, la condición de as e salidad (4.5c) queda á sus i uida po : (4.7) lim H=O , .. b) Cuando no se in oduce el supues o sob e la con e gencia de la a iable de es ado, es deci , lim y( )•y. debe u iliza se una condición de as e salidad como la ( 4.5b), que aho a oma á la o ma: (4.8) lim ),(1)=0 T'eniendo en cuen a es as ci cuns ancias, el p oble1na de con ol óp ilno se soluciona u ilizando las condiciones necesa ias del P incipio del Máximo (4.2)-(4.4), a las que hay que añadil· las condiciones de as e salidad (4.7) o (4.8). En cuan o a las condiciones su icien es, se aplica el eo ema de la su iciencia de A ow, en la que hay que ene en cuen a que pa a que las condiciones necesa ias sean a su ez su icien es es necesa io que ade111ás de que la unción Hamil oniana maximizada, l ( , y,u)= F( , y, u*) + 2/(1, y, u*), sea cónca a en la a iable y .l E{O, T], dado ;,, debe e i ica se que: lim 1.(1)[!'(1)-y '(1)]>0 ,,. 4.4. 1. El Hamilloniano a alo co ien e. Una a ian e del P incipio del Máximo analizado an e io men e, y que es u ilizado en aquellos p oblemas de con ol óp imo con ho izon e in ini o en los que en la in eg al apa ece el ac o de descuen o e·'', es el que u iliza el denominado Hamil o11ia110 a mia co ien e. Es e ipo de p oblemas se pueden o mula de o ma gené ica como: Maximiza V= J F [ , y, u] d = J G [ , y, u} e·P' d o o s1¡je o a y(O) =A (A dado) (4.9) y'( ) = [ , y(I), u( )] u( ) EV pa a Os/ sT El Hamil oniano a alo co ien e (H.) del p oblema ( 4.9) se cons uye a pa i del Hamil oniano es ánda (H) como: H, ~He""= G( ,y,u) + m ( ,y,u) (con m =},e·'' - a iable auxilia a alo co ien e) A pa i de es e Hamil oniano a alo co ien e se cons uyen las nue as condiciones de p ime o den del P incipio del Máximo, donde las condiciones (4.2), (4.3) y (4.4) se pueden exp esa aho a como: 31 Sob e es os p oblemas éase Chiang, A. C. elemen s o dynamic .... op.ci . págs.240-241. H·Es e 1né odo pa a de i a la condición de as e salidad es álido ínicamen e cuando la unción Fes au ó1101na, es deci , cuando en ella no apa ece el ie1npo, , como a g m1en o explici o, o cuando sólo apa ece en el ac o de descuen o. (4.10) Max He ! E [O, 00 ] (4.11) (4.12) 11EU , aH, )' =--=j{IJ',U) am aH 111 1 = ___ e +pn ay (ecuación de mo imien o pa a la a iable de es ado y) (ecuación de n1o i1nien o pa a la a iable auxilia a alo co ien e) y donde las condiciones de as e salidad (4.7) y (4.8) se sus i uyen aho a po : (4.13) li n H ce -p =O 36 (4.14) lim m( )e -pi =O ,,. ~ 6 En caso de que el p oblema sea au ónonio, es deci , G= 06',u}; = ó"u), es a condición de nsYe salidad se educe a [H.J=O - 19 - 5. PROGRAMACIÓN DINÁMICA: EL PRINCIPIO DE OPTIMALIDAD DE BELLMAN. La p og amación dinámica p esen a o a al e na i a pa a abo da el p oblema de con ol óp imo mencionado en el apa ado an e io . Dos son las ca ac e ís icas di e enciales de es e mé odo: • La p og amación dinámica asocia el p oblema de con ol óp imo a una amilia de p oblemas de con ol, es deci , pa a esol e el p oblema de con ol enemos que esol e oda una amilia de p oblemas. • Pa a cada miemb o de la amilia de p oblemas de op imización, la a ención p incipal se cen a en el a o óp imo de V*, y no eny* ( ), como en el Cálculo de Va iaciones, o en u* ( ), como en el P incipio del Máximo. Es deci , el alo óp imo de cada miemb o de la amilia se asocia al alo óp imo del p oblema. En los casos disc e os la esolución del p oble na se con ie e en un p oceso de i e ación hacia a ás, en el que en cada e apa se calcu[a un óp imo. La ayec o ia o al (incluyendo odas las e apas) sólo se á óp ima si las sub ayec o ias que incluye, ambién son óp imas pa a cada subp oblema de op imización ealizado en cada e apa o i e ación. Vean1os es o nás cla a1nen e en un ejen1plo. Es ado D 1 L___ K E apa o 1 2 3 4 5 E apa 1 E apa 2 E apa 3 E apa 4 E apa 5 Fig 5.1. En la igu a 5.1 se ep esen a un p oblema como el expues o en el apa ado 2.1. Pa a esol e lo di idimos el p ob[ema en una secuencia de subp oblemas de op imización de o ma que ob engamos los alo es óp imos de las dis in as sub ayec o ias calculadas pa a cada pun o inicial posible, p incipio de op imalidad de Bellman 37 , es deci , ene1nos que ob ene ; V* =V* (i) pa a i =A, B, C, ... , Z. 37 Pa a una in oducción a la p og amación dinámica e Be liman, R.E.: Dynamic P og amming, P ince on Uni e si y P ess, P ince on, 1957 y Blackwell, D.:<(Disc e e Dynainic P og anuning». Annals o A a he111a ica S a is ics 33, págs. 719-726, 1962. -20 - De es a o ma, pa a encon a la ayec o ia óp ima AZ enemos que encon a : Mín. { AB + V* (B), AC + V* (C)} Pa a esol e es e p oblema enemos que conoce los alo es de V* (B) y de V* (C), y pa a conoce es os a su ez hay que conoce los alo es óp imos V* (D), V* (E), V* (F) y así sucesi amen e. A modo de ejemplo calcula emos el alo óp imo V* (G): V* (G) = mín. { alo del a co GJ + V*(!), alo del a co GJ + V* (J)} = =mln. {2+3, 8+/} = 5 po loqueela coóp imose íaGIZ Pa a el caso gene al, el p oblema puede exp esa se en iempo disc e o como: .. · . ..: T-1 Maximiza o minimiza V[y] = L F[y(k), u(k)] + G(y(T)) o s.a. y(O) =A (A dado) y(T) = Z (I', Z dados) (5.1) y(k+l) = [y(k), u(k)] u(k) EU pa aO>k ,;T Siendo k, el indicado de cada pe iodo (k =O, 1, 2, .. ., T) y [y(k), u(k)] la ecuación de mo imien o en iempo disc e o. La esolución al p oblema (5.1) implica encon a el alo de óp imo de u(k) E U que hace máximo o mínimo el alo de V[y} en cada pe iodo empezando po el inal. De es a mane a el p oblema se con ie1 e en Tsubp oblemas de op imización siguiendo el p incipio de Bellman, donde en cada i e ación end iamos38: Vó'. k)* = Max [Fó'. 1(1 + l'( (. ,u), k+l)} ll'Ell con V(y(T), T)* = G(y(T)) Es e p oblema puede gene aliza se pa a el caso con inuo, y pa a el caso en que no exis e un ho izon e ini o de op inlización. La solución n1a e1ná ica a es os p oble1nas equie en una onnulación 1na emá ica co1npleja y po es a azón no se es udia á en el p esen e abajo 39. 6. BIBLIOGRAFÍA ARROll', K. J.: «Applica ions o Con ol Theo y o Economic G ow lm, en Geo ge B. Dan zingy A hu F. Veino , J . (eds.) Ma hema ics o he Decision Sciences, Pa e 2, Ame ican Ma hema ical Socie y, P o idence, 1968, pág.92. BARRO, R.J. y SALA+MARTIN, X.:Economic G ow h. McG aw-Hill, !ne. New Yo k, 1995. BELLMAN, R.E.: Dynamic P og amming, P ince on Uni e si y P ess, P ince on, 1957. BLACKIVELL, D.:«Disc e e Dynamic P og amming». Annals o Ma hema ical S a is ics 33, págs. 719-726, 1962. M Pa a 1111 análisis de es e p oblema en iempo con inuo y disc e o as como algunos ejemplos e Luenbc ge , D.G.: ln oduc ion o Dy11amic Sys ems. TheoJJ', , odels and App/ica ions. John Viley and Sons, New Yo k, 1979, págs. 419·425. 39 La p og amación diná1nica ha sido ainplimnen e u ilizada en economía. Pueden encon a se a ios eje1nplos que u ilizan la p og amación diná nica pa a la modelización del ciclo económico en Lo enz, H· V.: !•lonlinea Dynamical Economics and Chao ic A o ion. Second Edi ion. Sp inge ·Ve lag, Be lín, 1993. y en Nishímu a, K. y So ge , G.: «Üp i1nal Cycles and Chaos: A Su ey». S udies in /llon/inea Dynamics and Economics, Ab il 1996, 1(1), págs. 11·28. - 21 - BüRRELL, J.: 1 1é odos 111a e111á icos pa a la eco110111ía. P og a111ación n1a e111á ica. Ediciones Pi á1nide, Mad id, 1989. CHIANG, A.C.: Elemen s o Dynamic Op lmiza ion. McG aw-Hill, lnc. New Yo k, 1992. FERNÁNDEZ DIAZ, A. y RODRIGUEZ SAIZ, L.: In oducción y Me odología de la polí ica Económica. Ediciones ICE, Mad id, 1986. GANDOLFO, G.: Economic Dynamics. S udy Edi ion. Sp inge -Ve lag, Be lín, 1997. LORENZ, H-W.: Nonlinea Dynamical Economics and Chao ic Mo ion. Second Edi ion. Sp inge -Ve lag, Be l n, 1993. LUENBERGER, D.G.: Jn oduc ion o Dynamic Sys ems. Theo1y, Mode/s and App/ica ions. John Wiley and Sons, New Yo k, 1979. N!SlllMURA, K. y SORGER, G.: «Üp imal Cycles and Chaos: A Su ey». S udies in Nonlinea Dynamics and Economics, Ab il 1996, 1(1), págs. 11-28. PONTRYAGIN, L.S.; BOLTYANSKll, V.G.; GAMKREDLIDZE, R.V. y M!SHCHENKO, E.F.: The Ma hema ical Theo y o Op imiza ion. ln e science Publishe , Nue a Yo k, 1962. SHONE, R.:Economic Dynamics. Pilase diag ams and hei economic applica ion. Camb idge Uni e si y P ess, Camb idge, 1997. V!LLALBA, D. y JEREZ, M.: Sis emas de op imización pa a la Plani icación y oma de decisiones. Ediciones Pi ámide, Mad id, 1990. ANEXO A. GENERALIZACIONES DE LA ECUACIÓN DE EULER. A con inuación gene alizamos la exp esión pa a la ecuación de Eule (3.3) pa a el caso en el que exis an más de una a iable de es ado, y pa a el caso en que apa ezcan de i adas de o den supe io en nues o p oblema. Exis e 1nás de una a iable de es ado. Cuando exis en 11> / a iables de es ado, el p oblema undamen al (3.1.) queda: T A: axinziza o 111iui111iza J "{y 1, ... , y 11 ] = [ F ( ; Y1, ... , y 11 ; y'1, ... , Y'11) d o si¡je o a: y, (O), ... , y,, (O)= A1, ••• , A,, )'¡ (1)' ... 'y,, (T) = z,' ... ' z,, Nues o obje i o se á encon a n ayec o ias óp imas Jj * ( ) pa a} = /, .... , n. La condición de p ime o den de nues o p oble1na de 1naxi nización se con e11i á en un sis e111a de n ecuaciones. Es as n ecuaciones de Eule sinn1l áneas se pueden exp esa de la siguien e onna: [ecuaciones de Eule ] F - !1._F , = O >'1 d )' j l E[ 0,T] (j = 1....11 ) La esolución de es as n ecuaciones u ilizando las 211 condicionesde con o no del p oblema de op imización, nos pe mi i á de e mina las n ayec o ias óp imas y1 • ( ) ... y,,* ( ) . Tenemos que ene en cuen a que al de i a dF,., 1 d como F ( ; y1, ••. , y,,; y' 1, ••• , y',,}, dicha de i ada depende á ambién de odas esas a iables. Ejemplo - 22 - T 1 Jaxin1iza V[y,z]= J (y+ z + y' 1 + z' 1) di o suje o a: y(O)=A 1; y(I')=Z1; z(O)=A 2; z(T)=Z2 De i amos las ecuaciones de Eule eniendo en cuen a las de i adas: F,. = 1 ; F, = 1 ; F, .. = 2y' ; F,. = 2z' 1 2 11 Q /1 [ / j • j 2 ~ J' = - y =- -y =- +c 1 -y =- +c1 +c 2 2 2 4 Las cons an es c1 , c2 , c1 , c4 que apa ezcan en la solución gene al del an e io sis e1na de ecuaciones di e enciales se pueden ob ene con las cua o condiciones y(O), y(T), z(O), z(I'). De i adas de mayo o den. Cuando en el p oblema undamen al (3.1.) apa ecen o as de i adas supe io es a las de p ime o den, la o ma uncional se ía del ipo: T V[y} = F ( 1, y, y', y", ... , ) "J) di o Las condiciones iniciales e leja án no sólo los alo es inicialy(O} y inaly(I'), sino ambién de y', y", ... , /"· 1!. En o al end emos 211 condiciones pa a esol e el p oblema de op imización. Pa a esol e es e ipo de p oblemas ans o mamos las a iables pa a que en luga de ene una a iable de es ado y con n de i adas en la onna uncional obje i o, en la 1nis1na sólo engan1os p ilne as de i adas y n a iables de es ado di e en es, de al mane a que podamos aplica los esul ados ob enidos en el pun o an e io . Ejemplo Ma imiza suje o a T 1'{):) = (1-y 1 + yy' +y"') d o y(O) = A ; y(T) = Z y'(O)=a; y'(I') = J hace1nos: z "'°Y' - z' =y", de onna que: F = ·y2 + yy' + y"2 = ·y2 + yz + z ,2 Con es a ans o mación podemos aplica los esul ados de i ados an e io men e cuando exis en más de una a iable de es ado, eniendo p esen e que aho a las condiciones iniciales y inales se án: y(O) = A ; y(I') = Z z(O}=a; z(I') = J De o ma al e na i a, cuando en el p oblema apa ecen de i adas de o den 112 l, se puede aplica la condición de p ime o den o mulada po la ecuación Eule - Poisso11: - 23 - d d2 d" F --F ,+-F .- ...... +(-1)"-F o=O )' d )' d 2 y d . y ' 'IE [0,T] que se á en gene al una ecuación di e encial de g ado 2n. Pa a su solución se necesi a á po an o 211 condiciones iniciales y inales que apa ecen en el p oblema. ANEXO B. CONDICIONES SUFICIENTES DE CONCAVIDAD. Como ya imos, si F( ,y,y~ iene segundas de i adas con inuas, la condición su icien e de conca idad/con exidad puede es ea se examinando el signo (de inido o semide inido) de la siguien e o ma cuad á ica: q = F du 2 + 2F ,dudu 1 + ., ,du 12 })' ,7 )J' ,7 ,7 )' )' 'J Una de las o mas que enemos pa a deduci si la o ma cuad á ica q es de inida o semide inida de algún signo, es la que se basa en el signo de sus aíces ca ac e ís icas. La ecuación ca ac e ís ica puede esc ibi se con10: F, ,- F J'Y y)· =o F",- su esolución nos p opo ciona la aíces ca ac e ís icas 1 y 1• q es de inida nega i a 1 <O, 1 <O q es de inida posi i a I'¡ >o, 1'2 >o q es se1nide inida nega i a q es semide inida posi i a si los signos son opues o q es inde inido ANEXO C. GENERALIZACIÓN DEL PRINCIPIO DEL MÁXIMO. En el caso en el que en el p oblema de con ol óp imo apa ezcan más de una a iable de es ado y/o más de una a iable de con ol, el P incipio del Máximo segui á siendo álido. Las condiciones (4.2-4.5) debe án cumpli se aho a pa a odas y cada una de las a iables que apa ecen en el p oblema. Es o es, dado el siguien e p oblema de con ol óp imo, con /1 a iables de es ado'° y m a iables de con ol: A1axi111iza T V= F{ ,y 1 ,y 2, ... ,y 11 , U¡, u2, ... , umJd o suje o a y'¡ = {1,)'¡,)'z, ··· .)' 11 , ll¡, ll1, ···, llm} H Obsé ese que aho a debe apa ece una ecuación de mo iTnien o pa a cada a iable de es ado. - 24 -