Aproximación Funcional en Aprendizaje por Refuerzo Multi-Objetivo

Aproximaci´on Funcional en Aprendizaje por Refuerzo Multi-Objetivo Manuela Ruiz-Montiel, Lawrence Mandow, and Jos´e-Luis P´erez-de-la-Cruz Universidad de M´alaga. Campus de Excelencia Internacional Andaluc´ıa Tech {mruiz,lawrence,perez}@lcc.uma.es Resumen En este trabajo describimos y comparamos dos t´ecnicas para combinar m´etodos de aproximaci´on funcional y de escalarizaci´on, con el objetivo de resolver problemas de aprendizaje por refuerzo con espacios de estados de tama˜no elevado y con m´ultiples objetivos. Se analizan los resultados de ambas t´ecnicas al resolver un problema de aprendizaje1. Keywords: Aprendizaje por Refuerzo, Aproximaci´on Funcional, Optimizaci´on Multi-Objetivo, Escalarizaci´on 1. Introducci´on El aprendizaje por refuerzo [1] (AR) es un ´area del aprendizaje autom´atico encargada de aprender qu´e acciones elegir en un entorno determinado, con el objetivo de maximizar una recompensa acumulada a largo plazo. El aprendizaje sucede mediante la interacci´on con el entorno, recibiendo recompensas positivas o negativas tras tomar ciertas acciones. Los algoritmos de AR funcionan aprendiendo el valor a largo plazo de escoger una determinada acci´on, es decir, la recompensa acumulada que podemos esperar. Por ejemplo, las t´ecnicas de diferencias temporales aprenden un valor para cada par (estado, acci´on) del entorno. La opci´on m´as directa es almacenar los distintos valores en una tabla. Sin embargo, en muchos problemas reales el tama˜no del espacio de estados y acciones es tan elevado que esta opci´on deja de ser factible. Las t´ecnicas de aproximaci´on de valores intentan aliviar esta situaci´on, permitiendo usar una funci´on en lugar de una tabla. Por otra parte, la mayor´ıa del trabajo existente en el ´ambito del AR trata con recompensas escalares. Sin embargo, numerosos problemas se formulan mejor en t´erminos de m´ultiples objetivos, donde las recompensas son vectores y sus componentes representan objetivos distintos y posiblemente en conflicto. Una opci´on es escalarizar la recompensa, de manera que se puedan aplicar las t´ecnicas tradicionales de AR para un ´unico objetivo. En este trabajo describimos y comparamos dos mecanismos para integrar la aproximaci´on funcional y la escalarizaci´on en un mismo algoritmo de AR. El 1La presentaci´on de este trabajo est´a subvencionada por el Plan Propio de Investigaci´on de la Universidad de M´alaga - Campus de Excelencia Internacional Andaluc´ıa Tech. 144 Manuela Ruiz-Montiel et al. primer mecanismo es una extensi´on directa de una t´ecnica existente de AR multiobjetivo, en la cual se sustituye la tabla por una funci´on de aproximaci´on lineal. El segundo mecanismo emplea un enfoque distinto, ya que en lugar de escalarizar las recompensas, escalariza los valores aproximados. Hasta donde sabemos, esta segunda t´ecnica no ha sido previamente descrita en la literatura. Este art´ıculo se estructura como sigue: en la Secci´on 2 se recogen algunos conceptos necesarios relativos al AR, a la aproximaci´on funcional y al AR multiobjetivo. A continuaci´on, en la Secci´on 3 se describen dos t´ecnicas para integrar la aproximaci´on funcional y la escalarizaci´on. En la Secci´on 4 se muestran dos conjuntos de experimentos destinados a resolver un problema sencillo mediante los dos mecanismos descritos anteriormente. En la Secci´on 5 se analizan los resultados arrojados por los experimentos y, finalmente, en la Secci´on 6 se exponen las conclusiones de este trabajo y las posibles l´ıneas de trabajo futuro. 2. Antecedentes 2.1. Aprendizaje por Refuerzo Siguiendo la notaci´on de Sutton & Barto [1], los m´etodos de AR solucionan procesos de decisi´on en los cuales la transici´on de un estado sa otro estado s0 mediante la acci´on aconlleva la obtenci´on de una recompensa r. La soluci´on consiste en una pol´ıtica que decide qu´e acci´on tomar en cada estado. La ejecuci´on de una pol´ıtica a partir de un estado s0origina una secuencia de estados s0, s1, ..., si, .... Para cada estado stde esta secuencia (siendo tun instante dado de tiempo), la recompensa acumulada que puede obtenerse viene dada por la expresi´on Rt=P´ınf k=0 γkrt+k+1, donde γes un factor de descuento que, si es menor que 1, le resta importancia a las recompensas obtenidas en el futuro. Los algoritmos de aprendizaje por refuerzo intentan encontrar la pol´ıtica que maximice esta recompensa acumulada. Los m´etodos de diferencias temporales, y concretamente el algoritmo Qlearning, constituyen una de las t´ecnicas m´as populares en el ´ambito del AR. En Q-learning, cada par (s, a) se asocia con un valor Q(s, a), y la pol´ıtica queda determinada por el siguiente juicio de valor: en el estado s, escoger la acci´on a tal que el valor Q(s, a) es m´aximo. El enfoque m´as directo consiste en almacenar los valores Q(s, a) en una tabla. Al realizar la transici´on desde un estado sa un estado s0a traves de la acci´on a, el valor Q(s, a) se actualiza mediante la expresi´on Q(s, a)←Q(s, a) + αδ, donde α∈[0,1] es la tasa de aprendizaje y δes la denominada diferencia temporal. Esta diferencia se define como δ=r+γmaxa0Q(s0, a0)−Q(s, a). En cada paso del episodio se eligen los pares (s, a) a actualizar mediante una estrategia de explotaci´on-exploraci´on. Con una probabilidad el algoritmo explora, es decir, elige la acci´on a tomar de manera aleatoria para intentar mejorar la pol´ıtica existente probando nuevas opciones. Por el contrario, con una probabilidad 1 −se utiliza pol´ıtica aprendida hasta el momento, con el fin de evaluarla. Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 145 2.2. Aproximaci´on Funcional En muchos casos pr´acticos, el n´umero de pares (s, a) es tan elevado que no es factible almacenarlos en una tabla. Una posible soluci´on es usar un aproximador para aprender los valores Q(s, a). Para ello es necesario seleccionar un conjunto de caracter´ısticas o rasgos relevantes fipara describir cada par (s, a) y poder definir los valores Q(s, a) como una funci´on de dichos rasgos. En este trabajo hemos utilizado una funci´on lineal de los rasgos. M´as concretamente, postulamos una funci´on Q(s, a) = θ1f1(s, a) + · · · +θnfn(s, a) donde fi(s, a) es el rasgo i-´esimo del estado s0que surge al aplicar la acci´on asobre el estado s, y θi es el i-´esimo coeficiente de la funci´on lineal Q. As´ı, lo que el algoritmo ha de aprender ahora es cu´ales son estos coeficientes, utilizando la regla de aprendizaje θi←θi+αδfi(s, a). Q(λ) es una generalizaci´on de Q-learning en la cual se puede controlar el nivel de bootstrapping, es decir, la utilizaci´on de predicciones anteriores para actualizar los valores. Si λ= 0, el m´etodo es equivalente a Q-learning puro. Valores m´as altos de λacercan el m´etodo a la t´ecnica de Monte Carlo, en la cual es necesario esperar hasta que la recompensa acumulada est´a disponible para actualizar los valores. Dado que el uso de bootstrapping puede afectar a la convergencia de la funci´on Q(s, a) cuando se usan aproximadores, es deseable contar con un mecanismo para regularlo. Por tanto, Q(λ) es m´as apropiado para utilizar este tipo de aproximadores lineales que Q-learning puro. En este trabajo hemos empleado el algoritmo Q(λ) con un aproximador lineal [1] (p. 213). 2.3. Aprendizaje por Refuerzo Multi-Objetivo En numerosas ocasiones, la recompensa rque se obtiene al realizar la transici´on entre dos estados se formaliza mejor en t´erminos de m´ultiples objetivos, es decir, mediante un vector r. Existen dos enfoques para tratar problemas con m´ultiples objetivos mediante t´ecnicas de aprendizaje por refuerzo: (1) pol´ıtica ´unica y (2) pol´ıticas m´ultiples [2]. En el primer paradigma se transforma la recompensa en un valor escalar a partir de ciertas preferencias conocidas a priori. De este modo se pueden seguir utilizando las t´ecnicas de aprendizaje por refuerzo para un ´unico objetivo. En el segundo paradigma se intentan aprender todas las pol´ıticas que dan lugar a recompensas acumuladas ´optimas. Incluso en este caso se pueden seguir utilizando mecanismos para escalarizar la recompensa, resolviendo el problema repetidas veces con diferentes configuraciones de preferencias o pesos para cada objetivo [3], [4]. Concretamente este es el enfoque que hemos seguido en este trabajo, utilizando una funci´on de escalarizaci´on lineal. Hasta donde sabemos, no existen trabajos que estudien la interacci´on entre estas t´ecnicas de escalarizaci´on lineal y la utilizaci´on de m´etodos de aproximaci´on de funciones. En la pr´oxima secci´on proponemos dos m´etodos para combinar dichas t´ecnicas. 146 Manuela Ruiz-Montiel et al. 3. Aproximaci´on y Escalarizaci´on Lineal en Q(λ) Multi-Objetivo En esta secci´on describimos dos m´etodos para combinar las t´ecnicas de aproximaci´on de funciones y escalarizaci´on lineal en el algoritmo Q(λ). El primer m´etodo no introduce ninguna novedad, pues se trata de utilizar el algoritmo Q(λ) repetidas veces con diferentes configuraciones de preferencias, escalarizando la recompensa y utilizando un mecanismo de aproximaci´on lineal, manejando ´unicamente una funci´on Q(s, a). El segundo m´etodo s´ı introduce una nueva t´ecnica para combinar la aproximaci´on y la escalarizaci´on, ya que aprende una funci´on lineal para cada objetivo, manteniendo as´ı m´ultiples funciones Q(s, a), y luego escalariza dichas funciones en lugar de agregar directamente la recompensa. 3.1. Aproximaci´on de Valores Escalarizados Linealmente Supongamos que utilizamos una funci´on lineal para escalarizar la recompensa r= (r1,· · · , rm). Es decir, r=w1r1+· · ·+wmrm. Podemos utilizar distintas configuraciones de preferencias wpara dar lugar a distintas recompensas escalares. Con cada configuraci´on wpodemos lanzar un proceso distinto de aprendizaje. Para realizar la aproximaci´on necesitamos tambi´en un conjunto de nrasgos que definan cada par (s, a), de forma que el algoritmo aprender´a un conjunto de ncoeficientes para la funci´on de aproximaci´on lineal. En el Cuadro 1 se describe el pseudoc´odigo para esta t´ecnica, teniendo en cuenta la escalarizaci´on lineal de la recompensa y la utilizaci´on de rasgos continuos normalizados entre 0 y 1. 3.2. Escalarizaci´on Lineal de Valores Aproximados Supongamos ahora que utilizamos una funci´on lineal para escalarizar un vector formado por diferentes funciones de valor Q(s, a)=(Q1(s, a),· · · , Qm(s, a)). 1. Sean θyevectores con ncomponentes (una por cada rasgo) 2. Inicializar θarbitrariamente, e.g., θ=03. Repetir (para cada episodio): 4. e=0 5. s←estado inicial del episodio 6. Repetir (para cada paso del episodio): 7. Para todo a∈A(s): 8. Q(s, a)←Pn i=1 fi(s, a)θi 9. a←argmaxaQ(s, a) con prob. 1 −, e.o.c. a←acci´on aleatoria ∈A(s) 10. Tomar la acci´on a, observar r=w1r1+···+wmrmy siguiente estado s0 11. δ←r−Q(s, a) 12. Para todo i∈1,···, n, ei←ei+fi(s, a) (acumulaci´on de trazas) 13. Si s0es final, entonces θ←θ+αδe, ir al siguiente episodio 14. Para todo a0∈A(s0): 15. Q(s0, a0)←Pn i=1 fi(s0, a0)θi 16. δ←δ+γmaxa0∈A(s0)Q(s0, a0) 17. θ←θ+αδe 18. e←γλe 19. s←s0 Cuadro 1. Aproximaci´on de valores escalarizados mediante Q(λ) lineal Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 147 Es decir, tenemos que Q(s, a) = w1Q1(s, a) + · · · +wmQm(s, a), donde el vector wrepresenta los pesos o preferencias para cada objetivo, al igual que en la secci´on anterior, aunque ahora no utilizaremos este vector para escalarizar la recompensa sino los valores Qi(s, a). La diferencia fundamental entre este enfoque y el anterior es que ahora se aprende una funci´on Qi(s, a) para cada objetivo, y la funci´on Q(s, a) que finalmente utilizaremos como pol´ıtica vendr´a dada por la escalarizaci´on lineal del vector de funciones Q(s, a). As´ı, necesitaremos mconjuntos de rasgos para cada par (s, a), de manera que el algoritmo aprender´a a su vez mconjuntos de coeficientes para las funciones de aproximaci´on lineal. En esta configuraci´on podemos utilizar distintos conjuntos de rasgos para cada objetivo, aunque por simplicidad supondremos que todos los conjuntos de rasgos son de tama˜no n, y por tanto todos los conjuntos de coeficientes tambi´en son de este tama˜no. En el Cuadro 2 se describe el pseudoc´odigo para esta t´ecnica, utilizando rasgos continuos normalizados entre 0 y 1. 4. Experimentos En esta secci´on utilizaremos las dos t´ecnicas descritas anteriormente para resolver un problema de optimizaci´on multiobjetivo que puede ser formalizado en t´erminos de estados, acciones y recompensas. Concretamente se trata de un problema geom´etrico en el que se pretenden generar formas bidimensionales de 9 bloques cuadrados mediante una regla aditiva. Esta regla ubica un bloque en un hueco libre junto a alg´un bloque existente (ver Figura 1). En este problema, los estados son las distintas formas que pueden generarse mediante la regla. Las acciones disponibles para cada estado son las distintas 1. Sean θ1,···θmm vectores con ncomponentes cada uno 2. Sean e1,···emm vectores con ncomponentes cada uno 3. Inicializar θiarbitrariamente, e.g., θi=0 4. Repetir (para cada episodio): 5. Para todo i∈1,···, m, ei=0 6. s←estado inicial del episodio 7. Repetir (para cada paso del episodio): 8. Para todo a∈A(s): 9. Q(s, a)←Pm i=1 wiQi(s, a) 10. donde Qi(s, a)←Pn j=1 fij (s, a)θij 11. a←argmaxaQ(s, a) con prob. 1 −, e.o.c. a←acci´on aleatoria ∈A(s) 12. Tomar la acci´on a, observar r= (r1,···, rm) y siguiente estado s0 13. Para todo i∈1,···, m, δi←ri−Qi(s, a) 14. Para todo i∈1,···, m, ei←ei+fi(s, a) (acumulaci´on de trazas) 15. Si s0es final, entonces ∀i∈1,···, m, θi←θi+αδiei, ir al siguiente episodio 16. Para todo a0∈A(s0): 17. Q(s0, a0)←Pm i=1 wiQi(s0, a0) 18. donde Qi(s0, a0)←Pn j=1 fij (s0, a0)θij 19. a0←argmaxa0Q(s0, a0) 20. Para todo i∈1,···, m, δi←δi+γQi(s0, a0) 21. Para todo i∈1,···, m, θi←θi+αδei 22. Para todo i∈1,···, m, ei←γλei 23. s←s0 Cuadro 2. Escalarizaci´on de valores aproximados mediante Q(λ) lineal 148 Manuela Ruiz-Montiel et al. Figura 1. Regla geom´etrica utilizada en el ejemplo. posibilidades de aplicaci´on de la regla. Por ejemplo, en el estado inicial, formado por un ´unico bloque, tenemos cuatro posibles acciones: ubicar el nuevo bloque arriba, abajo, a la derecha o a la izquierda. Un estado final es toda aquella forma que tenga nueve bloques. Tendremos en cuenta dos objetivos: maximizar la compacidad de las formas y maximizar su per´ımetro. La recompensa es un vector nulo en todos los estados no finales. En los estados finales, la recompensa es un vector de dos componentes (r1, r2) dados por las siguientes expresiones: r1=cnorm si cnorm ≤0,6 0,6 + cnorm−0,6 2e.o.c.(1) r2=pnorm si pnorm ≤0,8 0,8 + cnorm−0,8 2e.o.c.(2) Donde cnorm es la compacidad normalizada y se calcula dividiendo la compacidad c= 9/p2(donde pes el per´ımetro) entre la compacidad m´axima, que es cmax = 9/144, es decir, cnorm = 144/p2.pnorm es el per´ımetro normalizado y se calcula dividiendo pentre el per´ımetro m´aximo, es decir, pnorm =p/20. Utilizando esta recompensa se obtienen tres soluciones no dominadas que pueden ser obtenidas mediante tres configuraciones distintas de pesos. Dos de las tres soluciones representan m´as de una forma (las correspondientes a maximizar ´unicamente el per´ımetro y a maximizar tanto el per´ımetro como la compacidad), y una de ellas representa ´unicamente a una forma (la correspondiente a maximizar la compacidad). La frontera y las distintas soluciones asociadas a cada punto no dominado, as´ı como los pesos que dan lugar a su obtenci´on junto con las recompensas escalares asociadas, se pueden visualizar en la Figura 2. Para poder aplicar la aproximaci´on funcional es necesario definir un conjunto de rasgos que caractericen los distintos estados de manera apropiada. Hemos considerado cinco rasgos normalizados entre 0 y 1. f1(s, a): n´umero de bloques cuadrados con un vecino2en la forma que surge al aplicar la acci´on aal estado s, dividido entre el n´umero final de bloques que ha de tener la forma (9) f2(s, a): an´alogo al rasgo f1(s, a), con dos vecinos f3(s, a): an´alogo al rasgo f1(s, a), con tres vecinos f4(s, a): an´alogo al rasgo f1(s, a), con cuatro vecinos f5(s, a): n´umero de bloques que contiene la forma, dividido entre el n´umero final de bloques (9) 2Para un bloque dado, los vecinos considerados son aquellos que tienen un lado en com´un con dicho bloque, es decir, no se consideran los vecinos ubicados en las diagonales. Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 149 Figura 2. Frontera de Pareto y soluciones geom´etricas del problema considerado. Se han llevado a cabo 100 ejecuciones de cada t´ecnica para cada combinaci´on de pesos, con 5000 episodios de aprendizaje y utilizando la siguiente parametrizaci´on: α= 0,1,  = 0,3, γ = 1, λ = 0,5. Se han registrado dos medidas: 1. Rendimiento online: recompensas obtenidas en determinados episodios del proceso de aprendizaje (concretamente cada 100 episodios) 2. Rendimiento de las pol´ıticas: cada 100 episodios se ha utilizado la pol´ıtica aprendida hasta el momento para generar 100 formas y evaluar la recompensa media de dichas formas Para representar ambos rendimientos gr´aficamente, las recompensas se han escalarizado mediante la combinaci´on de pesos que corresponda en cada caso. Adem´as, en cada gr´afica se incluye una l´ınea punteada horizontal que corresponde a la recompensa escalarizada que se espera obtener. En la Figura 3 se pueden observar los distintos rendimientos para cada configuraci´on de pesos de la t´ecnica descrita en la Secci´on 3.1, es decir, la que aproxima valores escalarizados linealmente. En la Figura 4 se pueden observar los rendimientos para la t´ecnica descrita en la Secci´on 3.2, es decir, la que escalariza linealmente valores aproximados. 5. Discusi´on A la luz de las gr´aficas ilustradas en las figuras 3 y 4, los rendimientos de las t´ecnicas descritas son equivalentes para el ejemplo considerado. Si observamos las gr´aficas de la columna de la derecha, correspondientes al rendimiento de las pol´ıticas, para las configuraciones de pesos w= (0,1) y w= (1,0), las soluciones correspondientes se alcanzan dentro de los 5000 episodios de aprendizaje. Para la configuraci´on w= (0,4,0,6) podemos observar que ser´ıan necesarios m´as episodios para alcanzar la soluci´on ´optima. Igualmente, en ambos casos el rendimiento online es equivalente, siendo inferior al rendimiento de las pol´ıticas por la influencia del factor de exploraci´on . 150 Manuela Ruiz-Montiel et al. ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.75 0.85 Rendimiento online (0−1) episodios rec_online ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.75 0.85 Rendimiento políticas (0−1) episodios rec_politicas ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.680 0.695 0.710 Rendimiento online (0.4−0.6) episodios rec_online ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.680 0.695 0.710 Rendimiento políticas (0.4−0.6) episodios rec_politicas ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.3 0.5 0.7 Rendimiento online (1−0) episodios rec_online ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.3 0.5 0.7 Rendimiento políticas (1−0) episodios rec_politicas ● ●●● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● Figura 3. Rendimientos para la t´ecnica de aproximaci´on de valores escalarizados linealmente. Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 151 ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.75 0.85 Rendimiento online (0−1) episodios rec_online ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.75 0.85 Rendimiento políticas (0−1) episodios rec_politicas ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.680 0.695 0.710 Rendimiento online (0.4−0.6) episodios rec_online ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.680 0.695 0.710 Rendimiento políticas (0.4−0.6) episodios rec_politicas ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.3 0.5 0.7 Rendimiento online (1−0) episodios rec_online ● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ● ●●● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 0 1000 2000 3000 4000 5000 0.3 0.5 0.7 Rendimiento políticas (1−0) episodios rec_politicas ● ●●● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● Figura 4. Rendimientos para la t´ecnica de escalarizaci´on lineal de valores aproximados.