Proyecto Arquitectónico Energéticamente Eficiente Mediante Gramáticas de Formas y Aprendizaje por Refuerzo

Proyecto Arquitect´onico Energ´eticamente Eficiente Mediante Gram´aticas de Formas y Aprendizaje por Refuerzo Manuela Ruiz-Montiel, Javier Boned, Juan Gavilanes, Pablo Hidalgo, David Belmonte, Lawrence Mandow, and Jos´e-Luis P´erez-de-la-Cruz Universidad de M´alaga. Campus de Excelencia Internacional Andaluc´ıa Tech [email protected],{fjboned,jgavilanes}@uma.es,{lawrence,perez}@lcc.uma.es Resumen En este trabajo presentamos un sistema para la generaci´on de esquemas de viviendas unifamiliares energ´eticamente eficientes. Los esquemas se sintetizan mediante la ejecuci´on de gram´aticas de formas simples, entrenadas por medio de t´ecnicas de aprendizaje por refuerzo, teniendo en cuenta criterios tanto de habitabilidad como de eficiencia energ´etica. Los resultados obtenidos son analizados y validados. 1 Keywords: Dise˜no Computacional, Arquitectura, Eficiencia Energ´etica, Gram´aticas de Formas, Aprendizaje por Refuerzo 1. Introducci´on La Inteligencia Artificial se ha ocupado del problema del dise˜no en ingenier´ıa y arquitectura al menos desde la d´ecada de 1960. Los trabajos de Herbert Simon [1] constituyeron un primer paso en la comprensi´on progresiva del proceso de dise˜no, mediante la aplicaci´on al mismo del paradigma del procesamiento simb´olico de la informaci´on. El dise˜no se considera como resoluci´on de problemas y, por tanto, como b´usqueda en un espacio de estados. Las t´ecnicas de decisi´on basadas en IA pueden ser pues ´utiles para la generaci´on de propuestas de dise˜no. Actualmente se hace necesaria la investigaci´on en el proyecto de edificaciones eficientes, esto es, partiendo de un dise˜no y construcci´on que consuman la menor cantidad de recursos naturales y produzcan un m´ınimo de residuos durante su ciclo de vida. La metodolog´ıa habitual, y a´un mayoritariamente seguida, pone el mayor ´enfasis en la tecnolog´ıa de los sistemas de ahorro energ´eticos activos superpuestos a unos sistemas pasivos que tienen mucha menor importancia, y que a su vez son consecuencia de una selecci´on de formas arquitect´onicas donde lo sostenible ha sido escasamente tenido en cuenta. Behling [2] propone invertir 1Este trabajo est´a subvencionado por la Universidad de M´alaga - Programa de fortalecimiento de las capacidades de I+D+I en las universidades 2014-2015, de la Consejer´ıa de Econom´ıa, Innovaci´on, Ciencia y Empleo, cofinanciado por el fondo europeo de desarrollo regional (FEDER), y por el Plan Propio de Investigaci´on de la Universidad de M´alaga - Campus de Excelencia Internacional Andaluc´ıa Tech. Manuela Ruiz-Montiel disfruta de una beca FPU (Gobierno de Espa˜na, Ministerio de Educaci´on). Los autores dan las gracias a sus compa˜neras Mar´ıa V. Belmonte y Eva Mill´an por sus valiosos comentarios y opiniones sobre las investigaciones aqu´ı presentadas. 134 Manuela Ruiz-Montiel et al. la importancia relativa de estos sistemas, de manera que los sistemas activos tengan una importancia residual y sea el mismo proceso de selecci´on de formas arquitect´onicas el que garantice la sostenibilidad de lo proyectado. En l´ınea con la propuesta de Behling, en este trabajo proponemos la generaci´on de proyectos arquitect´onicos que desde su inicio tengan en cuenta criterios de habitabilidad y eficiencia energ´etica. Concretamente, nuestro objetivo es desarrollar un sistema generador de esquemas de viviendas unifamiliares que cumplan con los mencionados criterios y que adem´as aporte diversidad en los dise˜nos propuestos al arquitecto. El sistema emplea gram´aticas de formas [3] como mecanismo de generaci´on, y la ejecuci´on de tales gram´aticas se optimiza mediante t´ecnicas de aprendizaje por refuerzo [4]. En la literatura existen varios trabajos que abordan diversas variantes de este problema. Por ejemplo, el trabajo de Caldas [5] utiliza gram´aticas de formas y algoritmos gen´eticos para generar soluciones arquitect´onicas eficientes. Granadeiro et al. [6] integran gram´aticas de formas con un software de simulaci´on energ´etica, de modo que las evaluaciones obtenidas puedan servir como gu´ıa para tomar decisiones en fases tempranas de dise˜no. A diferencia de estos trabajos, nuestra propuesta utiliza gram´aticas de formas muy sencillas. La ejecuci´on aleatoria de sus reglas dar´ıa lugar a una gran variedad de dise˜nos, aunque resultando la mayor´ıa de ellos inaceptables. Por ello surge la necesidad de utilizar t´ecnicas de aprendizaje para guiar la aplicaci´on de las reglas hacia las soluciones que cumplen las restricciones de dise˜no deseadas. Este art´ıculo se estructura como sigue: en la Secci´on 2 se presentan los antecedentes necesarios relativos a las gram´aticas de formas y al aprendizaje por refuerzo, adem´as de describir las gu´ıas de dise˜no utilizadas para definir los criterios de habitabilidad y eficiencia energ´etica necesarios. En la Secci´on 3 se detallan los procesos de generaci´on y de aprendizaje, y se justifica la necesidad de estos ´ultimos ilustrando algunos esquemas producidos mediante una ejecuci´on aleatoria de las gram´aticas de formas utilizadas. En la Secci´on 4 se muestran y analizan los resultados obtenidos mediante la ejecuci´on de las mismas gram´aticas, pero esta vez guiadas mediante procesos de aprendizaje. En la Secci´on 5 se describen las conclusiones extra´ıdas y se esbozan las l´ıneas de trabajo futuro. 2. Antecedentes 2.1. Gram´aticas de Formas Una gram´atica de formas es un conjunto de reglas definidas sobre formas. Un segmento o l´ınea, l={p1, p2}, queda definido por cualquier par de dos puntos distintos p1yp2, llamados los puntos finales de la l´ınea. Una forma etiquetada consta de dos partes: una forma y un conjunto de puntos etiquetados. Un punto etiquetado (p, A) es un punto pcon un s´ımbolo Aasociado. As´ı, una forma etiquetada σes un par ordenado σ=hs, Pi, donde ses una forma y Pes un conjunto finito de puntos etiquetados [3]. Una gram´atica de formas tiene cuatro componentes: (1) Ses un conjunto finito de formas, (2) Les un conjunto finito de s´ımbolos, (3) Res un conjunto Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 135 finito de reglas con la forma α→β, donde αes una forma etiquetada no vac´ıa yβes una forma etiquetada, y (4) Ies una forma etiquetada no vac´ıa, llamada forma inicial o axioma. Una regla puede aplicarse a una forma etiquetada γ cuando existe una transformaci´on τtal que τ(α) es subforma de γ, es decir, τ(α)⊆γ(una forma etiquetada s1es subforma de otra forma etiquetada s2si y s´olo si cada l´ınea maximal de s1est´a en s2, y cada punto etiquetado de s1est´a en s2). Las transformaciones consideradas aqu´ı son las traslaciones y rotaciones. La forma etiquetada producida por la aplicaci´on de la regla α→βa la forma etiquetada γbajo la transformaci´on τviene dada por la expresi´on [γ−τ(α) + τ(β)]. Esta forma etiquetada se construye reemplazando la ocurrencia de τ(α) en γcon τ(β). En la Figura 1 se representan una regla y una derivaci´on a partir de un axioma, es decir, una sucesi´on de formas generadas aplicando la regla. 2.2. Aprendizaje por Refuerzo Los problemas de aprendizaje por refuerzo formalizan procesos de decisi´on en los que la transici´on de un estado a otro conlleva una recompensa. La soluci´on consiste en determinar una pol´ıtica ´optima que establece cu´al es la acci´on en cada estado que permite maximizar la recompensa acumulada durante el proceso. El valor asociado a un par (estado,acci´on) representa la recompensa acumulada que podemos esperar si nos encontramos en un determinado estado y aplicamos la acci´on ay a continuaci´on seguimos una pol´ıtica π. A su vez, las acciones de la pol´ıtica se eligen mediante juicios de valor, de modo que se elige la acci´on aque produce un par (s, a) con valor m´aximo. Los m´etodos basados en diferencias temporales aproximan los valores ´optimos de los estados mediante un proceso iterativo dividido en episodios, a su vez divididos en pasos. Al principio del proceso, los valores asociados a cada par son arbitrarios, y por tanto la pol´ıtica asociada a tales valores tambi´en es arbitraria. En cada episodio se parte de un estado inicial y se intenta alcanzar un estado final mediante una estrategia que combina explotaci´on y exploraci´on. En los pasos de explotaci´on se elige la acci´on que dicte la pol´ıtica aprendida hasta el momento, con el fin de evaluarla. En los pasos exploratorios se elige la acci´on a tomar aleatoriamente, para intentar mejorar la pol´ıtica existente probando nuevas opciones. En cada paso, los valores obtenidos hasta el momento se van reforzando con nuevos valores. Tras numerosos episodios de aprendizaje, los valores se habr´an modificado tendiendo a definir una pol´ıtica pr´oxima a la ´optima. Figura 1. Una regla (a) y una derivaci´on (b) de formas 136 Manuela Ruiz-Montiel et al. En nuestro caso, los estados son formas y las acciones son posibles aplicaciones de las reglas. En concreto, una acci´on es un par (regla,transformaci´on) que determina cu´al es la regla a aplicar y cu´al es la transformaci´on a usar para hacer corresponder la parte izquierda de la regla con alguna parte del estado actual. Si bien los m´etodos m´as directos de aprendizaje por refuerzo utilizan una tabla para almacenar los valores asignados a los pares (s, a), en nuestro caso el elevado tama˜no del espacio de estados y acciones dificulta la utilizaci´on de este m´etodo. En su lugar emplearemos un m´etodo de generalizaci´on que s´olo tenga en cuenta determinados rasgos o caracter´ısticas de los pares (s, a), y que permita aprender el valor como una funci´on de dichos rasgos. Concretamente, el algoritmo de aprendizaje por refuerzo que hemos empleado es el algoritmo Q(λ) con un aproximador lineal, tal como aparece en [4] (p. 213). 2.3. El proyecto de viviendas energ´eticamente eficientes El proyecto de viviendas unifamiliares energ´eticamente eficientes es un proceso restringido por m´ultiples condiciones. En este trabajo pretendemos satisfacer condiciones de dos tipos: de habitabilidad y de eficiencia energ´etica. Para definir los criterios de habitabilidad nos hemos basado en la propuesta elaborada por el estudio Montaner y Mux´ı [7] para la Junta de Andaluc´ıa, donde se detallan las condiciones que ha de cumplir una vivienda b´asica seg´un el n´umero de personas que van a habitarla. Nuestro sistema genera esquemas de viviendas para dos personas. En la propuesta de Montaner se definen diversos tipos de ´ambitos que han de estar presentes en una vivienda, de entre los cuales hemos considerado los tres tipos principales: 1) ´ambitos especializados (necesitan instalaciones espec´ıficas para su funcionamiento), 2) ´ambitos no especializados (no necesitan instalaciones espec´ıficas, su uso queda determinado por los usuarios, por ejemplo: comedor, sal´on o dormitorio) y 3) ´ambitos complementarios (espacios de distribuci´on). En la Figura 2 se representan visualmente las relaciones de proximidad entre los distintos ´ambitos. Adem´as, la normativa establece que la superficie total ha de ser como m´ınimo de 46 m2y que en cada ´ambito no especializado ha de poder inscribirse un c´ırculo de 2,8 metros de di´ametro. Figura 2. Elementos y relaciones en una vivienda (adaptado de [7]). Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 137 Estos criterios de habitabilidad se tuvieron en cuenta en un trabajo previo de los autores [8]. La parte novedosa del presente art´ıculo consiste en a˜nadir criterios para optimizar la eficiencia energ´etica, al igual que en extender el proceso de evaluaci´on de las soluciones generadas, que ha sido realizado mediante una herramienta oficial para la evaluaci´on de la eficiencia energ´etica. Para determinar los criterios de dise˜no pasivo hemos considerado la gu´ıa del estandar Passivhaus [9], el informe t´ecnico Enerbuilding [10] y la revisi´on de Pacheco et al. [11], siempre en el contexto clim´atico espa˜nol. Podemos clasificar los criterios considerados en tres categor´ıas: 1. Criterios relacionados con el contorno de la vivienda. Segun Pacheco et al. [11], las pr´acticas de dise˜no pasivo habitualmente implican maximizar tanto la compacidad del contorno como la porci´on de la fachada orientada al sur 2. Criterios relacionados con los ´ambitos interiores de la vivienda. Seg´un el est´andar Passivhaus [9], la orientaci´on de los distintos ´ambitos internos puede afectar a la eficiencia energ´etica de la vivienda. Por ejemplo, la sala de estar puede funcionar mejor orientada al sur debido a la idoneidad de esta orientaci´on a lo largo de toda la jornada tanto en invierno como en verano; y el dormitorio puede beneficiarse de una orientaci´on al este, al permitir el aprovechamiento de la luz natural del amanecer para despertar 3. Criterios relacionados con los huecos (ventanas o acristalamientos). Seg´un la gu´ıa de dise˜no pasivo Enerbuilding [10], la superficie acristalada hacia el sur debe representar un porcentaje significativo de la vivienda 3. Generaci´on de viviendas energ´eticamente eficientes En este trabajo hemos implementado un sistema de generaci´on de viviendas sujetas a las condiciones expuestas en la Secci´on 2.3. El sistema sintetiza las soluciones mediante un conjunto de gram´aticas de formas. Este proceso de generaci´on se ha dividido en cuatro fases: (1) generaci´on de un contorno, (2) ubicaci´on de los distintos ´ambitos de la vivienda, (3) ubicaci´on de los huecos (ventanas) en las distintas fachadas y (4) agrupaci´on de huecos contiguos. En el Cuadro 1 se recogen los criterios concretos que han de cumplirse en cada fase. Nuestro sistema considera algunas condiciones adicionales que, a pesar de no estar recogidas en las gu´ıas de dise˜no mencionadas en la Secci´on 2.3, se han a˜nadido dada su relevancia arquitect´onica. En la fase 2, se ha determinado que el acceso a la vivienda ha de estar pr´oximo al distribuidor y la cocina. Para la fase 3 se ha establecido que los ´ambitos no especializados, as´ı como la cocina y el ba˜no, tengan asociado un hueco; y tambi´en se ha limitado la proporci´on del acristalamiento en la fachada oeste. Para la fase 4 no existen criterios, ya que ´unicamente agrupa los huecos ya existentes para formar ventanales o porches sin modificar la ubicaci´on de los huecos ni la superficie acristalada de la vivienda, y por tanto no altera el rendimiento energ´etico ni afecta a la habitabilidad. 138 Manuela Ruiz-Montiel et al. Criterios Fase 1 CF1-1: La superficie total ha de ser como m´ınimo de 48 m2 CF1-2: La compacidad del contorno (´area/per´ımetro2) ha de maximizarse CF1-3: La proporci´on de fachada orientada al sur (per´ımetro sur/perimetro total) ha de maximizarse Criterios Fase 2 CF2-1: Han de existir dos ´ambitos no especializados, una cocina, un ba˜no, un ´ambito distribuidor y un acceso a la vivienda CF2-2: Los ´ambitos no han de solaparse CF2-3: Criterios de distancia extra´ıdos de la Figura 2, donde dos ´ambitos se consideran cercanos si la distancia entre ellos es inferior a 4 metros CF2-4: Los ´ambitos no especializados deben estar orientados al sur o al este Criterios Fase 3 CF3-1: La superficie acristalada total ha de comprender un porcentaje m´ınimo del total de la fachada, que depende de la compacidad del contorno. Si el perimetro es mayor de 40 metros, y por tanto la compacidad es menor, dicho porcentaje es el 25 %. En otro caso, el porcentaje es del 30 % CF3-2: Todos los ´ambitos han de tener una ventana asociada CF3-3: La superficie acristalada hacia el sur ha de comprender como m´ınimo el 40 % del total de la fachada sur CF3-4: La superficie acristalada hacia el sur ha de comprender como m´ınimo el 40 % del total de la superficie acristalada CF3-5: La superficie acristalada hacia el oeste ha de comprender menos del 20 % del total de la superficie acristalada Cuadro 1. Condiciones para una vivienda para dos personas. 3.1. Procesos de generaci´on En la Figura 3 se ilustran algunas reglas de las gram´aticas de cada una de las fases 2. Las reglas funcionan a˜nadiendo o desplazando etiquetas de distintos tipos, que representan el contorno/interior de la vivienda, los distintos ´ambitos y los huecos o ventanas. Para cada gram´atica se establece una condici´on de terminaci´on, para poder decidir cu´ando detener la aplicaci´on de las reglas. A continuaci´on se detallan los distintos pasos necesarios para sintetizar un esquema: 1. La producci´on de un esquema comienza con un axioma definido por un n´ucleo de 6×4 m2. A partir de esta forma, se aplica la regla de la gram´atica 1 (ver Figura 3) hasta alcanzar un contorno de 48 metros cuadrados 2. La fase 2 consta de cuatro gram´aticas: las tres primeras (gram´aticas 2.1, 2.2 y 2.3) ubican los ´ambitos necesarios de la vivienda. Cada una de estas gram´aticas se aplica una vez (escogiendo alguna de sus reglas) sobre la forma sintetizada por la gram´atica utilizada anteriormente. La gram´atica 2.4 se utiliza sobre la forma producida por la gram´atica 2.3, y contiene reglas que desplazan los ´ambitos ubicados. Estas reglas se aplican hasta satisfacer los criterios de la fase 2 o hasta un l´ımite de 50 aplicaciones 3. La fase 3 ubica los huecos aplicando la gram´atica 3 sobre la forma sintetizada por la gram´atica 2.2. Las reglas de la gram´atica 3 se aplican hasta que la superficie acristalada total sea mayor o igual a un porcentaje de la superficie total de fachada, que depender´a de la compacidad del contorno. Trabajamos con tres tipos de huecos: al sur, al norte, y al este/oeste, con distintos elementos de protecci´on 4. La fase 4 reagrupa los huecos transform´andolos en ventanales o porches, aplicando la gram´atica 4 de manera aleatoria sobre la forma sintetizada por la gram´atica 3 En la Figura 4 mostramos dos esquemas generados mediante esta secuencia de pasos sin utilizar pol´ıticas. Es decir, la regla a aplicar en cada paso se escoge 2Los detalles de todas las gram´aticas utilizadas pueden encontrarse en el informe t´ecnico alojado en https://goo.gl/4F1UrA Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 139 Figura 3. Algunas reglas de las gram´aticas de formas utilizadas. de manera aleatoria. Para la presentaci´on final de los esquemas se sustituyen las etiquetas y segmentos manejados por las gram´aticas por elementos arquitect´onicos (paredes, puertas, ventanas, etc) o etiquetas textuales, y se proporcionan vistas detalladas en dos y tres dimensiones, as´ı como las evaluaciones de la demanda energ´etica destinada a refrigeraci´on y calefacci´on y el l´ımite de consumo del C´odigo T´ecnico de la Edificaci´on (15 kw/m2en un a˜no, l´ınea punteada). Figura 4. Dos esquemas generados sin mecanismos de control, junto con sus evaluaciones energ´eticas en refrigeraci´on y calefacci´on. La evaluaci´on de la demanda energ´etica de los esquemas generados se ha efectuado mediante la herramienta oficial del Ministerio de Fomento espa˜nol LIDER-CALENER. Para la construcci´on de estructuras y cerramientos, en este trabajo hemos elegido el sistema constructivo Baupanel R . Para la ejecuci´on de los huecos se han elegido carpinter´ıas de aluminio y doble acristalamiento con vidrios de bajo factor solar. Como vemos en la Figura 4, las viviendas no 140 Manuela Ruiz-Montiel et al. resultan habitables desde la perspectiva de la gu´ıa de Montaner & Mux´ı. Desde el punto de vista de la evaluaci´on energ´etica, tampoco cumplen las condiciones de calefacci´on. Estas deficiencias justifican la necesidad de un mecanismo que dirija la aplicaci´on de las reglas. 3.2. Procesos de aprendizaje Para conseguir buenos dise˜nos necesitamos pol´ıticas de actuaci´on para las fases 1, 2 y 3. Estas pol´ıticas decidir´an qu´e regla (y qu´e transformaci´on) es mejor aplicar en cada paso, con el objetivo de sintetizar dise˜nos v´alidos en base a los criterios recogidos en el Cuadro 1. La fase 4 no necesita una pol´ıtica dado que se considera que todas las agrupaciones de huecos generadas son admisibles. Las pol´ıticas se generan mediante procesos de aprendizaje por refuerzo. La recompensa que se utiliza en los procesos de aprendizaje para cada fase viene dada por los criterios del Cuadro 1, si bien los criterios CF1-1, CF2-1 y CF3-1 no se consideran en las recompensas porque ya han sido considerados en el test de estado final (CF1-1 y CF3-1) o en las mismas gram´aticas de formas (CF2-1). En nuestro caso el gran tama˜no del espacio de estados y acciones impide utilizar un enfoque tabular para aprender las pol´ıticas. As´ı, en lugar de almacenar los valores de cada par (s, a) en una tabla, utilizaremos una funci´on lineal que determine el valor a partir de determinados rasgos o caracteristicas de dichos pares. Dicha funci´on quedar´ıa definida como sigue: f(s, a) = w1r1+· · · +wnrn, donde wiyrison el coeficiente y el rasgo i-´esimo, respectivamente. Los procesos de aprendizaje aprender´an los coeficientes wi, de manera que en cada estado s, la acci´on aa tomar ser´a aquella con la cual se obtenga un mayor valor de la funci´on f(s, a), desempatando aleatoriamente en caso de que haya m´as de un par (s, a) con el mismo valor m´aximo. Los rasgos a utilizar para cada gram´atica, as´ı como las recompensas, se detallan en el Cuadro 2. En el trabajo previo de los autores [8] puede encontrarse una descripci´on detallada de los par´ametros del algoritmo, as´ı como de la experimentaci´on necesaria para alcanzar valores robustos. En la siguiente secci´on mostramos los resultados obtenidos. 4. Resultados Para evaluar los resultados generados hemos analizado la mejora en las recompensas obtenidas al final de cada fase, siendo rila recompensa obtenida en la fase i-´esima ejecutando las reglas de manera aleatoria, y r∗ ila obtenida utilizando las pol´ıticas aprendidas. Por t´ermino medio, medido en la generaci´on de 10 esquemas, r∗ 1/r1= 2,47, r∗ 2/r2= 1,09 y r∗ 3/r3= 1,39. En la figura 5 podemos ver dos esquemas distintos generados utilizando las pol´ıticas aprendidas. Como vemos, la evaluaci´on energ´etica de estos esquemas cumple con los l´ımites establecidos por el C´odigo T´ecnico de la Edificaci´on. Adicionalmente, se cumplen m´as criterios del Cuadro 1, hecho que adem´as de reflejarse en las mejoras sobre las recompensas obtenidas tambi´en puede visualizarse en los esquemas generados. Actas de la XVI Conferencia CAEPIA, Albacete Nov 2015 141 Recompensa Gram´atica 1 En los estados finales, la recompensa se calcula mediante una suma ponderada de los criterios CF1-2 y CF1-3, normalizada entre 0 y 1. En caso de que esta suma sea superior a 0.8, la recompensa se considera igual a 1. En el resto de estados la recompensa es nula Rasgos Gram´atica 1 (normalizados entre 0 y 1) RG1-1: N´umero de m´odulos de 1m2con un vecino RG1-2: N´umero de m´odulos de 1m2con dos vecinos RG1-3: N´umero de m´odulos de 1m2con tres vecinos RG1-4: N´umero de m´odulos de 1m2con cuatro vecinos RG1-5: Longitud de la proyecci´on sur del contorno Recompensa Gram´atica 2.4 Cada criterio individual extra´ıdo de CF2-2, CF2-3 y CF2-4 se eval´ua a 1 o - 1 dependiendo de si se cumple o no, respectivamente. En los estados finales, la recompensa se calcula mediante una suma ponderada de estas evaluaciones. En el resto de estados la recompensa es nula Rasgos Gram´atica 2.4 En esta gram´atica trabajamos con 48 rasgos binarios que caracterizan a la forma final mediante las distancias entre pares de ´ambitos. Por ejemplo, existen tres rasgos para el par cocina-ba˜no, donde el primer rasgo se eval´ua a 1 si la distancia entre ellos es menor de 2 metros y a 0 en otro caso. De manera similar, el segundo y el tercer rasgo se eval´uan a 1 cuando la distancia est´a comprendida entre 2 y 4 metros y cuando es mayor de 4 metros, respectivamente Recompensa Gram´atica 3 Cada criterio individual extraido de CF3-2, CF3-3, CF3-4 y CF3-5 se eval´ua a 1 o -1 dependiendo de si se cumple o no, respectivamente. En los estados finales, la recompensa se calcula mediante una suma de estas evaluaciones. En el resto de estados la recompensa es nula Rasgos Gram´atica 3 En esta gram´atica trabajamos con 12 rasgos binarios que caracterizan a la forma final mediante el porcentaje de huecos existentes en cada orientaci´on. Por ejemplo, existen tres rasgos para los huecos orientados al sur, donde el primer rasgo se eval´ua a 1 si el n´umero de huecos en esta orientaci´on representa menos del 35 % de esta fachada y a 0 en otro caso. De manera similar, el segundo y el tercer rasgo se eval´uan a 1 cuando el porcentaje est´a comprendido entre el 35 % y el 70 % y cuando es mayor del 70 %, respectivamente Cuadro 2. Recompensas y rasgos de las gram´aticas. Adem´as, vemos que el hecho de utilizar estas pol´ıticas no implica que siempre se produzca un mismo esquema, es decir, el sistema no alcanza una ´unica soluci´on. Al contrario, obtenemos diversidad debido a que dos estados distintos pueden estar representados por un conjunto de rasgos id´entico. 5. Conclusiones y Trabajo Futuro En este trabajo presentamos una propuesta para generar esquemas de viviendas unifamiliares energ´eticamente eficientes mediante gram´aticas de formas. Las gram´aticas por s´ı solas no garantizan la producci´on de soluciones factibles, luego es necesario un mecanismo que permita dirigir la generaci´on hacia soluciones mejores desde el punto de vista de la habitabilidad y de la eficiencia energ´etica. En este art´ıculo hemos utilizado t´ecnicas de aprendizaje por refuerzo para implementar dicho sistema. Los criterios de habitabilidad y de eficiencia energ´etica han sido extra´ıdos de diversas gu´ıas de dise˜no. Para validar los resultados desde el punto de vista energ´etico se ha utilizado la herramienta LIDER-CALENER. Los esquemas generados utilizando el sistema de control son superiores a los generados utilizando ´unicamente las gram´aticas de formas, tanto desde el punto de vista del grado de satisfacci´on de los criterios considerados como desde el punto de vista de la evaluaci´on energ´etica. Como trabajo futuro se abren dos posibilidades. En primer lugar, existe un margen de mejora importante para el proceso de aprendizaje de la segunda fase,