Técnicas de selección de variables en minería estadística de datos

FACULTAD DE MATEM´ ATICAS ESTAD´ ISTICA E INVESTIGACI´ ON OPERATIVA T abajo Fin de G ado T´ecnicas de Selecci´on de Va iables en Mine ´ıa Es ad´ıs ica de Da os Ad i´an Gue a de la Co e Di igido po : D˜na. Inmaculada Ba anco Chamo o Se illa, Junio 2016. Abs ac A common p oblem in da a mining, when s a is ical eg ession models a e used, is o choose p ope ly he a iables o be included in he model. Th oughou his wo k he main s a is ical echniques o he selec ion and egula iza ion o a iables will be e iewed. Also applica ions o hese ech- niques will be pe o med by using R. The wo k is di ided in o ou chap e s. In Chap e 1, we e iew he linea eg ession model, and he di e en co ela ion coe icien s. In his way we in oduce he basic ools o s udy me hods o selec ion and egula iza ion o a iables in linea eg ession models. In Chap e 2, we will see he mos common c i e ia used o he selec ion o a iables in classical linea models. So, we will deal wi h: Adjus ed coe icien o de e mina ion,Mallow’s Coe icien ,C oss Valida ion me hod,Akaike In- o ma ion C i e ion (AIC) and Bayesian In o ma ion C i e ion (BIC). The- se c i e ia will be compa ed be ween hem. Also, he main p oblems we may ha e in p ac ice when using mul iple linea eg ession echniques a e s udied. An applica ion in Rhas been included o illus a e he pe o mance o he di e en me hods. In Chap e 3, we ocus on he so-called heu is ic me hods, which a e a i s app oach o he p oblem o selec ion o a iables when we ha e a e y la ge numbe o eg esso s. So, selec ion echniques such as o wa d, backwa d and s ep by s ep a e s udied. Thei use is again illus a ed wi h an applica ion. In Chap e 4, we discuss he egula iza ion echniques. We ocus on idge eg ession and LASSO eg ession. In his con ex , we show ha by applying egula iza ion echniques he p oblem becomes manageable, since a se o es- ic ions is imposed on he se o admissible solu ions. As well, he geome ic p ope ies o he es ima o s a e s udied. As be o e, an applica ion is included o illus a e he use o he discussed echniques in he ield o medecine. Finally, he wo k is comple ed by an appendix, which con ains he Rand Ma hema ica codes implemen ed o he de elopmen o he igu es, as well as he packages o Rused, and he li e a u e consul ed. III IV Resumen Al u iliza modelos de eg esi´on en Mine ´ıa Es ad´ıs ica de Da os, un p o- blema com´un es elegi de o ma adecuada las a iables a inclui en el modelo. A lo la go de es e abajo se e isa ´an las ´ecnicas es ad´ıs icas que exis en pa a la selecci´on y egula izaci´on de a iables. As´ı mismo se ealiza ´an apli- caciones de dichas ´ecnicas, b´asicamen e con el so wa e R. El abajo se es uc u a en cua o cap´ı ulos. En el Cap´ı ulo 1, e isamos el modelo de eg esi´on lineal, as´ı como los di e en es coe icien es de co elaci´on. De es a o ma in oducimos las he amien as b´asicas pa a abo da el es udio de los m´e odos de selecci´on y egula izaci´on de a iables en los modelos de eg esi´on lineal. En el Cap´ı ulo 2, e emos los c i e ios m´as usados pa a la selecci´on de a- iables en modelos lineales cl´asicos. Se ecogen as´ı: el coe icien e de de e - minaci´on co egido o ajus ado, el coe icien e Cpde Mallows, el m´e odo de alidaci´on c uzada, el c i e io de in o maci´on de Akaike (AIC) y el c i e io de in o maci´on bayesiana (BIC). Se ealizan compa aciones en e ellos, y se ecogen los p incipales p oblemas que se nos pueden p esen a en la p ´ac ica al u iliza las ´ecnicas de eg esi´on lineal m´ul iple. As´ı mismo, cabe des aca que se ha ilus ado el uso de las dis in as ´ecnicas expues as con una aplica- ci´on ealizada con R. En el Cap´ı ulo 3, nos cen a emos en los llamados m´e odos heu ´ıs icos, los cuales son una p ime a ap oximaci´on al p oblema de selecci´on de a iables cuando enemos un n´ume o muy g ande de a iables eg eso as. Se ecogen las denominadas ´ecnicas de selecci´on hacia adelan e, hacia a ´as y paso a paso. Su uso se ilus a de nue o con una aplicaci´on. En el Cap´ı ulo 4, a a emos las ´ecnicas de egula izaci´on, p incipalmen e el modelo de eg esi´on con a´ıda ( idge eg ession) y el modelo de eg esi´on LASSO (LASSO eg ession). Es as ´ecnicas pe mi en sol en a las di icul- ades que su gen cuando se p esen an p oblemas de colinealidad o soluciones num´e icas ines ables. En es e con ex o, mos amos que egula iza signi ica, hace el p oblema a able, imponiendo una se ie de es icciones al conjun o de soluciones admisibles. Adem´as se es udian las p opiedades geom´e icas de V los es imado es ob enidos. De nue o se incluye una aplicaci´on, en el campo de la Medicina, que ilus a el uso de las ´ecnicas expues as. Finalmen e, el abajo se comple a con un anexo, en el que se ecogen los c´odigos Ry de Ma hema ica implemen ados pa a la elabo aci´on de las igu- as, as´ı como los paque es de Ru ilizados, y la bibliog a ´ıa consul ada. VI ´ Indice gene al Abs ac III Resumen V 1. Concep os p e ios 1 1.1. Modelo de eg esi´on lineal simple . . . . . . . . . . . . . . . . 1 1.1.1. C´alculo de los es imado es . . . . . . . . . . . . . . . . 2 1.2. Modelo de eg esi´on lineal m´ul iple . . . . . . . . . . . . . . . 4 1.2.1. C´alculo de los es imado es . . . . . . . . . . . . . . . . 5 1.2.2. In ep e aci´on de los coe icien es en un modelo de e- g esi´on lineal m´ul iple . . . . . . . . . . . . . . . . . . 8 1.2.3. Con as es......................... 8 1.3. Coe icien es de co elaci´on . . . . . . . . . . . . . . . . . . . . 9 1.3.1. Relaci´on en e las co elaciones pa ciales y la m´ul iple . 12 2. T´ecnicas de selecci´on de a iables en modelos lineales cl´asi- cos 15 2.1. Coe icien e de de e minaci´on co egido o ajus ado . . . . . . . 16 2.1.1. Aplicaci´on......................... 17 2.2. Coe icien e CpdeMallows .................... 22 2.2.1. Aplicaci´on......................... 23 2.3. Validaci´on c uzada . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.1. Validaci´on c uzada en i e aciones . . . . . . . . . . . 25 2.3.2. Validaci´on c udada dejando uno ue a . . . . . . . . . . 25 2.3.3. Aplicaci´on......................... 26 2.4. C i e io de In o maci´on de Akaike . . . . . . . . . . . . . . . . 29 2.4.1. Aplicaci´on......................... 31 2.5. C i e io de In o maci´on Bayesiana . . . . . . . . . . . . . . . . 33 2.5.1. Aplicaci´on......................... 34 2.6. Compa aci´on de c i e ios . . . . . . . . . . . . . . . . . . . . . 35 2.7. P oblemas en la eg esi´on m´ul iple . . . . . . . . . . . . . . . 36 VII 2.7.1. E o de especi icaci´on . . . . . . . . . . . . . . . . . . 36 2.7.2. Hip´o esis de no malidad . . . . . . . . . . . . . . . . . 37 2.7.3. Robus ez.......................... 39 2.7.4. He e ocedas icidad . . . . . . . . . . . . . . . . . . . . 41 2.7.5. Mul icolinealidad . . . . . . . . . . . . . . . . . . . . . 44 3. M´e odos heu ´ıs icos pa a la selecci´on de a iables 51 3.1. Selecci´on hacia delan e . . . . . . . . . . . . . . . . . . . . . . 52 3.1.1. Aplicaci´on......................... 52 3.2. Selecci´on hacia a ´as . . . . . . . . . . . . . . . . . . . . . . . 54 3.2.1. Aplicaci´on......................... 55 3.3. Selecci´on paso a paso . . . . . . . . . . . . . . . . . . . . . . . 56 3.3.1. Aplicaci´on......................... 56 4. T´ecnicas de egula izaci´on 59 4.1. Reg esi´on con a´ıda . . . . . . . . . . . . . . . . . . . . . . . . 60 4.1.1. Aplicaci´on......................... 62 4.2. Reg esi´on LASSO . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.2.1. Aplicaci´on......................... 68 4.3. P opiedades geom´e icas de los es imado es egula izados . . . 71 A. Anexo 76 A.1. Comandos en Rdelasg ´a icas.................. 76 A.1.1.Figu a2.1......................... 76 A.1.2.Figu a2.2......................... 76 A.1.3.Figu a4.1......................... 76 A.2. Comandos en Ma hema ica de las g ´a icas . . . . . . . . . . . 77 A.2.1.Figu a4.3......................... 77 A.3. Paque es de R........................... 78 VIII Cap´ı ulo 1 Concep os p e ios En es e cap´ı ulo explica emos los esul ados b´asicos a la ho a de in o- duci y comp ende el es udio de m´e odos pa a la selecci´on adecuada de las a iables a inclui en un modelo de eg esi´on lineal, simple y m´ul iple, as´ı co- mo las ´ecnicas de egula izaci´on de dichas a iables. Di idi emos el cap´ı ulo en 3 secciones: eg esi´on lineal simple, eg esi´on lineal m´ul iple y coe icien es de co elaci´on. Es a ´ul ima secci´on end ´a especial ele ancia en el siguien e cap´ı ulo. 1.1. Modelo de eg esi´on lineal simple Comenza emos con el modelo de eg esi´on lineal simple, que consis e en exp esa la dependencia lineal de la a iable obje i o o dependien e, y, es- pec o a o as dos a iables: la a iable independien e, explica i a o co a iable, x, y el ´e mino e o o pe u baci´on del modelo, uas´ı yi=β0+β1xi+ui,con (xi, yi) a iables num´e icas donde yiyuison a iables alea o ias, xies una a iable conocida una ez obse ada yi, y β0yβ1son pa ´ame os desconocidos del modelo. Las hip´o esis del modelo pueden o mula se en ´e minos de la a iable pe - u baci´on, ui, o de o ma equi alen e en ´e minos de la a iable dependien e, y. As´ı podemos es ablece las siguien es hip´o esis: La pe u baci´on debe ene espe anza nula, es deci E(ui) = 0 ⇔E(yi) = β0+β1xi. 1 1.2.2. In ep e aci´on de los coe icien es en un modelo de eg esi´on lineal m´ul iple El coe icien e de eg esi´on es imado pa a una a iable xien el modelo de eg esi´on lineal m´ul iple, ˆ βi, ep esen a el e ec o sob e la a iable obje i o cuando la a iable xiaumen a en una unidad y las dem´as a iables explica- i as p emanecen cons an es. Puede in e p e a se como el e ec o di e encial de es a a iable cuando eliminamos o con olamos los e ec os de las dem´as. Debemos dis ingui dos si uaciones a la ho a de in e p e a los coe icien es, cuando las a iables explica i as es ´an inco eladas y cuando no lo es ´an: Cuando odas las a iables explica i as es ´an inco eladas se calcula de la misma mane a que en la eg esi´on simple. Pues en es e caso, el e ec o di e encial de la a iable, medido po la eg esi´on m´ul iple, es igual al e ec o o al medido po la eg esi´on simple. Cuando las a iables es ´an co eladas, el coe icien e de eg esi´on de xi se puede exp esa ambi´en como el cocien e en e una co a ianza y una a ianza. Con la sal edad de que en la eg esi´on simple se u iliza la co a ianza en e la a iable obje i o y xi, y en la m´ul iple se u iliza la co a ianza en e la a iable obje i o y la pa e di e encial de xio no co elada con el es o de a iables explica i as. La pa e di e encial de xies ´a de inida po los esiduos de una eg esi´on en e la a iable xi y el es o de a iables explica i as en la ecuaci´on de eg esi´on. Es os esiduos se ´an ei,R. Luego, ˆ βi=Co (y, ei,R)/V a (ei,R), donde no se usa la a iable xicomo en la eg esi´on simple, sino la pa e di e encial de ella, ei,R. En el caso de que es a a iable s´ı es ´e inco elada, xi=ei,R y el coe i- cien e de la eg esi´on m´ul iple es igual al de la eg esi´on simple. 1.2.3. Con as es A la ho a de calcula un modelo de eg esi´on lineal, los con as es son una he amien a impo an e. En es a secci´on habla emos de los dos con as es que usa emos en es e a- bajo, el con as e global de eg esi´on y el con as e indi idual de la . Con as e global de eg esi´on El con as e es el siguien e: H0:β1=... =βk= 0. 8 H1: alg´un βi6= 0, i = 1, ..., k. Y el es ad´ıs ico esul an e se deno a po Fy se calcula F=SCE/k SCR/n −k−1=ˆs2 expl ˆs2 . Bajo la hip´o esis H0,F∼Fk,n−k−1. Dicho con as e se aduce en Si acep o H0⇒ninguna de las a iables explica i as conside adas in luyen linealmen e en la a iable espues a. Si echazo H0⇒alguna o odas las a iables explica i as conside a- das in luyen linealmen e en la a iable espues a. Con as e indi idual de la Pa a cada a iable se plan ea el siguien e con as e: H0:βi= 0. H1:βi6= 0. El es ad´ıs ico que esul a del con as e es ´a basado en el es ad´ıs ico de Wald y se de ine como sigue i=ˆ βi bs √qii siendo ˆ βiel es ad´ıs ico de Wald yqii el ´e mino (ii) de la ma iz (X0X)−1. ´ Es e, bajo H0, sigue una dis ibuci´on n−k−1. Como es usual, en con as es de hip´o esis, se echaza H0, si el p- alo ob enido es meno o igual que el ni el de signi icaci´on del con as e, α. En es e caso pod emos supone que βi6= 0. Si no se echaza H0, pod emos supone que βi= 0. 1.3. Coe icien es de co elaci´on En es a secci´on se de inen y es udian las p opiedades de los coe icien es de co elaci´on lineal simple, coe icien e de de e minaci´on, coe icien e de co- elaci´on m´ul iple ypa cial, as´ı como las elaciones exis en es en e ellos. Una medida de la elaci´on lineal en e dos a iables cualesquie a es el coe i- cien e de co elaci´on lineal simple. 9 De inici´on 1.3.1. Dadas dos a iables xey, se denomina coe icien e de co elaci´on lineal simple, xy, a xy =Co (x, y) sxsy donde sxysyson las des iaciones ´ıpicas mues ales de las a iables xey, espec i amen e. Dicho coe icien e se puede exp esa en unci´on de la a ianza esidual 2 xy =SCE(x, y) SCT(y)= 1 −SCR(x, y) SCT(y). De inici´on 1.3.2. De inimos el coe icien e de de e minaci´on,R2, de un modelo, pa a e alua la bondad de ajus e de una ec a de eg esi´on (simple o m´u iple) con una p opo ci´on de la a iaci´on explicada con la siguien e exp esi´on R2=SCE SCT =P(ˆyi−y)2 P(yi−y)2,0≤R2≤1. Siendo √R2el coe icien e de co elaci´on m´ul iple. De inici´on 1.3.3. Dado un conjun o de a iables explica i as (x1, ..., xk), el coe icien e de co elaci´on pa cial, deno ado po ij,1,...,i−1,i+1,...,j−1,j+1,...,k, en e dos cualesquie a de ellas, xiyxj, mide la elaci´on lineal en e xiyxj una ez eliminados los e ec os de las dem´as sob e ellas. Se deno a ´a po 12,34...k. La mane a de calcula lo es ´u ilizando la siguien e exp esi´on: e1,34..k =ˆ βe2,34..k +u donde e1,34..k ye2,34..k son los esiduos de la eg esi´on m´ul iple de x1yx2 es- pec o a las dem´as a iables (x3, ..., xk), de es a mane a ob end ´ıamos 12,34..k. C´alculo del coe icien e de co elaci´on pa cial A con inuaci´on se deduce la ´o mula de la co elaci´on pa cial de dos a- iables (x, y) cuando se man iene cons an e una e ce a a iable z. 10 P oposici´on 1.3.1. El coe icien e de co elaci´on pa cial en e xyyman e- niendo cons an e z, iene dado po xy.z = xy − xz yz √(1− 2 xz)(1− 2 yz).(1.3) donde xy, ..., yz son los coe icien es de co elaci´on lineal simple en e las a iables implicadas. Demos aci´on. Supond emos que las es a iables ienen media ce o pa a simplica la exposici´on, es o no al e a el esul ado. Sean las ec as ˆx=az, ˆy=bz cuyos coe icien es son, po de inici´on: a=Pxizi Pz2 i b=Pyizi Pz2 i . Pues o que la co elaci´on pa cial en e xey, ijada z, es la co elaci´on en e los esiduos de es as eg esiones, enemos que: Co elaci´on[(x−ˆx)(y−ˆy)] = Co (x, y) pV a (x−ˆx)V a (y−ˆy)= xy.z. Pasemos a calcula el nume ado : n Co (x, y) = X(xi−ˆxi)(yi−ˆyi) = X(xi−azi)(yi−bzi) =Xxiyi−aXziyi−bXzixi+ab Xz2 i. Sus i uyendo ayben la exp esi´on an e io , llegamos a: n Co (x, y) = Xxiyi−(Pxizi)(Pziyi) Pz2 i−(Pyizi)(Pxizi) Pz2 i +(Pxizi)(Pyizi) Pz2 i =Xxiyi−(Pxizi)(Pziyi) Pz2 i . Si in oducimos aho a los coe icien es de co elaci´on simples, nos queda: n Co [(x−ˆx)(y−ˆy)] = xyqXx2 iXy2 i− xz yzqXx2 iXy2 i = ( xy − xz yz)qXx2 iXy2 i. 11 Con eso enemos calculado el nume ado , pasemos a halla denominado : n V a (x−ˆx) = X(xi−azi)2=Xx2 i−(Pxizi)2 Pz2 i n V a (y−ˆy) = X(yi−bzi)2=Xy2 i−(Pyizi)2 Pz2 i . Sus i uyendo en las a ianzas de los esiduos los coe icien es de co elaci´on simples, se iene: n V a (x−ˆx) = Xx2 i(1 − 2 xz) n V a (y−ˆy) = Xy2 i(1 − 2 yz). Po lo que inalmen e llegamos a la exp esi´on 1.3.  Es e coe icien e al cuad ado iene la misma in e p e aci´on que el coe icien- e de co elaci´on simple. Es deci , 2 xy.z ep esen a la p opo ci´on de a iaci´on explicada espec o a la a iaci´on no explicada po o a eg esi´on p e ia. 1.3.1. Relaci´on en e las co elaciones pa ciales y la m´ul iple Supongamos, po simpli ica , que enemos nada m´as dos a iables expli- ca i as, x1yx2. Sea yx1el coe icien e de co elaci´on simple en e la a iable obje i o y x1. Que po lo is o an e io men e es: 2 yx1=SCE(y, x1) SCT(y)= 1 −SCR(y, x1) SCT(y) donde SCE(y, x1) es la a iaci´on explicada en la eg esi´on de y espec o a x1. Luego: SCR(y, x1) = SCT(y)(1 − 2 yx1). Aho a debemos de e mina la pa e di e encial de la segunda a iable, e2,1, los cuales calculamos haciendo la eg esi´on x2=ˆ bx1+e2,1. Una ez calculados, los elacionamos con la pa e de la a iable obje i o que no es ´a explicada po x1, que se ´an los esiduos ey.x1de la eg esi´on simple de y espec o a x1. La elaci´on de ambos esiduos es ´a dada po el coe icien e de co elaci´on pa cial, el cual nos p opo ciona los esiduos de la eg esi´on m´ul iple. La es imaci´on se ´a ey.x1=ˆ βe2,1+ey,12, po an o: 2 y2,1= 1 −SCR(ey,12) SCT(ey.x1)= 1 −SCR(ey,12) SCR(y, x1). 12 Y como ey,12 son los esiduos de la eg esi´on m´ul iple con ambas a iables: R2= 1 −SCR(ey,12) SCT(y) luego 1−R2= (1 − 2 yx1)(1 − 2 y2,1). Que se in e p e a como la p opo ci´on de la a iabilidad no explicada en la eg esi´on m´ul iple es el p oduc o de: la p opo ci´on no explicada en la eg esi´on simple de la a iable obje i o yx1. la p opo ci´on no explicada en la eg esi´on de la a iable obje i o y x2 con x1 ija. Dicho esul ado se puede ex ende pa a k eg eso es: 1−R2= (1 − 2 y1)(1 − 2 y2,1)(1 − 2 y3,12)...(1 − 2 yk,12...k−1). Con es a idea ambi´en podemos elaciona los coe icien es de co elaci´on m´ul iple con kyk−1 a iables, en unci´on del coe icien e de co elaci´on pa cial de la a iable no incluida, xh. Llamando R2 kyR2 k−1a los coe icien es de co elaci´on m´ul iple con kyk−1 a iables, espec i amen e, llegamos a 1−R2 k= (1 −R2 k−1)(1 − 2 yh,12..k). lo que es lo mismo que: R2 k−R2 k−1= 2 yh,12..k(1 −R2 k−1). El ´e mino de la izquie da ep esen a el inc emen o de a iaci´on explicada en e la eg esi´on que incluye a la a iable y la que no la incluye. El ´e mino de la de echa es el p oduc o del po cen aje de a iaci´on explicada po xh espec o a la a iaci´on no explicada po las es an es a iables y del po cen aje de a iaci´on no explicada po las es an es a iables, x1, ..., xk espec o al o al. Es a exp esi´on nos pe mi e calcula los coe icien es de co elaci´on pa cial de cada a iable a pa i de un p og ama que nos calcule la eg esi´on. En gene al, la ´o mula an e io puede esc ibi se de al mane a que, no ando (¯ h), po el modelo que no incluye a xh, y po (h) al modelo que s´ı la incluye: ∆SCE(h) SCT =∆SCE(h) SCR(¯ h)·SCR(¯ h) SCT 13 donde ∆SCE(h) = SCE( odas)−SCE(¯ h). Po ´ul imo, u ilizando el es ad´ıs ico mencionado en la Secci´on 1.2.3 pa a con as a la hip´o esis de βh= 0, llegamos a: 2 yh,12...k = 2 h 2 h+n−(k+ 1) lo cual nos pe mi e calcula el coe icien e de co elaci´on pa cial si sabemos el es ad´ıs ico pa a ese coe icien e. 14 Cap´ı ulo 2 T´ecnicas de selecci´on de a iables en modelos lineales cl´asicos A la ho a de cons ui un modelo enemos di e en es posibilidades, las cuales se ajus an mejo o peo a la ealidad. En es e cap´ı ulo nos cen a emos en los c i e ios m´as usados pa a la selecci´on de a iables en modelos lineales, que son: Coe icien e de de e minaci´on co egido o ajus ado: Es un coe icien e que mide la in ensidad de la elaci´on lineal en e la a iable obje i o y las p edic o as. Coe icien e Cpde Mallows: C i e io que ecibe el nomb e del es ad´ıs i- co b i ´anico Colin Lingwood Mallows. Es e c i e io selecciona el mo- delo que iene mayo capacidad de p edicci´on en ez del que es ´a mejo ajus ado. La capacidad de p edicci´on se mide con el e o cuad ´a ico medio (ECM). Validaci´on c uzada: E oluci´on del llamado holdou me hod que se basa en la pa ici´on del conjun o de da os en dos, uno nos pe mi e es ima los pa ´ame os del modelo, y el o o e alua la capacidad p edic i a de ´es e. De es a o ma se selecciona el modelo alo ando su bondad de ajus e y capacidad de p edicci´on. C i e io de In o macion de Akaike (AIC): C i e io p opues o po el es- ad´ıs ico japon´es Hi o ugu Akaike y que es ´a basado en la eo ´ıa de la in o maci´on. Es ´a de inido de o ma que boni ica la bondad de ajus e y penaliza la inclusi´on de pa ´ame os a es ima , lo que ayuda a e i a el en´omeno del sob eajus e. 15 C i e io de In o maci´on Bayesiana (BIC): El p o eso Gideon E.Schwa z p opuso es e c i e io bajo un en oque bayesiano que se basa en las p o- babilidades a pos e io i de los modelos. Es, jun o al AIC, el m´as usado. 2.1. Coe icien e de de e minaci´on co egido o ajus ado El coe icien e de de e minaci´on R2es una medida de bondad de ajus e de un modelo a unos da os. Reco demos que R2nos da la p opo ci´on de la a iabilidad de Yaplicada po el modelo, es deci , R2=SCExplicada SCT =Pn i=1(ˆyi−y)2 Pn i=1(yi−y)2= 1 −SCResidual SCT y adem´as 0 ⩽R2⩽1. Cuan o m´as ce cano es ´e a 1, mejo ajus ado es ´a el modelo. R2no nos si e pa a compa a modelos di e en es, pues o que siemp e au- men a cuando se a˜naden nue as a iables explica i as al modelo, lo que nos lle a ´ıa a oma modelos con innume ables a iables supe luas. Po eso su ge el coe icien e de de e minaci´on co egido o ajus ado, que si e pa a sol en a es e p oblema pues o que incluye un ´e mino de co ecci´on po el n´ume o de pa ´ame os en el modelo. b R2 aj,k = 1 −n−1 n−k(1 −R2 k). b R2 aj es muy popula y iene inco po ado en los p og amas es ad´ıs icos y e- sul a de especial in e ´es en si uaciones en las que el n´ume o de a iables explica i as es ´a ce cano al n´ume o de obse aciones de la mues a. Teo ema 2.1.1. El es ad´ıs ico b R2 aj,k aumen a al in oduci un nue o pa ´ame- o, βk+1, en la ecuaci´on de eg esi´on si el es ad´ıs ico Qhasociado al con as e de signi icaci´on de dicho pa ´ame o es mayo que 1. Qhse de ine como: Qh=SCRk−SCRk+1 SCRk+1 ×n−k−1 1 donde SCRkes la suma de cuad ados de los esiduos en el modelo con k co a iables. 16 Demos aci´on. Pa a hace el con as e del (k+1)-´esimo pa ´ame o emplea e- mos el es ad´ıs ico Qh, que se de ini´o como: Qh=SCRk−SCRk+1 SCRk+1 ×n−k−1 1 =R2 k+1 −R2 k 1−R2 k+1 ×n−k−1 1 po an o: (1 −R2 k+1)Qh= (R2 k+1 −R2 p)(n−k−1) Qh−QhR2 k+1 = (n−k−1)R2 k+1 −(n−k−1)R2 k Qh+ (n−k−1)R2 k=R2 k+1[(n−k−1) + Qh] despejando R2 k+1: R2 k+1 =Qh+ (n−k−1)R2 k (n−k−1) + Qh = 1 n−k−1Qh+R2 k 1 + 1 n−k−1Qh . Sus i uyendo es a exp esi´on en la de inici´on de b R2 aj,k+1, enemos: b R2 aj,k+1 = 1 −(1 −R2 k+1)n−1 n−k−1= 1 −1−R2 k n−k−1+Qh n−k−1×n−1 n−k−1 = 1 −(1 −R2 k)n−1 n−k−1 + Qh = 1 −(1 −R2 k)n−1 n−k | {z } b R2 aj,k ×n−k n−k−1 + Qh | {z } de lo que se deduce que b R2 aj,k+1 ≥b R2 ksi Qh>1.  2.1.1. Aplicaci´on A con inuaci´on se ecoge un ejemplo que ilus a el uso del coe icien e de de e minaci´on co egido o ajus ado. U iliza emos el conjun o de da os que nos p opo ciona Fah mei , L. e al. [1]. En p ime luga se ca ga ´a el conjun o de da os. > gol <- ead. able("gol ull. x ", heade =TRUE) > a ach(gol ) 17 Call: mle.cp( o mula = p ice ~ kilome e + age + ex as1 + ex as2 + TIA, da a = gol ) Mallows Cp: (In e cep ) kilome e age ex as1 ex as2 TIA cp [1,] 1 1 1 1 0 0 2.422 [2,] 1 1 1 1 0 1 4.005 [3,] 1 1 1 1 1 0 4.407 [4,] 1 1 1 1 1 1 6.000 P in ed he i s 4 bes models En nues o caso, como enemos que selecciona los modelos cuyas a iables age ykilome e es ´en p esen es, hemos enido que hace alguna modi icaci´on > mis es<- subse (cp$cp, cp$cp[,2]==1 & cp$cp[,3]==1) > head(mis es) (In e cep ) kilome e age ex as1 ex as2 TIA cp [1,] 0 1 1 0 0 0 622.527918 [2,] 1 1 1 0 0 0 3.551917 [3,] 0 1 1 1 0 0 590.044015 [4,] 1 1 1 1 0 0 2.422241 [5,] 0 1 1 0 1 0 608.241325 [6,] 1 1 1 0 1 0 5.505495 Vemos que los modelos que manejamos con ienen a las a iables deseadas. Aho a debemos escoge el que enga meno cp, con lo que amos a o dena los: > o denado<-mis es[ o de (mis es[,7]), ] > head(o denado) (In e cep ) kilome e age ex as1 ex as2 TIA cp [1,] 1 1 1 1 0 0 2.422241 [2,] 1 1 1 0 0 0 3.551917 [3,] 1 1 1 1 0 1 4.005040 [4,] 1 1 1 1 1 0 4.406582 [5,] 1 1 1 0 0 1 5.401711 [6,] 1 1 1 0 1 0 5.505495 En es a abla se mues an los 6 mejo es modelos, seg´un es e c i e io, que ienen las a iables explica i as impues as po noso os. Luego el mejo modelo se ´a: p ice ∼in e cep +kilome e +age +ex as1. 24 2.3. Validaci´on c uzada El p ime paso y com´un a odos los ipos de alidaciones c uzadas es di idi el conjun o de da os que enemos en dos ipos de conjun os: Un ipo de conjun o que nos si e pa a es ima los pa ´ame os del modelo, llamado aining se . Un ipo de conjun o de alidaci´on que si e pa a alo a la capacidad p edic i a del modelo, llamado es ing se . Pasemos a e las dos alidaciones c uzadas m´as usadas. 2.3.1. Validaci´on c uzada en i e aciones La alidacion c uzada en i e aciones ( - old c oss alida ion) comienza ag upando los da os en subconjun os de ama˜no simila . Uno se u iliza pa a alida , y los es an es ( −1) se conside an como conjun os de es imaci´on. Repe i emos es e p oceso eces, una ez con cada uno de los subconjun os de alidaci´on. Nos quedamos con el modelo en el que la suma de los e o es de p edicci´on al cuad ado sea m´as peque˜no, es deci : m´ın{CV }dondeCV =1 n n X i=1 (yi−ˆyiM )2}. No malmen e se suele u iliza el 10- old c oss alida ion ´o 5- old c oss alida ion, dependiendo del ama˜no de da os que engamos. 2.3.2. Validaci´on c udada dejando uno ue a Un caso impo an e del an e io , que cabe des aca , es la alidaci´on c u- zada dejando una sola obse aci´on ue a (lea e-one-ou c oss alida ion). En es e caso, el e o es muy peque˜no, en cambio, el cos e compu acional es ele ado, pues hay que calcula ni e aciones y analiza pa a cada i e aci´on los da os de ambos conjun os. El es ad´ıs ico pa a decidi en es e caso es: CV =1 n n X i=1 (yi−ˆy−i iM )2 donde, ˆy−i iM ≡es imaci´on cuando se ha eliminado la obse aci´on i-´esima. Se iene una exp esi´on sencilla pa a es e coe icien e, sin ene que ehace odos los c´alculos, bas´andonos en los ˆyiM o iginales: CV =1 n n X i=1 yi−ˆyiM 1−hiiM 2 25 donde 1 −hii,M son los elemen os diagonales de la ma iz ha . Es impo an e des aca que ambos ipos de alidaci´on ienen cie as limi a- ciones: El aining se y el es ing se deben se ex a´ıdos de la misma pobla- ci´on, en caso de no se lo, la alidaci´on no p oduci ´ıa esul ados signi i- ca i os. Es a he amien a no es ´alida cuando enemos un sis ema que e olu- ciona con el iempo, pues pod ´ıa da se el caso de que ambos conjun os mencionados an e io men e su ie an cambios sis em´a icos, po ejem- plo: si enemos un modelo que u ilizamos pa a p edeci el alo de las acciones, el cual ha sido calculado en un aining se en un pe iodo de iempo de e minado, ´es e no se ´a e icien e a la ho a de p edeci el alo de la misma poblaci´on en el siguien e pe iodo de iempo. Es impo an e no a que en los da os del aining se debemos e i a que haya alg´un da o que es ´e ambi´en en el es ing se . 2.3.3. Aplicaci´on Pa a ilus a es e m´e odo p ocede emos inicialmen e de mane a simila a como se hizo en 2.1.1 y eniendo en cuen a el es udio p e io ealizado en ´el, amos a calcula los dis in os modelos pa a e c´ual iene meno CV . Pa a calcula los dis in os CV usa emos el paque e la ice, necesa io pa a el paque e DAAG, el cual con iene a la unci´on CV lm. Dicha unci´on ealiza las m- old c oss alida ion seg´un el alo que le asignemos a m. Comencemos leyendo los da os, de iniendo los modelos y ca gando los paque- es necesa ios: > gol <- ead. able("gol ull. x ", heade =TRUE) > a ach(gol ) > mod1 <- lm(p ice~kilome e +age, da a=gol ) > mod2 <- lm(p ice~kilome e +age+ex as1, da a=gol ) > mod3 <- lm(p ice~kilome e +age+ex as2, da a=gol ) > mod4 <- lm(p ice~kilome e +age+TIA, da a=gol ) > mod5 <- lm(p ice~kilome e +age+ex as1+ex as2, da a=gol ) > mod6 <- lm(p ice~kilome e +age+ex as1+TIA, da a=gol ) > mod7 <- lm(p ice~kilome e +age+ex as2+TIA, da a=gol ) > mod8 <- lm(p ice~kilome e +age+ex as1+ex as2+TIA, da a=gol ) > lib a y(la ice) > lib a y(DAAG) 26 Una ez que hemos esc i o los a gumen os en la unci´on, ´es a nos mues a la abla con el an´alisis de la a ianza, los esul ados de cada old, y al inal la suma de los e o es al cuad ado (MS). > RES1<-CVlm(da a=gol , o m.lm=mod1, m=10) Analysis o Va iance Table Response: p ice D Sum Sq Mean Sq F alue P (>F) kilome e 1 88.1 88.1 146 <2e-16 *** age 1 75.2 75.2 124 <2e-16 *** Residuals 169 102.2 0.6 --- Signi . codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 old 1 Obse a ions in es se : 17 9 11 16 45 50 55 62 64 73 P edic ed 4.93 4.502 4.557 4.17 2.96 4.12 5.12 4.88 3.756 c p ed 4.92 4.488 4.544 4.16 2.95 4.11 5.12 4.88 3.746 p ice 6.35 3.823 4.950 2.90 4.20 3.99 6.15 4.50 3.000 CV esidual 1.43 -0.665 0.406 -1.26 1.25 -0.12 1.03 -0.38 -0.746 85 101 118 125 148 150 155 164 P edic ed 3.5638 4.31 2.827 3.8879 2.210 2.749 3.22 2.721 c p ed 3.5542 4.31 2.817 3.8861 2.202 2.744 3.22 2.721 p ice 3.6500 3.20 3.800 3.9500 1.900 3.100 4.20 2.400 CV esidual 0.0958 -1.11 0.983 0.0639 -0.302 0.356 0.98 -0.321 Sum o squa es = 11.1 Mean squa e = 0.65 n = 17 . . . old 10 Obse a ions in es se : 17 5 10 13 20 31 32 34 40 43 P edic ed 5.19 5.383 4.94 3.88 3.405 3.89 4.445 4.558 5.49 c p ed 5.11 5.274 4.87 3.90 3.444 3.88 4.391 4.489 5.34 27 p ice 6.20 5.900 5.55 2.50 3.250 2.40 4.600 5.450 7.00 CV esidual 1.09 0.626 0.69 -1.40 -0.194 -1.48 0.209 0.961 1.66 44 76 83 110 117 119 133 137 P edic ed 3.33 3.690 3.185 3.766 2.7887 2.334 3.0203 2.594 c p ed 3.37 3.676 3.211 3.722 2.8252 2.411 3.0215 2.632 p ice 3.70 2.800 2.600 3.900 2.9000 1.450 2.9990 1.950 CV esidual 0.33 -0.876 -0.611 0.178 0.0748 -0.961 -0.0225 -0.682 Sum o squa es = 12.7 Mean squa e = 0.75 n = 17 O e all (Sum o e all 17 olds) ms 0.617 23456 2 3 4 5 6 7 P edic ed ( i o all da a) p ice Small symbols show c oss− alida ion p edic ed alues Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Fold 1 Fold 2 Fold 3 Fold 4 Fold 5 Fold 6 Fold 7 Fold 8 Fold 9 Fold 10 Figu a 2.3: Cada ec a de eg esi´on es ´a calculada a pa i del subconjun o de en enamien o de la base de da os que asignamos con la CV . Realizamos la misma ope aci´on pa a los es an es 7 modelos, y colocamos en una ma iz la suma de los e o es de p edicci´on al cuad ado, que es lo que nos in e esa: 28 > n <- 8 > nc <- 1 > esCV <- ma ix(n ow=n , ncol=nc, by ow=TRUE) > ownames( esCV)<-c("mod1","mod2","mod3", "mod4", + "mod5", "mod6", "mod7", "mod8") > colnames( esCV)<-c("ms") > esCV[,1] <- c(a (RES1, "ms"), + a (RES2, "ms"), + a (RES3, "ms"), + a (RES4, "ms"), + a (RES5, "ms"), + a (RES6, "ms"), + a (RES7, "ms"), + a (RES8, "ms")) > esCV ms mod1 0.617 mod2 0.615 mod3 0.624 mod4 0.628 mod5 0.620 mod6 0.627 mod7 0.634 mod8 0.632 Po lo que el mejo modelo seg´un la alidaci´on c uzada ealizada es: modelo 2, p ice ∼kilome e +age +ex a1. 2.4. C i e io de In o maci´on de Akaike El c i e io de in o maci´on de Akaike, AIC, es un c i e io elacionado con el c i e io Cpde Mallows, aunque m´as gene al. La idea p incipal del AIC es maximiza la log- e osimili ud espe ada de un modelo de e minado, a a ´es del EMV . El hecho de que se denomine c i e io de in o maci´on es po que es ´a ´ın imamen e elacionado con la llamada in o maci´on de Kullback - Leible . Es e c i e io no busca encon a el mejo modelo, sino encon a el modelo, de en e los que compi en, que mejo se ajus e a los da os con los que abajamos. Es ´a de inido po : AIC(M) = −2ln L(ˆ βM,ˆσ2) + 2(|M|+ 1) (2.1) 29 donde ln L(ˆ βM,ˆσ2) es el m´aximo alo del loga i mo de la unci´on e osimi- li ud e aluado en ˆ βM, donde ˆ βMes el EMV del modelo M, ˆσ2=P(yi−ˆ yi)2 n es el EMV de σ2, y (|M|+ 1) el n´ume o o al de pa ´ame os en el modelo incluyendo σ2. El p ime ´e mino de la exp esi´on 2.1 es una medida de bondad de ajus e, pues disminuye al aumen a ˆ βM, y el segundo ´e mino es una penalizaci´on po el n´ume o de pa ´ame os, exac amen e igual que los ´e minos del Cpde Mallows. La gene alidad que iene el c i e io AIC, iene del hecho de que podemos calcula lo siemp e que engamos una unci´on de e osimili ud. En e los modelos que compi en, es mejo el que enga el meno AIC. P oposici´on 2.4.1. Si se iene no malidad y σ2es conocida en onces el c i e io Cpes equi alen e al c i e io AIC. Demos aci´on. Comencemos eesc ibiendo la exp esi´on del AIC dada en 2.1: ln L(ˆ yi,ˆ β,ˆσ2) = −n 2ln(2π)−n 2ln(ˆσ2)−n 2P(yi−ˆ yi)2(yi−Xβ)0(yi−Xβ) =−n 2ln(2π)−n 2ln(ˆσ2)−n 2 y excluyendo ´e minos que no dependen del n´ume o de pa ´ame os pllegamos a: −2ln L+ 2(|M|+ 1) = n ln(ˆσ2 p)+2p con p= (|M|+ 1). Aho a, suponiendo conocida σ2, obse amos que minimiza el AIC es an´alogo a minimiza : n ln ˆσ2 p σ2+ 2p que puede esc ibi se, suponiendo no malidad (ˆσ2 p≃σ2) n ln 1 + ˆσ2 p−σ2 σ2+ 2p≃ |{z} ln(1+x)≃xpa a x peque˜nos nˆσ2 p σ2−n+ 2p. Luego, sus i uyendo σ2po un es imado , qued´andonos con los ´e minos que dependen del n´ume o de pa ´ame os pe igno ando las cons an es adi i as en las que no apa ece p, pues s´olo dependen de n, llegamos a: AIC ≃Pe2 (p) ˆσ2+ 2p=Cp 30 donde Pe2 (p)es la suma de cuad ados de los esiduos del modelo con p pa ´ame os.  Como consecuencia de la P oposici´on 2.4.1, se ob ienen exp esiones m´as sencillas del AIC. Co ola io 2.4.1. En el modelo lineal con e o es gaussianos: −2ln L(ˆ βM,ˆσ2) = nlog(ˆσ2) + 1 ˆσ2(y−XMˆ βM)0(y−XMˆ βM) =nlog(ˆσ2) + nˆσ2 ˆσ2=nlog(ˆσ2) + n donde ˆσ2es el EMV de σ2. Podemos igno a la cons an e n, pues no depende de p, y esc ibi : AIC =nlog(ˆσ2) + 2(|M|+ 1). donde ˆσ2no es el es imado insesgado de σ2. No a 2.4.1. Las p incipales en ajas que iene el c i e io AIC, po lo cual es an p ´ac ico son: No equie e de ninguna abla pa a e el co espondien e alo . Tiene una ´acil implemen aci´on. No necesi a un ni el de signi icaci´on a bi a io pa a elegi en e dos modelos. No a 2.4.2. El ´e mino de penalizaci´on no depende del ama˜no de la mues- a, es deci , que el n´ume o de pa ´ame os que seleccionamos con es e c i e- io, es el mismo an o pa a una mues a peque˜na como pa a una g ande. Lo que hace que AIC no sea consis en e, es deci , que no se ap oxima al modelo co ec o con o me aumen a la mues a, como cab ´ıa espe a . 2.4.1. Aplicaci´on Pa imos de los mismos modelos expues os en el Ejemplo 2.1.1. A di e- encia de o os m´e odos, pa a usa el AIC no necesi amos ninguna lib e ´ıa ex a de R, pues o que ya iene implemen ado en la unci´on AIC. Lo ´unico que end emos que hace es ca ga la base de da os y los modelos: 31 > gol <- ead. able("gol ull. x ", heade =TRUE) > a ach(gol ) > mod1 <- lm(p ice~kilome e +age, da a=gol ) > mod2 <- lm(p ice~kilome e +age+ex as1, da a=gol ) > mod3 <- lm(p ice~kilome e +age+ex as2, da a=gol ) > mod4 <- lm(p ice~kilome e +age+TIA, da a=gol ) > mod5 <- lm(p ice~kilome e +age+ex as1+ex as2, da a=gol ) > mod6 <- lm(p ice~kilome e +age+ex as1+TIA, da a=gol ) > mod7 <- lm(p ice~kilome e +age+ex as2+TIA, da a=gol ) > mod8 <- lm(p ice~kilome e +age+ex as1+ex as2+TIA, da a=gol ) Y aho a, bas a con calcula los AIC de los modelos y compa a los pa a e cual es el mayo . Coloca emos los esul ados en una ma iz como en ejemplos an e io es pa a e lo mejo : > n <- 8 > nc <- 1 > esAIC <- ma ix(n ow=n , ncol=nc, by ow=TRUE) > ownames( esAIC)<-c("mod1","mod2","mod3", "mod4", + "mod5", "mod6", "mod7", "mod8") > colnames( esAIC)<-c("AIC") > esAIC[,1] <- c(AIC(mod1), + AIC(mod2), + AIC(mod3), + AIC(mod4), + AIC(mod5), + AIC(mod6), + AIC(mod7), + AIC(mod8)) > esAIC AIC mod1 406.5904 mod2 405.3859 mod3 408.5433 mod4 408.4380 mod5 407.3697 mod6 406.9542 mod7 410.4026 mod8 408.9490 Po lo que el mejo modelo seg´un es e c i e io se ´ıa el modelo 2, p ice ∼ kilome e +age +ex a1. 32 2.5. C i e io de In o maci´on Bayesiana Schwa z (1978) ide´o el c i e io de in o maci´on bayesiana, BIC, a a´ız de la inconsis encia del es imado AIC, en ´es e se conside a el ama˜no de la mues a nen el ´e mino de penalizaci´on. Po lo an o, ue dise˜nado con el obje i o de se consis en e, es deci , que a medida que el ama˜no mues al aumen a, el c i e io iende a selecciona el e dade o modelo que gene a los da os. BIC se basa en es udia el compo amien o de la p obabilidad a pos e io i del modelo j-´esimo. Suponiendo cie as hip´o esis de las dis ibuciones a p io i de los pa ´ame os, enemos: ln (X|Mj) = Lj(ˆ βj|X) + ln P(ˆ βj|Mj) + pj 2ln(2π)−pj 2ln(n) + 1 2ln|Rj| donde (X|Mj) es la e osimili ud ma ginal de los da os en el modelo Mj, Lj(ˆ βj|X) es la unci´on de e osimili ud del modelo Mj, que iene como EMV de βjaˆ βj,P(ˆ βj|Mj) es la p obabilidad a p io i de los pa ´ame os, pjes el n´ume o de pa ame os es imados y Rjes igual a nSj, siendo Sjla ma iz de co a ianzas de ˆ βj. Haciendo ende na in ini o, se puede ap oxima ln (X|Mj)≃Lj(ˆ βj|X)−pj 2ln(n) que es equi alen e a: BIC(Mj) = −2ln Lj(ˆ βj|X) + ln(n)(pj). Con lo que inalmen e llegamos a la exp esi´on siguien e: BIC(M) = −2ln L(ˆ β|M|+1) + ln(n)(|M|+ 1).(2.2) Seg´un es e c i e io, se ob iene el mejo modelo calculando los dis in os BIC y qued´andonos con el que enga el meno . No emos que si a˜nadimos m´as pa ´ame os en el modelo, el ajus e se e ´a in- c emen ado, pues el p ime ´e mino mide la des iaci´on del modelo es imado con el modelo sa u ado (con odas las a iables), pe o es e e ec o se compen- sa con el segundo ´e mino pe a e i a el sob eajus e. Co ola io 2.5.1. Bajo el supues o de e o es gaussianos, la exp esi´on 2.2 se educe a: BIC(M) = nlog(ˆσ2) + log(n)(|M|+ 1). 33 Conside a emos un da o como a ´ıpico cuando no se gene e po el mismo p ocedimien o que el es o de la mues a. Po ejemplo, cuando haya un e o de medida o si esa obse aci´on iene un alo di e en e del es o pa a una a iable explica i a ele an e omi ida en el modelo. En ese caso, el modelo pa a esa obse aci´on se ´ıa: yi=x0 iβ+ω+ui, donde ωes el e o de medida o el e ec o de la a iable explica i a omi ida. Podemos modeliza el da o a ´ıpico como un desplazamien o en la media de la dis ibuci´on. O al e na i amen e, como un desplazamien o en la a ianza, de mane a que la obse aci´on se gene a con nues o modelo, pe o la a ianza en ese pun o se ´a c2σ2con c >> 1. Ambos modelos son equi alen es, pues con un s´olo da o no es posible sabe si la media o la a ianza ha cambiado. Un da o a ´ıpico puede o no se in luyen e, y ice e sa. Pa a busca los alo es a ´ıpicos se calculan los esiduos es uden izados, ˆ j, en odos los pun os. Pues el es ad´ıs ico asociado a ˆωes p ecisamen e ˆ j. De inici´on 2.7.2. Se de ine el esiduo es uden izado como: ˆ i=ei ˆs i√1−hii Pa a e si exis en alo es a ´ıpicos se oma el m´aximo de los esiduos es u- den izados con H0: odos los da os han sido gene ados po el mismo modelo, ´es e segui ´a la dis ibuci´on del m´aximo de una a iable de S uden , que de- pende de los g ados de libe ad de y es ´a abulada. O o m´e odo pa a e ´es o es el m´e odo de Bon e oni y u iliza con as- es m´ul iples. Dicho p ocedimien o es simple y gene al, pe o no es siemp e ´op imo. Se basa en la desigualdad de Bon e oni. Y se u iliza de la o ma siguien e: Sea cel n´ume o de compa aciones que cons uimos, sea Aiel suceso: acep a µi6=µjcuando ealmen e µi=µj. Supongamos que hacemos las compa a- ciones de medias con un ni el de signi icaci´on α: P(Ai) = α. Sea B=A1+A2+... +Ac. Los sucesos Aino son mu uamen e excluyen es, po an o: P(B) = P(A1+A2+... +Ac)≤XP(Ai) = cα. El m´e odo p e ende ga an iza un e o de ipo I o al pa a el conjun o de con as es, αT, po lo que P(B)≤αT.´ Es o se consigue calculando cada con as e indi idual a un ni el αde mane a que: α=αT c. 40 Lo que nos lle a a un p ocedimien o de ap oximaci´on bas an e ´u il en la p ´ac ica. Cuando ces g ande, se necesi an ni eles de signi icaci´on muy peque˜nos, an o que no es ´an abulados, po lo que se u iliza la ap oximaci´on: α ν≃1−zα+ 1 4ν−1 donde νson los g ados de libe ad de yzαel alo de la dis ibuci´on no mal es ´anda (0,1) al que P(z≥zα) = α. Aunque si enemos en nues a mues a un g upo de da os a ´ıpicos pueden no de ec a se con los p ocemien os is os has a aho a. A pesa de elimina uno de los pun os, al habe o os pa ecidos hace que el pun o eliminado no pa ezca in luyen e. Es e en´omeno se llama enmasca amien o y se esuel e con la es imaci´on obus a y ´ecnicas m´as a anzadas. 2.7.4. He e ocedas icidad Decimos que exis e he e ocedas icidad en las pe u baciones uicuando no se puede aplica la hip´o esis: V a (ui) = σ2, i = 1, .., n con lo que inclumplimos una de las hip´o esis b´asicas donde se asien a la e- g esi´on lineal. En es e caso las obse aciones con la a ianza baja son impo an es, pues son m´as iables a la ho a de es ima la ec a de eg esi´on que las obse a- ciones con a ianza al a (en gene al, cuan o meno es su a ianza, menos se des ´ıan del alo medio que que emos es ima ), y debe ´ıan ene m´as peso. Pe o el m´e odo de m´ınimos cuad ados no iene en cuen a es o, po lo que los es imado es calculados con es e p ocedimien o dejan de se e icien es y las ´o mulas deducidas pa a calcula las a ianzas de los es imado es ya no son co ec as, po lo an o, los con as es basados en ellas dejan de se ´alidos. La p´e dida de e iciencia de los es imado es depende de la magni ud de he- e ocedas icidad. Podemos medi la calculando el cocien e en e la a ianza m´axima y la m´ınima de las obse aciones, Bloch y Moses, (1988) ecomien- dan que cuando el cocien e es meno que dos, podemos segui u iliz´andolos pues o que la p´e dida de e iciencia es peque˜na. Cuando es mayo que dos, la p´e dida de e iciencia es g ande. Si adem´as de he e ocedas icidad enemos obse aciones con al o e ec o pa- lanca, las consecuencias se ag a an, pues ambi´en es m´as complicado es ima las pe u baciones del modelo, con lo que es m´as di ´ıcil es ima la a ianza 41 de la mues a. Pa a econoce la he e ocedas icidad bas a con analiza los esiduos. Me- dian e el g ´a ico de ei= (ˆyi) se puede de ec a , y pa a iden i ica si la he e ogeneidad en la a iabilidad es debida a alguna a iable explica i a po- demos usa ei= (xi). Uno de los con as es pa a la he e ocedas icidad es el de la az´on de e osi- mili udes. Pa a aplica es e con as e, di idimos los esiduos, eien gg upos, cada uno de un ama˜no niy es imamos la a ianza en cada uno de ellos. Sea ˆσ2 ila es imaci´on de la a ianza del g upo i, y σ2 iel EMV de la a ianza de los esiduos. En onces enemos el con as e: H0:ei∼N(0, σ) H1:ei∼N(0, σi),con g alo es dis in os de σi luego el loga i mo de la az´on de e osimili udes de ambas hip´o esis es: log(λ) = − g X i=1 ni 2log(ˆσ2 i)− g X i=1 ni 2−−n 2log(ˆσ2)−n 2 po an o, 2log(λ) = nlog(ˆσ2)− g X i=1 nilog(ˆσ2 i) cuya dis ibuci´on asin ´o ica es χ2 g−1. El con as e an e io no iene en cuen a la posibilidad de que los esiduos sean sesgados po la he e ocedas icidad. Pa a ealiza un con as e m´as exac o en mues as peque˜nas, enemos el siguien e es : H0:yi=x0 iβ+ui, ui∼N(0, σ) H1:yi=x0 iβ+ui, ui∼N(0, σi) que hace que las eg esiones sean calculadas po sepa ado en cada g upo al es ima las a ianzas, ˆσ2 i. Una ez de inido es e con as e, se p ocede de mane a an´aloga al an e io . El p oblema m´as b´asico que p oduce la he e ocedas icidad es la o mulaci´on e ´onea del modelo. Po ejemplo, si nues o modelo ue a: y=kxα1 1·... ·xαk k·u donde usigue una dis ibuci´on log-no mal de media 1 y a ianza desconocida. Es imamos po un modelo lineal ˆy=ˆ β0+ˆ β1x1+...+ˆ βkxk, los esiduos end ´an al a de no malidad, al a de linealidad y he e ocedas icidad, aumen ando la a ianza de los e o es con o me aumen an los alo es de las a iables explica i as. En es e caso, debe ´ıamos ans o ma la a iable obje i o, y, con loga i mos. La he e ocedas icidad m´as ecuen e es que a ianza aumen e linealmen e con el alo de y. Aqu´ı ambi´en se esuel e usando los loga i mos. 42 Si es amos en el caso donde la he e ocedas icidad iene po una a iable explica i a, xk, y la des iaci´on ´ıpica aumen a linealmen e con dicha a iable, el p ocedimien o a segui es ajus a el siguien e modelo: ˆy xk =ˆ β0 xk +ˆ β1 x1 xk +ˆ βk+u xk donde la pe u baci´on aho a s´ı iene a ianza cons an e. O a he amien a ´u il pa a soluciona los p oblemas de he e ocedas icidad es la de m´ınimos cuad ados gene alizados. Pa amos de un modelo con he e ocedas icidad en el que suponemos que: E[UU0] = σ2G donde Ges una ma iz sim´e ica y de inida posi i a. En el caso que nos ocupa, pa a que las pe u baciones sean he e oced´as icas, se supone que G es una ma iz diagonal. Aho a enemos que di e encia dos casos, cuando Gsea conocida y cuando no. 1.- Si Ges conocida en onces, Y∼Nn(Xβ, σ2G) y pod emos es ima los pa ´ame os po el m´e odo de m´axima e osimili ud. Que es equi alen e a hace una ans o maci´on de las a iables con el in de que cumplan las hip´o esis del modelo de eg esi´on y luego aplica los esul ados ya dados. Como Gse supone conocida y de inida posi i a, podemos ob ene una ma iz sim´e ica, no singula , A al que G=AA. Es a Ase denomina ma iz a´ız cuad ada de Gy en nues o caso, su diagonal son los ´e minos σi/σ. Mul iplicando po la in e sa de Anues o sis ema, enemos que: A−1Y=A−1Xβ +A−1U. Es a exp esi´on puede eesc ibi se como: Y∗=X∗β+U∗ con Y∗=A−1Y,X∗=A−1XyU∗=A−1U. Obse amos que es a nue as a iables es ´an elacionadas en e ellas con el mismo β. Luego la nue a ma iz de co a ianzas es: E[U∗U∗0] = A−1E[UU0]A−1=σ2I. Con lo que queda a eglado el p oblema de la he e ocedas icidad, pues el mo- delo Y∗=X∗β+U∗, es homoced´as ico, y ya pod ´ıamos aplica el m´e odo 43 de m´ınimos cuad ados (que coincide con el de m´axima e osimili ud) pa a calcula un es imado de β, que se ´a: ˆ βG= (X∗0X∗)−1X∗0Y∗= (X0G−1X)−1X0G−1Y | {z } G−1=A−1A−1 y se denomina es imado de m´ınimos cuad ados gene alizados oMCG y iene como ma iz de co a ianzas: V a (ˆ βG) = σ2(X∗0X∗)−1=σ2(X0G−1X)−1. 2.- Veamos aho a el caso donde Ges desconocida. En gene al, no es posible esol e el caso en que odos los alo es de la ma iz Gson desconocidos. Lo habi ual es supone alguna es uc u a pa a G, modeliza es a ma iz in oduciendo pa ´ame os desconocidos adicionales de o ma que el p oblema plan eado sea a able y u iliza m´e odos i e a i os de es imaci´on pa a el ec o de pa ´ame os βy los nue os pa ´ame os u ilizados pa a modeliza la es uc u a de G. De alles adicionales pueden e se en Pe˜na, D. [2] (Cap. 9). 2.7.5. Mul icolinealidad La mul icolinealidad se da cuando las a iables explica i as ienen una dependencia en e ellas ue e, po an o, es muy di ´ıcil e el e ec o que ie- ne cada una indi idualmen e en la a iable espues a. Es e p oblema iene del hecho de in en a ex ae m´as in o maci´on de los da os que lo que con ienen, po lo que dicho p oblema eside en la base de da os y no en el modelo. En los modelos de eg esi´on m´ul iple, pa a es ima el e ec o de una a iable explica i a debemos ija nos en la pa e de la a iable que no es ´a elacionada linealmen e con las dem´as del modelo. En el caso de que s´ı lo es u ie a no se ´ıa posible es ima su e ec o, a es o se le llama el p oblema de la mul ico- linealidad. Cuando nos disponemos a es ima los pa ´ame os de los modelos de eg esi´on, es necesa io in e i la ma iz X0X. Si enemos una a iable linealmen e de- pendien e con el es o, la ma iz X end ´a un ango meno que k+1, que es el n´ume o de pa ´ame os, el de e minan e de X0Xse ´a 0, po lo que la ma iz no end ´a in e sa y el sis ema de ecuaciones de e minado po los pa ´ame os del modelo end ´a in ini as soluciones. Puede da se ambi´en que las a iables es ´en al amen e co eladas, sin se exac amen e combinaci´on lineal de ninguna, en ese caso hab ´a una mul i- colinealidad al a, po ejemplo, en el caso de que u ie amos dos a iables 44 explica i as en nues o modelo, x1, x2con medias nulas, al que: X0X=Px2 1Px1x2 Px1x2Px2 2=ns2 1s12 s12 s2 2 in i iendo la ma iz y u ilizando que s12 = s1s2y|X0X|=s2 1s2 2(1 − 2), enemos: (X0X)−1=1 n"1 s2 1(1− 2) − s1s2(1− 2) − s1s2(1− 2) 1 s2 2(1− 2)#. Luego las a ianzas de los es imado es se ´an: V a (ˆ βi) = σ2 ns2 i(1 − 2), i = 1,2 po an o, cuando 2∼1 la a ianza de los coe icien es es imados se ´a muy al a. Adem´as, las es imaciones end ´an una g an dependencia en e ellas, pues: Co (ˆ β1,ˆ β2) = − σ2 ns1s2(1 − 2). El coe icien e de co elacion en e ˆ β1yˆ β2se ´a igual en alo absolu o, pe o de signo con a io, a la co elaci´on en e las a iables explica i as, es deci (ˆ β1,ˆ β2) = Co (ˆ β1,ˆ β2) qV a (ˆ β1)qV a (ˆ β2) =− . Luego, las es imaciones se ´an an dependien es en e s´ı, como lo sean las a iables en e ellas. En gene al, la a ianza de un coe icien e de eg esi´on es V a (ˆ βi) = σ2/SCR(xi,R) siendo SCR(xi,R) = Pn j=1(xij −ˆxij,R)2la a ianza esidual de una eg esi´on de xisob e el es o. Se iene ambi´en que SCR(xi,R) = SCT(xi)−SCE(xi,R) = ns2 i(1 −R2 i,R). Llamando Ri,R al coe icien e de co elaci´on m´ul iple en la eg esi´on de xien unci´on del es o de a iables, enemos: V a (ˆ βi) = σ2 ns2 i(1 −R2 i,R) po lo que si el cuad ado del coe icien e de co elaci´on es ce cano a 1, la a ianza se ´a muy g ande. Pa a a e igua si enemos o no mul icolinealidad debemos examina : 45 La ma iz de co elaci´on en e las a iables explica i as, R, y R−1. Los ac o es de in laci´on de la a ianza. Las a´ıces y ec o es ca ac e ´ıs icos de las ma ices X0X, o R. Si enemos una co elaci´on al a en e a iables explica i as es una cla a se˜nal de mul icolinealidad. Puede se que haya una elaci´on pe ec a en e una de las a iables explica i as y el es o y, sin emba go, sus coe icien es de co elaci´on sean bajos. Po ejemplo, supongamos las a iables explica i as: x1, ..., xkcon media ce o, a ianza uno y o ogonales. Y de inamos una nue- a a iable que sea la media de las an e io es, xk+1 = (x1, ..., xk)/k. Luego, V a (xk+1)=1/k yCo (xi, xk+1)=1/k, con lo que su co elaci´on es 1/√k. Si kes g ande, la co elaci´on se ´a peque˜na, pe o un modelo que incluya las k+ 1 a iables (x1, ..., xk, xk+1) end ´a una mul icolinealidad exac a. Sea Rla ma iz de co elaci´on de las a iables explica i as, la cual es cuad a- da, sim´e ica de o den ky cuyo ´e mino (ij) es el coe icien e de co elaci´on lineal simple en e xiyxj. Es a ma iz, pa a dos a iables se ´ıa: R=1 1 luego R−1es: R−1=1 1− 2 − 1− 2 − 1− 2 1 1− 2 podemos e que los elemen os de la diagonal, 1/(1 − 2), con ienen al coe- icien e de co elaci´on. Pa a k a iables, los elemen os de la diagonal se ´ıan 1/(1 −R2 i,R), siendo R2 i,R el coe icien e de co elaci´on m´ul iple de la a iable explica i a xicon el es o de a iables explica i as. Po an o, si enemos elemen os de la diagonal de R−1g andes, nos indica ´a que hay al a mul icolinealidad. En es e caso no enemos el p oblema que en´ıamos con los elemen os de R, donde pod´ıa no de ec a se a simple is a la mul icolinealidad, pues en los elemen os de la diagonal de la ma iz in e sa se ienen en cuen a odas las a iables explica i as, y en onces se de ec a ´a la mul icolinealidad cuando una de las a iables sea casi combinaci´on lineal del es o. Aunque R−1 ambi´en iene incon enien es, cuando la ma iz Rsea casi singula , no pod emos calcula su in e sa con p ecisi´on. Los ´e minos de la diagonal de R−1se in e p e an como el aumen o de la a iabilidad en la es imaci´on de los e ec os de cada a iable explica i a en la eg esi´on m´ul iple, como consecuencia de la dependencia en e las a iables, espec o a la eg esi´on simple. Ve´amoslo pa a dos a iables explica i as de media ce o: 46 La a ianza de las es imaciones de los e ec os de las a iables median e eg e- siones simples se ´ıa ˆs2 (i)/s2 in, con s2 (i) la a ianza esidual de la eg esi´on simple que iene po eg eso la a iable xi. Si es imamos los e ec os median e eg esi´on m´ul iple, la a ianza se ´ıa ˆs2 /s2 i(1 − 2)n. Po an o: V a (e ec o xi|R. m´ul iple) V a (e ec o xi|R. simple) =ˆs2 (i) ˆs2 1 1− 2 dicha exp esi´on nos indica que el cambio de la a ianza de un coe icien e al pasa de la eg esi´on simple a la eg esi´on m´ul iple depende de dos ac o es. Uno, el cambio de la a ianza esidual de la eg esi´on, que se ´a mayo en la simple que en la m´ul iple, no malmen e. Y dos, el 1/(1 − 2), denominado ac o de in laci´on de la a ianza, el cual mide el aumen o de la a ianza debido a la dependencia en e las a iables. Po ejemplo, al in oduci una nue a a iable explica i a en la eg esi´on sim- ple la cual es ´e muy co elada con la que ya hab´ıa y no ayuda a explica la a iable obje i o, hace que el p ime ´e mino, ˆs2 (i)/ˆs2 , es ´e ce cano a 1 y la a ianza del coe icien e de la p ime a a iable es a ´a mul iplicada po el mencionado ac o de in laci´on. Se puede p oba que el esul ado an e io se puede gene aliza como sigue: V a (e ec o xi|R. m´ul iple) V a (e ec o xi|R. simple) =ˆs2 (i) ˆs2 FIV (i) donde FIV (i) = 1/(1 −R2 i,R) es el ac o de in laci´on de la a ianza. Cuando X0XoRson singula es debemos ecu i a o as ´ecnicas pa a a a la mul icolinealidad. Po ejemplo: el ´ındice de condicionamien o, deno ado po IC, el cual nos si e pa a es os casos y es ´a de inido po : IC = m´aximo au o alo de la ma iz m´ınimo au o alo de la ma iz ≥1. No malmen e se calcula es e ´ındice pa a Ren ez de pa a X0X, pues o que ´es a no es ´a a ec ada po las escalas de los eg eso es, pues en el caso de que un eg eso u ie a una a ianza g ande y o o muy peque˜na, la ma iz X0X es a ´ıa mal condicionada, y po an o, ue a de la diagonal end ´ıa ´e minos nulos. Po con enio se admi e que exis e al a mul icolinealidad cuando IC > 30. Cuando 10 < IC < 30 end emos una mul icolinealidad mode ada. Y en caso con a io end emos bien de inida la ma iz y la mul icolinealidad se ´a lo su icien emen e baja pa a no al e a la es imaci´on po el m´e odo de m´ınimos cuad ados del modelo. 47 An es de pasa a e como soluciona la mul icolinealidad, eamos el e ec o de ´es a en el e o cu´ad a ico medio, lo que nos se ´a ´u il pa a e una de sus soluciones. Tenemos que el e o cu´ad a ico medio de ˆ βes ´a de inido po : ECM(ˆ β) = E[(ˆ β−β)0(ˆ β−β)] = k X i=0 (ˆ βi−βi)2=σ2 (X0X)−1=σ2 k X i=0 1 λi donde los λison los alo es p opios de la ma iz X0X. Si es a ma iz es casi singula , λi≃0 pa a alg´un i, lo que lle a a ene un e o cuad ´a ico me- dio muy g ande. Una ez is o es o, pasemos a mos a como soluciona la mul icolinealidad. ´ Es a no iene soluci´on sencilla pues, como mencionamos al p incipio de la secci´on, el p oblema eside en la mues a. Una de la al e na- i as es oma las obse aciones de mane a que la ma iz X0Xsea diagonal, lo que educe la a ianza de los es imado es. En caso de no pode dise˜na la mane a de ecaba los da os, podemos elimina eg eso es al amen e co e- lados con o os, haciendo meno el n´ume o de pa ´ame os a es ima , aunque dichos es imado es se ´an sesgados. Es a es una de las soluciones m´as simples. Veamos la mane a de p ocede . Sea y=β1x1+β2x2+u nues o modelo, donde amos a supone que las a iables explica i as ie- nen media ce o, po simpli ica . Seg´un lo is o an e io men e, V a (ˆ β1) = σ2/ns2 1(1 − 2 12). Po lo que su e o cuad ´a ico medio es: ECM(ˆ β1) = V a (ˆ β1). Si eliminamos la a iable explica i a x2, nos queda el modelo: y=b1x1+ε po lo que la es imaci´on de b1se ´a: ˆ b1=Pyx1 Px2 1 eamos que en e ec o, es sesgada: E[ˆ b1] = 1 Px2 1 Ehβ1Xx2 1+β2Xx2x1+uXx1i 48 =β1+β2Px2x1 Px2 1 =β1+β2 12 s2 s1 po lo que, s´ı, es sesgado. Calculando su a ianza, ob enemos: V a (ˆ b1) = σ2 Px2 1 =σ2 ns2 1 . Y po an o, su e o cuad ´a ico medio se ´a: ECM(ˆ b1) = β2 12 s2 s12 +σ2 ns2 1 po lo que debe ´ıa e i ica se que ECM(ˆ b1)< ECM(ˆ β1), es deci : β2 2 2 12ns2 2+σ2 ns2 1 <σ2 ns2 1(1 − 2 12) de lo que se deduce que, 1 1− 2 12 >β2 σ2 ns2 2 luego cuando 12 ≃1, el ECM(ˆ b1) se ´a meno que ECM(ˆ β1) y ob end emos una es imaci´on mejo (aunque sesgada) del e ec o de la a iable explica i a x1eliminando de nues o modelo la a iable explica i a x2. No a 2.7.1. Reo denando la ´ul ima exp esi´on ob enemos un esul ado bas- an e in e esan e: 1>β2 2ns2 2(1 − 2 12) σ2=β2 2 V a (ˆ β2)= β2 DT(ˆ β2)!2 donde DT(ˆ β2)es la des iaci´on ´ıpica de ˆ β2. Sus i uyendo los pa ´ame os β2 yσ2po sus es imaciones, ob enemos el es ad´ıs ico , al cuad ado, que se u iliza pa a con as a si el pa ´ame o es ce o. Teniendo en cuen a la No a 2.7.1, elimina emos de nues o modelo las a iables cuyo es ad´ıs ico sea meno que 1, pa a as´ı a a de mejo a el e o cuad ´a ico medio de es imaci´on de los pa ´ame os es an es y elimina la mul icolinealidad. En ez de elimina di ec amen e las a iables de nues o modelo, podemos c ea una nue a a iable que ag upe las que es ´an muy co eladas en e s´ı. 49 S ep: AIC=-84.73 p ice ~ kilome e + age + ex as1 D Sum o Sq RSS AIC <none> 100.32 -84.729 - ex as1 1 1.887 102.21 -83.524 - kilome e 1 27.768 128.09 -44.700 - age 1 76.600 176.92 10.852 Po an o, seg´un es e m´e odo ob enemos el siguien e modelo: p ice ∼kilome e + age +ex as1. 3.3. Selecci´on paso a paso El m´e odo de selecci´on paso a paso (o s epwise selec ion), es una combi- naci´on de los dos an e io es, as´ı, e i a los incon enien es de la selecci´on hacia adelan e y no equie e de una capacidad de c´alculo an g ande como la de la selecci´on hacia a ´as. En cada paso se con as a si en a una nue a a iable explica i a o sale una que ya es ´e en el modelo. El algo i mo equie e ija dos eglas, una pa a las a iables de en ada y o a pa a las a iables de salida. El p oceso e mina cuando no haya mejo as signi ica i as a la ho a de a˜nadi o elimina alguna a iable. Es e m´e odo es el m´as u ilizado de los 3. 3.3.1. Aplicaci´on Po ´ul imo e emos un ejemplo de la selecci´on paso a paso, en el cual u iliza emos la misma lib e ´ıa MASS con su unci´on s epAIC, que ecibi ´a de a gumen os: el modelo con el que comienza el algo i mo, el modelo con el m´aximo n´ume o de a iables, y la di ecci´on en la que a anza, en es e caso, hacia ambos lados. Como en el ejemplo an e io , ejecu amos solamen e la unci´on: > mod.s ep <- s epAIC(mod0, scope = lis (uppe = mod8), > di ec ion = "bo h") S a : AIC=76.69 p ice ~ 1 D Sum o Sq RSS AIC + age 1 135.435 130.09 -44.030 + kilome e 1 88.086 177.44 9.357 56 + ex as2 1 3.663 261.86 76.297 <none> 265.53 76.686 + TIA 1 0.286 265.24 78.501 + ex as1 1 0.257 265.27 78.520 S ep: AIC=-44.03 p ice ~ age D Sum o Sq RSS AIC + kilome e 1 27.886 102.21 -83.524 + ex as1 1 2.004 128.09 -44.700 <none> 130.09 -44.030 + ex as2 1 0.543 129.55 -42.750 + TIA 1 0.200 129.89 -42.294 - age 1 135.435 265.53 76.686 S ep: AIC=-83.52 p ice ~ age + kilome e D Sum o Sq RSS AIC + ex as1 1 1.887 100.32 -84.729 <none> 102.21 -83.524 + TIA 1 0.091 102.12 -81.677 + ex as2 1 0.028 102.18 -81.572 - kilome e 1 27.886 130.09 -44.030 - age 1 75.234 177.44 9.357 S ep: AIC=-84.73 p ice ~ age + kilome e + ex as1 D Sum o Sq RSS AIC <none> 100.32 -84.729 - ex as1 1 1.887 102.21 -83.524 + TIA 1 0.251 100.07 -83.161 + ex as2 1 0.009 100.31 -82.745 - kilome e 1 27.768 128.09 -44.700 - age 1 76.600 176.92 10.852 Con es e m´e odo ob enemos el siguien e modelo: p ice ∼age +kilome e + ex as1. 57 58 Cap´ı ulo 4 T´ecnicas de egula izaci´on Pa a halla los es imado es po el m´e odo de m´ınimos cuad ados o dina- ios de los pa ´ame os en el modelo lineal cl´asico, hay que esol e el sis ema de ecuaciones: X0Xβ =X0y. Pa a que es e sis ema enga soluci´on ´unica, la ma iz Xdebe ene ango m´aximo, ango(X) = p. Sin emba go, puede habe p oblemas: Cuando haya columnas en la ma iz Xque sean casi combinaci´on lineal de o as, es deci , cuando se p esen a el p oblema de la colinealidad. Cuando el n´ume o de eg eso es, p, es g ande. En es e caso, la soluci´on es num´e icamen e ines able, aunque los coe icien es sigan siendo iden- i icables en eo ´ıa. Adem´as, en muchas de las aplicaciones que es ´an su giendo en nues os d´ıas, po ejemplo en gen´e ica, ocu e que el n´ume o de co a iables es mucho mayo que el n´ume o de obse aciones de las que disponemos. Es o se conoce como p oblemas con “n peque˜no, y p g ande”. En odas es as si uaciones son ´u iles las ´ecnicas de egula izaci´on. Puede deci se que las ´ecnicas de egula izaci´on se aplican pa a ob ene es imaciones de los coe icien es de eg esi´on cuando la ma iz X0Xes singula o es ´a muy p ´oxima a se lo. En es e con ex o, egula iza signi ica, hace el p oblema a able, imponiendo una se ie de es icciones al conjun o de soluciones admisibles. En las ´ecnicas de egula izaci´on se plan ea un p oblema de op imizaci´on que conside a como unci´on obje i o una ob enida po m´ınimos cuad ados penalizados (Penalized Leas Squa es, PLS) P LS(β) = (y−Xβ)0(y−Xβ)+λpen(β) 59 donde λ≥0 es un pa ´ame o de penalizaci´on que con ola el e ec o de la penalizaci´on y pen(β) es el ´e mino de penalizaci´on. Si λ≃0 en onces ˆ βP LS es ´a p ´oximo al MCO( ˆ βLS). En cambio, si λes g ande, se le da mucha impo ancia a la penalizaci´on. Luego, se plan ea aho a el p oblema de halla ˆ βP LS: ˆ βP LS = a g min β [(y−Xβ)0(y−Xβ)+λpen(β)]. Que es equi alen e a esol e el p oblema de op imizaci´on: ˆ βP LS = a g min β [(y−Xβ)0(y−Xβ)] s.a. pen(β)≤ donde es una cons an e elacionada con el pa ´ame o de penalizaci´on (smoo - hing) λen una elaci´on uno a uno. 4.1. Reg esi´on con a´ıda La eg esi´on con a´ıda (o idge eg ession) ue in oducida en 1970 po Hoe l y Kenna d. Reco demos que β= (β1, ..., βp)0. En el caso de la eg esi´on idge se conside a la siguien e penalizaci´on: pen(β) = kβk2= k X j=0 β2 j=β0β po an o nos queda: PLS(β) = (y−Xβ)0(y−Xβ)+λβ0β. De donde puede comp oba se que: ˆ βP LS = (X0X+λIp)−1X0y. Obse aci´on: Reco demos que ˆ βLS = (X0X)−1X0y. 60 Pa a alo es de λce canos a ce o, el impac o de pen(β) es p ´ac icamen e nu- lo, y ˆ βP LS ≃ˆ βLS. Sin emba go, si λes g ande, es a ´ecnica pe mi e esol e el p oblema de la mul icolinealidad, po que hace que la ma iz (X0X+λIp)−1 sea in e ible en el caso de que X0Xno lo ue a. Adem´as, ˆ βP LS es una con acci´on de ˆ βLS hacia ce o. Es o puede e se ob- se ando la unci´on obje i o a minimiza , y el papel que en ella desempe˜na λβ0β. Si λes g ande, el min β{PLS(β)}, es a ´a de e minado po el ´e mino que minimice λpen(β) = λβ0β, que cla amen e se minimiza cuando β= 0. En la p ´ac ica no in e esa penaliza la o denada en el o igen (in e cep ) del modelo de eg esi´on, β0. Pa a ello exis en dos al e na i as: Cen a odas las co a iables y la a iable espues a, Y, pa a que los nue os alo es de ´es as engan media ce o, y= 0, x= 0, lo que au- om´a icamen e p oduce que ˆ β0= 0. Es o implica que el in e cep (o ´e mino cons an e) se elimina del modelo, y po lo an o no se penaliza. Modi ica la penalizaci´on a: pen(β) = k X j=1 β2 j=β0Kβ donde K=diag(0,1, ..., 1), es deci , se in oduce una ma iz de penali- zaci´on que excluye al coe icien e β0, y sigue siendo la iden idad pa a el es o de los coe icien es. Es a segunda opci´on es la que adop a emos, y nos conduce al es imado de eg esi´on con a´ıda ( idge es ima e) dado po : ˆ βP LS = (X0X+λK)−1X0y. P oposici´on 4.1.1. P opiedades de ˆ βP LS: E(ˆ βP LS)=(X0X+λK)−1X0Xβ. Po an o, no es insesgado sal o que λ= 0. No malmen e ocu i ´a |ˆ βj,P LS| ≤ |ˆ βj,LS|,j= 1, ..., k. Aunque no siemp e se iene. Co (ˆ βP LS) = σ2(X0X+λK)−1X0X(X0X+λK)−1. P oposici´on 4.1.2. Compa aci´on ˆ βP LS,ˆ βLS: E(ˆ βLS) = E((X0X)−1X0y) = (X0X)−1X0Xβ =β, luego es inses- gado. Co (ˆ βLS) = σ2(X0X)−1. 61 Luego: ˆ βP LS = (X0X+λK)−1X0y= (X0X+λK)−1(X0X) (X0X)−1X0y | {z } ˆ βLS = (X0X+λK)−1(X0X)ˆ βLS. En el caso de ma ices o ogonales se puede ob ene una elaci´on en e los coe icien es de ambos es imado es que ilus a po qu´e se llama eg esi´on con- a´ıda: Co (ˆ βP LS) = σ2(X0X+λK)−1(X0X)(X0X+λK)−1. Puede p ob a se que la ma iz Co (ˆ βLS)−Co (ˆ βP LS) es de inida posi i a pa a λ > 0, lo que implica que: V a (ˆ βj,P LS)< V a (ˆ βj,LS), j = 1, ..., k. En esumen, con la eg esi´on idge el es imado que se ob iene es sesgado, pe o iene meno ECM. Lo ´unico que queda ´ıa es calcula el pa ´ame o λadecuado, lo que se hace no malmen e po el m´e odo de la alidaci´on c uzada comen ado en la Sec- ci´on 2.3. N´o ese po ´ul imo que la escala de las co a iables es impo an e cuando es amos egula izando. La penalizaci´on o mada po el cuad ado de los coe i- cien es de eg esi´on asume que odos los coe icien es pueden se compa ados en alo absolu o. Sin emba go, la escala iene un impac o di ec o en la in- e p e acion de esos alo es absolu os. Po ejemplo, el coe icien e asociado a una co a iable que mide la dis ancia es a ´a escalada po un ac o de 1.000 cuando la a iable se mida en me os en ez de kil´ome os. Po lo an o, es impo an e hace que odas las a iables sean compa ables en su escala an es de aplica la ap oximaci´on po m´ınimos cuad ados penalizados. La soluci´on m´as com´un es la de no maliza odas las a iables. 4.1.1. Aplicaci´on Pa a ilus a la eg esi´on idge usa emos los paque es de R:ca yMASS. Y un iche o de da os u ilizado en Tibshi ani, R. e al. [12]. El obje i o de es e es udio es de e mina qu´e a iables in luyen en la p esencia de un an ´ıgeno p os ´a ico espec´ı ico, el cual se u iliza pa a de ec a el c´ance de p ´os a a. > u l <- "h p://www-s a .s an o d.edu/~ ibs/ElemS a Lea n + /da ase s/p os a e.da a" > cance <- ead. able(u l, heade =TRUE) > lib a y(ca ) > lib a y(MASS) 62 Nues o iche o de da os cuen a con 97 obse aciones y 10 a iables, las cuales son: lca ol: log- ol´umen del c´ance . lweigh : log- ama˜no de la p ´os a a. age: edad del pacien e. lbhp: log-can idad de hipe plasia benigna. s i: oma el alo 1 si es ´a in adida la es´ıcula seminal y 0 si no. lcp: log-pene aci´on capsula . gleason: pun uaci´on Gleason. pgg45: po cen aje de la pun uaci´on Gleason 4 ´o 5. lpsa: log-an´alisis del an ´ıgeno p os ´a ico espec´ı ico. ain: a iable pa a dis ingui el conjun o de en enamien o y el de es . Seleccionemos aho a el conjun o es y el conjun o ain ali´endonos de la a iable ” ain” an es mencionada. Tal como es ´a con o mado el iche o de da os, el 70 % del conjun o es ´a des inado al en enamien o del modelo. > ain = subse (cance , ain=="TRUE") > es = subse (cance , ain=="FALSE") Calculemos aho a el modelo de eg esi´on idge con la unci´on lm. idge la cual iene implemen ada una b´usqueda del λ´op imo a a ´es de la alidaci´on c uzada gene alizada, es impo an e ema ca que es e ´e mino puede induci a e o , pues no es una gene alizaci´on de la alidaci´on c uzada mencionada en la secci´on 2.3, aunque se u iliza po con enio dicho nomb e, se pod ´ıa habla de “ap oximaci´on”. > modelo_ idge <- lm. idge(lpsa ~ ., da a= ain[,-10], > lambda = seq(0,10,0.1)) > plo (seq(0,10,0.1), modelo_con aida$GCV, > main="B´usqueda lambda po GCV", + ype="l", xlab=exp ession(lambda), ylab="GCV") 63 0246810 0.00832 0.00834 0.00836 0.00838 0.00840 0.00842 0.00844 Búsqueda lambda po GCV λ GCV Vemos que el λdebe es a p ´oximo a 5, pa a a e igua el alo ´op imo po- demos emplea la unci´on selec : > selec (lm. idge(lpsa ~ ., da a= ain[,-10], lambda = seq(0,10,0.1))) modi ied HKB es ima o is 3.355691 modi ied L-W es ima o is 3.050708 smalles alue o GCV a 4.9 luego el alo ´op imo es λ= 4,9. Podemos e ambi´en c´omo a ´ıan los coe icien es al modi ica el λ > ma plo (seq(0,10,0.1), coe (modelo_ idge)[,-1], xlim=c(0,11), ype="l", + xlab=exp ession(lambda), ylab=exp ession(ha (be a)), l y=1, lwd=2, + main="Coe icien es en unci´on del lambda") > ex ( ep(10, 9), coe (modelo_ idge)[leng h(seq(0,10,0.1)),-1], + colnames( ain)[-9], pos=4) 64 0246810 −0.2 0.0 0.2 0.4 0.6 Coe icien es en unción del lambda λ β ^ lca ol lweigh age lbph s i lcp gleason pgg45 ain Se ap ecia que al aumen a el λlos coe icien es ienden a 0, pe o debemos ene en cuen a que a mayo λ, mayo es el sesgo de nues o modelo. Tenemos ya de inido nues o modelo: > modelo_ idge <- lm. idge(lpsa ~ ., da a= ain[,-10], lambda = 4.9) > coe icien s(modelo_ idge) lca ol lweigh age lbph 0.096814771 0.492787412 0.601103227 -0.014821787 0.138019854 s i lcp gleason pgg45 0.679632580 -0.116790333 0.017113954 0.007081258 Pa a inaliza calculemos el e o cuad ´a ico medio del modelo ob enido po el m´e odo de m´ınimos cuad ados o dina ios y el e o del modelo penalizado. > modelo_mco <- lm(lpsa~ . , da a= ain[,-10]) > ajus e_mco <- p edic (modelo_mco, es ) > sum(( es $lpsa-ajus e_mco)^2) [1] 15.63822 Es e modelo iene una suma de e o es cuad ´a icos medios de 15.63822. Vea- mos aho a el modelo ob enido po la eg esi´on idge: > coe icien es <- as. ec o (coe (modelo_ idge)) > ma iz <- as.ma ix( es [,-9:-10]) > ma iz <- cbind( ep(1,leng h=n ow( es )),ma iz) 65 penalizados. Pa a ilus a es e hecho, amos a conside a un ec o de coe- icien es β= (β1, β2)0; pe o odos los esul ados se gene alizan ´acilmen e. No emos que no hemos incluido al in e cep lo que supone que conside emos las co a iables es anda izadas y una a iable espues a cen ada. P oposici´on 4.3.1. El c i e io de m´ınimos cuad ados, LS(β), puede ees- c ibi se como: LS(β)=(β−ˆ β)0X0X(β−ˆ β) + y0(In−X(X0X)−1X0)y =(β−ˆ β)0X0X(β−ˆ β) + ˆε0ˆε.(4.1) Demos aci´on. Pa amos del p oduc o del c i e io de m´ınimos cuad ados (y−Xβ)0(y−Xβ) = y0y−2β0X0y+β0X0Xβ. Veamos aho a la expansi´on de la o ma cuad ´a ica en β: (β−ˆ β)0X0X(β−ˆ β) = β0X0Xβ −2β0X0Xˆ β+ˆ β0X0Xˆ β. Teniendo en cuen a que ˆ β= (X0X)−1X0y, el segundo sumando es 2β0X0Xˆ β= 2β0X0X(X0X)−1X0y= 2β0X0y y el e ce sumando es ˆ β0X0Xˆ β=y0X(X0X)−1X0X(X0X)−1X0y=y0X(X0X)−1X0y. Con lo que llegamos a (β−ˆ β)0X0X(β−ˆ β) = β0X0Xβ −2βX0y+y0X(X0X)−1X0y con es o end ´ıamos el p ime sumando, el segundo la ob enemos iendo en la Exp esi´on 4.1 que ˆε0ˆε=(y−Xˆ β)0(y−Xˆ β) =(y−X(X0X)−1X0y)0(y−X(X0X)−1X0y) =y0(In−X(X0X)−1X0)y.  Como hemos is o que LS(β) es equi alen e a una o ma cuad ´a ica, los alo es de βque esuel en LS(β) = c, pa a una cons an e c, es deci , sus cu as de ni el, son elipses con una o ma de e minada po la ma iz X0X. Po o o lado, en dos dimensiones, la es icci´on: |β1|+|β2|= 72 de ine cu as de ni el con o ma de diamen e de lado √2 . Po lo an o, el es imado LASSO egula izado, dada una , es el pun o de co e de las dos egiones geom´e icas de inidas po la es icci´on y po el c i e io de los m´ınimos cuad ados. Si el pun o de co e es ´a en uno de los ´e ices del diaman e, algunos coe icien es se es ima ´an como ce o. Las cu as de ni el que se de inen en la eg esi´on idge son c´ı culos de la o ma: β2 1+β2 2= con lo que no se puede da el caso que el es imado co e con la egi´on en un ´e ice, pues es un c´ı culo, con lo que no consegui emos que ning´un coe icien e se es ime como ce o. Lo emos mejo en los g ´a icos ecogidos en la Figu a 4.3: 73 -4-2 0 2 4 6 -4 -2 0 2 4 6 be a1 be a2 (a) -4-2 0 2 4 6 -4 -2 0 2 4 6 be a1 be a2 (b) -4-2 0 2 4 6 8 -4 -2 0 2 4 6 8 be a1 be a2 (c) -4-202468 -4 -2 0 2 4 6 8 be a1 be a2 (d) Figu a 4.3: In e p e aci´on geom´e ica del c i e io de m´ınimos cuad ados pe- nalizados pa a la eg esi´on idge ( igu as (a) y (c)) y pa a la eg esi´on LASSO ( igu as (b) y (d)). En las igu as supe io es, se conside a una ma iz X0X no diagonal, mien as que las igu as in e io es co esponden a una ma iz de dise˜no X0X=I2. Resumen M´ınimos cuad ados penalizados La es imaci´on egula izada en el modelo lineal pe mi e penaliza el c i e io de los m´ınimos cuad ados: PLS(β) = (y−Xβ)0(y−Xβ)+λpen(β) con el pa ´ame o de penalizaci´on, λ≥0. 74 Reg esi´on idge Pa a la eg esion idge, la penalizaci´on iene dada po la suma de los coe icien es al cuad ado: pen(β)= k X j=1 β2 j=β0Kβ con la ma iz de penalizaci´on K=diag(0,1, ..., 1). El esul ado de la es i- maci´on de los m´ınimos cuad ados penalizados es: ˆ βP LS = (X0X+λK)−1X0y. Reg esi´on LASSO Pa a la eg esi´on LASSO, la penalizaci´on iene dada po la suma de los alo es absolu os de los coe icien es: pen(β) = k X j=1 |βj|. El esul ado de la es imaci´on no iene una ´o mula anal´ı ica y debe de e - mina se num´e icamen e, po ejemplo u ilizando ´ecnicas de p og amaci´on cuad ´a ica. Elecci´on del pa ´ame o de penalizaci´on El pa ´ame o de penalizaci´on, λ, puede de e mina se po los m´e odos - old c oss alida ion o con la gene alized c oss alida ion. 75 Ap´endice A Anexo A.1. Comandos en Rde las g ´a icas A.1.1. Figu a 2.1 > pa (m ow=c(2,2), las=1) > plo (age,p ice,ylab="sales p ice in 1000$",xlab="age in mon hs", + main="Sales p ice s age") > plo (kilome e ,p ice,ylab="sales p ice in 1000$", + xlab="kilome e eading in 1000 km", main="Sales p ice s kilome e ") > plo (TIA,p ice,ylab="sales p ice in 1000$", + xlab="mon hs un il nex TIA appoin men ", main="Sales p ice s TIA") A.1.2. Figu a 2.2 > pa (m ow=c(1,2), las=2) > boxplo (p ice ~ ex as1, main="Sales p ice s no ABS/ABS", + ylab="sales in 1000$", col="gold", names=c("no ABS", "ABS")) > boxplo (p ice ~ ex as2, main="Sales p ice s no sun oo /sun oo ", + ylab="sales in 1000$", col="gold", names=c("no sun oo ", "sun oo ")) A.1.3. Figu a 4.1 > lib a y(gplo s) > cu e(x^2, om=-2, o=2, xlab=exp ession(be a), + ylab=exp ession(pen(be a)), col=" ed", ylim=c(0, 4)) > cu e(abs(x), om=-2, o=2, col="blue", add=T) > legend(" op igh ", c("Ridge", "Lasso"), + lwd=2, col=c(" ed", "blue")) 76 A.2. Comandos en Ma hema ica de las g ´a i- cas A.2.1. Figu a 4.3 Penalizaci´on Ridge y ma iz no -diagonal ci c1 := Pa ame icPlo [{ *Cos[ ], *Sin[ ]}, { , 0, 2*Pi}, { , 0, 2.16}, Plo S yle -> {G ayLe el[0.25]}, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] ci c2 := Pa ame icPlo [{ *Cos[ ], *Sin[ ]}, { , 0, 2*Pi}, { , 2.16, 3.32}, Plo S yle -> {G ayLe el[0.55]}, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] ci c3 := Pa ame icPlo [{ *Cos[ ], *Sin[ ]}, { , 0, 2*Pi}, { , 3.32, 4.84}, Plo S yle -> {G ayLe el[0.8]}, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] X = {{0.5, -1}, {0.45, 0.5}}; be a = {{be a1}, {be a2}}; LS = (be a - {{8}, {3}}) [T anspose].X [T anspose].X.(be a - {{8}, {3}}); elipse := Con ou Plo [(be a - {{8}, {3}}) [T anspose].X [T anspose].X.(be a - {{8}, {3}}), {be a1, 0, 7}, {be a2, -2, 5}, Con ou Shading -> False, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] con 1 := Show[elipse, ci c1, ci c2, ci c3, Axes -> T ue] con 1 Penalizaci´on LASSO y ma iz no - diagonal ombo1 := Con ou Plo [{Abs[be a1] + Abs[be a2] == 1.4}, {be a1, -4, 4}, {be a2, -4, 4}, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] ombo2 := Con ou Plo [{Abs[be a1] + Abs[be a2] == 2.6}, {be a1, -4, 4}, {be a2, -4, 4}, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] ombo3 := Con ou Plo [{Abs[be a1] + Abs[be a2] == 4.2}, {be a1, -4.5, 77 4.5}, {be a2, -5, 5}, Plo Range -> {{-5, 7}, {-5, 7}}, AxesLabel -> {"be a1", "be a2"}] con 2 := Show[elipse, ombo1, ombo2, ombo3, Axes -> T ue] con 2 Penalizaci´on Ridge y ma iz o ono mal X = {{1, 0}, {0, 1}}; ci culos := Con ou Plo [(be a - {{6}, {3}}) [T anspose].X [T anspose].X.(be a - {{6}, {3}}), {be a1, 0, 8}, {be a2, -5, 10}, Con ou Shading -> False, Plo Range -> {{-5, 9}, {-5, 9}}, AxesLabel -> {"be a1", "be a2"}] con 3 := Show[ci culos, ci c1, ci c2, ci c3, Axes -> T ue] con 3 Penalizaci´on LASSO y ma iz o ono mal con 4 := Show[ci culos, ombo1, ombo2, ombo3, Axes -> T ue] con 4 A.3. Paque es de R C. Agos inelli and U. Lund (2013). R package ’ci cula ’: Ci cula S a is- ics ( e sion 0.4-7). URL h ps:// - o ge. -p ojec .o g/p ojec s/ ci cula /. Claudio Agos inelli and SLATEC Common Ma hema ical Lib a y (2015). wle: Weigh ed Likelihood Es ima ion. R package e sion 0.9-91. h ps: //CRAN.R-p ojec .o g/package=wle. John H. Maindonald and W. John B aun (2015). DAAG: Da a Analysis and G aphics Da a and Func ions. R package e sion 1.22. h ps: //CRAN.R-p ojec .o g/package=DAAG. Sa ka , Deepayan (2008) La ice: Mul i a ia e Da a Visualiza ion wi h R. Sp inge , New Yo k. ISBN 978-0-387-75968-5. Venables, W. N. & Ripley, B. D. (2002) Mode n Applied S a is ics wi h S. Fou h Edi ion. Sp inge , New Yo k. ISBN 0-387-95457-0. 78 John Fox and San o d Weisbe g (2011). An R Companion o Applied Reg ession, Second Edi ion. Thousand Oaks CA: Sage. URL: h p: //socse .socsci.mcmas e .ca/j ox/Books/Companion. Jelle Goeman, Rosa Meije and Nimisha Cha u edi (2014). penali- zed: L1 (lasso and used lasso) and L2 ( idge) penalized es ima ion in GLMs and in he Cox model. R package e sion 0.9-45. h ps: //CRAN.R-p ojec .o g/package=penalized. 79 80 Bibliog a ´ıa [1] Fah mei , L.; Kneib, Th.; Lang, S.; Ma x, B. Reg ession: Models, Me - hods and Applica ions. New Yo k: Sp inge . 2013. [2] Pe˜na, D. Reg esi´on y dise˜no de expe imen os. Mad id: Alianza Edi o ial, S.A. 2002. [3] Ha ell, F. E. J . Reg ession Modeling S a egies. New Yo k: Sp inge . 2001. [4] Apun es de Modelos lineales y dise˜no de expe imen os. Te ce cu so de G ado en Ma em´a icas, 2013-14. Uni e sidad de Se illa. (P o eso es D. Juan M. Mu˜noz Picha do y D. Joaqu´ın An onio Ga c´ıa de las He as). [5] Apun es de In e encia es ad´ıs ica. Te ce cu so de G ado en Ma em´a i- cas, 2014-15. Uni e sidad de Se illa. (P o eso es D. Emilio Ca izosa P iego y D. Joaqu´ın An onio Ga c´ıa de las He as). [6] Ca men Ga c´ıa Ola e i. (1996). Es abilidad de algunos c i e ios de se- lecci´on de modelos. Q¨ues ii´o, Vol 20, 2 pp. 147-166. [7] And ew W. Moo e. C oss- alida ion o de ec ing and p e en ing o e - i ing. Apun es. Ca negie Mellon Uni e si y. [8] Pila Cachei o Ma ´ınez. (2011). M´e odos de selecci´on de a iables en es- udios de asociaci´on gen´e ica. Aplicaci´on a un es udio de genes candida- os en En e medad de Pa kinson. Fin de m´as e . A Co u˜na: Uni e sidad de San iago de Compos ela. [9] D˜na. Ma ´ıa Jes´us B´a cena Ru´ız. Uni e sidad del Pa´ıs Vasco. Econom´ıa Aplicada III (Es ad´ıs ica y Econome ´ıa). h p://campus i ual. ehu.es/open_cou se_wa e/cas ellano/expe imen ales/ es adis ica/ma e iales-de-es udio/index.h ml. [10] D. Juan M. Vila Fe n´andez. Uni e sidad de San iago de Compos ela. h p://dm.udc.es/asigna u as/es adis ica2/indice_ es.h ml. 81