Regresión Mínimo Cuadrática Bidimensional

Regresión Mínimo Cuadrática Bidimensional El problema de regresión consiste en aproximar una variable aleatoria (Y) mediante una función de otra variable (X) definida sobre el mismo espacio de probabilidad: Y≈ (X) •Y: Variable dependiente, explicada o endógena •X: Variable independiente, explicativa o exógena •: Función de regresión FUNCIÓN DE REGRESIÓN: El problema consiste en elegir la función de regresión de forma que las predicciones realizadas a partir de ella sean óptimas. Criterio de optimabilidad: Mínimos Cuadrados: Consiste en elegir de forma que las desviaciones cuadráticas entre los valores reales y los aproximados sea mínima, esto es: (X)=Min E[(Y- (X))2]= Min E.C.M. Error Cuadrático Medio: E.C.M. = E [(Y- (X))2] Solución del Problema: E [(Y- (X))2]= E[E[(Y- (X))2]/X] Min E[(Y- (X))2]= Min E[E[(Y- (X))2]/X] Por propiedad vista para variables aleatorias E[X-c]2es mínima para c=E[X] (X) = E[Y/X] E.C.M. = E [(Y- (X))2]= E [(YE[Y/X])2]= E[E[(YE[Y/X])2]/X] = E[Var[Y/X]] E.C.M. = E[Var[Y/X]] Desarrollando: E[Var[Y/X]]= E[E[Y2/X]-E[Y/X]2] = E[Y2] –E[E[Y/X]2] Teniendo en cuenta la descomposición de la varianza: Var [Y] = E[Var[Y/X]] + Var[E[Y/X]] = E.C.M. [(X) ] + Var[(X) ] Var[Y] > E[Var[Y/X]] Curvas de regresión mínimo cuadráticas Curva de regresión de Y sobre X Y=E[Y/X=x0] E.C.M. asociado a la curva=E[Var[Y/X]] E.C.M. para un valor concreto x0=Var[Y/X=x0] Curva de regresión de X sobre Y X=E[X/Y=y0] E.C.M. asociado a la curva=E[Var[X/Y]] E.C.M. para un valor concreto y0=Var[X/Y=y0] Se tiene, por tanto: Sin observar X A partir de X A partir de un valor concreto x0 Predicción Mínimo Cuadrática de Y E[Y] E[Y/X] E[Y/X=x0] Error Cuadrático Medio Var[Y] E[Var[Y/X]] Var[Y/X=x0] Casos particulares: 1. X e Y independientes Las curvas de regresión son paralelas a los ejes, la predicción es constante. X = E[X], E.C.M. = Var[X] Y=E[Y], E.C.M. = Var[Y] 2. Y depende funcionalmente con X La curva de regresión de Y sobre X coincide con la curva de (o viceversa) dependencia. Y = f(X), E.C.M. =0 (o viceversa) 3. Hay dependencia funcional recíproca Ambas curvas coinciden y coinciden con la dependencia. Y=f(X), E.C.M. =0. X=f-1(Y), E.C.M.=0 Razón de correlación Nos da la proporción de la varianza de la variable dependiente explicada por la regresión, o lo que es lo mismo, la concentración en torno a la curva de regresión. También se conoce como bondad del ajuste. 𝜼𝒀/𝑿 𝟐= 𝑽𝒂𝒓[𝑬[𝒀|𝑿] 𝑽𝒂𝒓[𝒀] = 1 - 𝑬[𝑽𝒂𝒓[𝒀|𝑿] 𝑽𝒂𝒓[𝒀] 𝜼𝑿/𝒀 𝟐= 𝑽𝒂𝒓[𝑬[𝑿|𝒀] 𝑽𝒂𝒓[𝑿] = 1 - 𝑬[𝑽𝒂𝒓[𝑿|𝒀] 𝑽𝒂𝒓[𝑿] Propiedades: 1. 0 𝜂𝑌/𝑋 21 2. 𝜂𝑌/𝑋 2= 0 Y = E[Y] 3. 𝜂𝑌/𝑋 2= 1 Y depende funcionalmente de X 𝜂𝑋/𝑌 2= 1 X depende funcionalmente de Y 𝜂𝑌/𝑋 2= 𝜂𝑋/𝑌 2= 1 Dependencia funcional recíproca Regresión Lineal Mínimo Cuadrática Recta de regresión de Y sobre X La función de regresión buscada será la recta: Y = aX + b. Los coeficientes a y b que minimizan el error cuadrático medio son: 𝑎 = 𝐶𝑜𝑣[𝑋,𝑌] 𝑉𝑎𝑟[𝑋] 𝑏 = 𝐸 𝑌 − 𝑎𝐸[𝑋] Recta de regresión de X sobre Y La función de regresión buscada será la recta: X = a’X + b’. Los coeficientes a’ y b’ que minimizan el error cuadrático medio son: 𝑎′ = 𝐶𝑜𝑣 𝑋,𝑌 𝑉𝑎𝑟 𝑌𝑏′ = 𝐸 𝑋 − 𝑎′𝐸[𝑌] b = 𝛾𝑌/𝑋: 𝐶𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒 𝑑𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛 𝑑𝑒 𝑌 𝑠𝑜𝑏𝑟𝑒 𝑋 b’ = 𝛾𝑋/𝑌: 𝐶𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒 𝑑𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛 𝑑𝑒 𝑋 𝑠𝑜𝑏𝑟𝑒 𝑌 Propiedades: 1. Si la curva de regresión es una recta Coincide con la recta de regresión 2. Las rectas de regresión se cortan en el punto (E[X],E[Y]) 3. Los coeficientes de regresión coinciden en signo y coinciden en signo con la covarianza 4. Si Cov[X,Y] = 0 Las rectas vienen dadas por Y = E[Y], X = E[X] 5. Si X e Y están linealmente relacionadas (Si lo está Y con X, también lo estará X con Y) Las rectas de regresión coinciden con la recta de dependencia. El Error Cuadrático Medio Asociado a la Predicción de Y por X viene dado por: 𝐸. 𝐶. 𝑀. = 𝑉𝑎𝑟 𝑌 − 𝐶𝑜𝑣[𝑋,𝑌]2 𝑉𝑎𝑟[𝑋] Coeficiente de determinación lineal Proporción de varianza de cada una de las variables debida a la regresión lineal. 𝜌𝑋,𝑌 2= 𝐶𝑜𝑣[𝑋,𝑌]2 𝑉𝑎𝑟 𝑋𝑉𝑎𝑟[𝑌] Propiedades: 1. 0 ≤ 𝜌𝑋,𝑌 2≤ 1 2. 𝜌𝑋,𝑌 2= 𝛾𝑌/𝑋 ⋅ 𝛾𝑋/𝑌 3. 𝜌𝑋,𝑌 2= 0 Las rectas de regresión son paralelas a los ejes: Y = E[Y], X = E[X] 4. 𝜌𝑋,𝑌 2= 1 Existe dependencia funcional lineal. Las dos rectas coinciden. 5. 0 ≤ 𝜌𝑌,𝑋 2≤ 𝜂𝑌/𝑋 2≤ 1 0 ≤ 𝜌𝑋,𝑌 2≤ 𝜂𝑋/𝑌 2≤ 1 Se da la igualdad si curvas y rectas coinciden.