Método de detecção de outliers baseado em clustering: escolha do número de nuvens pelo critério AIC.

Livro de Resumos do XVII Congresso Anual da SPE 1 Método de detecção de outliers baseado em clustering: escolha do número de nuvens pelo critério AIC C. M. Santos-Pereira CEMAT/IST e Departamento de Engenharia Civil da Faculdade de Engenharia da Universidade do Porto -[email protected] A. M. Pires Departamento de Matemática e CEMAT, IST, UTL -[email protected] Palavras–chave: AIC, outliers, estimadores robustos, clustering Em Santos-Pereira e Pires [8] apresentamos um método genérico de classificação com rejeição por indecisão e observações atípicas (outliers). Em SantosPereira e Pires [7] propusemos um método de detecção de outliers baseado em análise de clusters e utilização de distâncias tipo Mahalanobis com estimadores clássicos e robustos. Por forma a avaliar o desempenho deste último método, conduziu-se um estudo de simulação, com várias situações distribucionais, que envolveu a utilização de três métodos de clustering: K-means, pam (Kaufman e Rousseeuw [2] ) e mclust (Banfield e Raftery [1]), e três pares de estimadores de localização-dispersão: clássicos, RCMD ( Rousseeuw [5]) e OGK (Maronna e Zamar [3]). Uma das dificuldades encontradas na implementação deste método foi a escolha do número de clusters, k, do método de clustering e do estimador de localização-dispersão. Nesse momento para a escolha da melhor combinação eram experimentados vários valores para k(no mínimo 1 e no máximo uma valor que dependeria do número de observações e do número de variáveis) e escolhiase aquele que minimizava (ver Sakamoto, Ishiguro e Kitagawa [6] e Ronchetti [4]) AIC =−2 n X i=1 log ˆ f(xi) + 2kp+p(p+ 1) 2,(1) com ˆ f(x) = k X j=1 nj nT fN(x;ˆ µj,ˆ Σj)enT= k X j=1 nj,(2) onde fN(x;ˆ µj,ˆ Σj)representa a f.d.p. da Np(ˆ µ,ˆ Σ).(3) Nesta comunicação discute-se a robustez do critério AIC aqui descrito, para a escolha do número de clusters, com base num conjunto de situações distribucionais. 2 Santos-Pereira e Pires/ Número de nuvens pelo critério AIC Referências [1] Banfield, J. e Raftery, A. (1992). Model-Based Gaussian and non-Gaussian. Biometrics, 49, 803-822. [2] Kaufman, L. e Rousseeauw (1990). Finding Groups in data: An introduction to Cluster Analysis. New York: Wiley. [3] Maronna, R. e Zamar, R. (2002). Robust estimates of location and dispersion for high dimensional data sets. Em Technometrics, 44, 307-317. [4] Roncheti, E. (1997). Robusteness aspects of model choice. Statistica Sinica, 7, 327-338. [5] Rousseeuw, P. (1985). Multivariate estimation with high breakdown point. Em Mathematical Statistics and Applications (W. Grossman, G.Plufg, I. Vincze e W. Werz, eds.), Vol.B, 283-297. Dordrecht, Reidel. [6] Sakamoto, Y., Ishiguro, M. e Kitagawa, G. (1988). Akaike Information Criterion Statistics. New York: Kluwer Academic Publishers. [7] Santos-Pereira, C. e Pires, A. (2002). Detection of outliers in multivariate data: a method based on clustering and robust estimators. Em Computational Statistics (Härdle, W. e Rönz, B., eds.), 291-296, Heidelberg,Physica-Verlag. [8] Santos-Pereira, C. e Pires, A. (2004). Método de classificação com rejeição por indecisão e observações atípicas. Em Actas do XI Congresso da SPE (Rodrigues, P., Rebelo, E. e Rosado, F., eds.), 595-604, Funchal.