Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente no segmento de negócios
Full text
Hélia Sofia da Rocha Monteiro da Costa Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Departamento de Matemática Aplicada Faculdade de Ciências da Hélia Sofia da Rocha Monteiro da Costa Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Segmento de Negócios Departamento de Matemática Aplicada Faculdade de Ciências da Universidade do Porto Setembro de 2012 Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente
Hélia Sofia da Rocha Monteiro da Costa Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Dissertação submetida à a obtenção do grau de Mestre em Engenharia Matemática Dissertaç Departamento de Matemática Aplicada Faculdade de Ciências da Universidade do Hélia Sofia da Rocha Monteiro da Costa Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Segmento de Negócios à Faculdade de Ciências da Universidade do Porto para a obtenção do grau de Mestre em Engenharia Matemática Dissertaç ão realizada sob a supervisão do Professor Doutor Luís Torgo Departamento de Matemática Aplicada Faculdade de Ciências da Universidade do Porto Setembro de 2012 Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Faculdade de Ciências da Universidade do Porto para a obtenção do grau de Mestre em Engenharia Matemática
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente vii Dedicatória Ao meu marido, Henrique, e aos meus pais, Alberto e Otília.
viii FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente ix Agradecimentos Para a realização deste trabalho contei com a contribuição de várias pessoas e entidades, que permitiram enriquecer este trabalho e a quem devo meu agradecimento. Ao Dr. Manuel Gonçalves agradeço todo o incentivo, orientação e disponibilidade em esclarecer as minhas dúvidas, e em seu nome agradeço ao Millennium bcp a oportunidade e a confiança. Agradeço também ao Dr. André Martins e ao Dr. Carlos Alvim pela orientação, e em seu nome agradecer às respetivas equipas que aumentaram a sua carga de trabalho para que fosse possível concluir esta tese. Pela orientação e apoio, agradeço ao Professor Doutor Luís Torgo. Agradeço também aos colegas que dirigem comigo a Associação Casa do Povo de Santa Marinha do Zêzere, que aceitaram temporariamente uma nova distribuição de tarefas. Por fim, agradeço aos meus pais e ao meu marido pelo estímulo e por terem compreendido as minhas ausências. Hélia Sofia da Rocha Monteiro da Costa Setembro 2012
xvi FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 4. Experiências comparativas ..................................................................................... 35 4.1. Abordagem V0 ................................................................................................. 37 4.2. Abordagem V1 ................................................................................................. 44 4.3. Abordagem V2 ................................................................................................. 50 4.4. Abordagem V3 ................................................................................................. 55 4.5. Abordagem V4 ................................................................................................. 59 4.6. Comparação das abordagens .......................................................................... 64 5. Conclusão ............................................................................................................... 67 6. Bibliografia .............................................................................................................. 69 7. Anexos .................................................................................................................... 71 Anexo A – Listagem de características utilizadas .................................................... 71 Anexo B – Quadros com os resultados obtidos nas experiências comparativas ..... 74
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente xvii Índice de quadros Quadro 1 – Transações e comissões ............................................................................ 8 Quadro 2 – Matriz de confusão C ............................................................................... 16 Quadro 3 – Matriz de benefícios B .............................................................................. 17 Quadro 4 – Valores críticos do Testes de Wilcoxon .................................................... 33 Quadro 5 – Abordagens do problema ......................................................................... 35 Quadro 6 – Definição das 9 variantes para as abordagens V0, V2, V3 e V4 das Random Forests. ........................................................................................................ 36 Quadro 7 – Definição das variantes para a abordagem V1 das Random Forests. ...... 36 Quadro 8 – Definição das variantes para Árvores de Decisão. ................................... 37 Quadro 9 – Valores médios para cada métrica por cada variante da abordagem V0, usando Random Forests. ............................................................................................ 38 Quadro 10 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V0. ................................................................................................ 39 Quadro 11 – Significância estatística para a métrica Lucro, usando Random Forests, para a abordagem V0. ................................................................................................ 41 Quadro 12 – Significância estatística para a métrica Erro, para a abordagem V0. ...... 42 Quadro 13 – Significância estatística para a métrica Lucro, para a abordagem V0. .... 42 Quadro 14 – Valores médios para cada métrica por cada variante da abordagem V1, usando Random Forests. ............................................................................................ 44 Quadro 15 – Significância estatística para a métrica Lucro, usando Random Forests para a abordagem V1. ................................................................................................ 46 Quadro 16 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V1 ................................................................................................. 48 Quadro 17 – Valores médios para cada métrica por cada variante da abordagem V2, usando Random Forests. ............................................................................................ 51 Quadro 18 – Significância estatística para a métrica Lucro, usando Random Forests, para a abordagem V2. ................................................................................................ 52 Quadro 19 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V2. ................................................................................................ 52
xviii FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Quadro 20 – Significância estatística para a métrica Erro, para a abordagem V2. ...... 53 Quadro 21 – Significância estatística para a métrica Lucro, para a abordagem V2. .... 54 Quadro 22 – Valores médios para cada métrica por cada variante da abordagem V3, usando Random Forests. ............................................................................................ 55 Quadro 23 – Significância estatística para a métrica Lucro, usando Random Forests, para a abordagem V3. ................................................................................................ 56 Quadro 24 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V3. ................................................................................................ 57 Quadro 25 – Significância estatística para a métrica Erro, para a abordagem V3. ...... 58 Quadro 26 – Significância estatística para a métrica Lucro, para a abordagem V3. .... 58 Quadro 27 – Valores médios para cada métrica por cada variante da abordagem V4, usando Random Forests. ............................................................................................ 60 Quadro 28 – Significância estatística para a métrica Lucro, usando Random Forests, para a abordagem V4. ................................................................................................ 61 Quadro 29 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V4. ................................................................................................ 61 Quadro 30 – Significância estatística para a métrica Erro, para a abordagem V4. ...... 63 Quadro 31 – Significância estatística para a métrica Lucro, para a abordagem V4. .... 63 Quadro 32 – Comparação de abordagens .................................................................. 65 Quadro 33 – Lista de características ........................................................................... 73 Quadro 34 – Resultados da abordagem V0 usando Random Forests ........................ 74 Quadro 35 – Resultados da abordagem V0 usando Árvores de Decisão .................... 75 Quadro 36 – Resultados da abordagem V1 usando Random Forests ........................ 77 Quadro 37 – Resultados da abordagem V2 usando Random Forests ........................ 78 Quadro 38 – Resultados da abordagem V2 usando Árvores de Decisão .................... 79 Quadro 39 – Resultados da abordagem V3 usando Random Forests ........................ 79 Quadro 40 – Resultados da abordagem V3 usando Árvores de Decisão .................... 80 Quadro 41 – Resultados da abordagem V4 usando Random Forests ........................ 81 Quadro 42 – Resultados da abordagem V4 usando Árvores de Decisão .................... 81
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente xix Índice de figuras Figura 1 – Percurso de uma transação ......................................................................... 5 Figura 2 – Gráfico distribuição por tipo de transação .................................................... 7 Figura 3 – Gráfico de índices de montantes médios ..................................................... 7 Figura 4 – Avaliação da decisão tomada ...................................................................... 9 Figura 5 - Seleção de informação ............................................................................... 11 Figura 6 – Encadeamento de modelos ....................................................................... 20 Figura 7 – Árvore de decisão ...................................................................................... 24 Figura 8 – Partição do conjunto inicial através de uma árvore de decisão .................. 25 Figura 9 – Árvore de decisão binária .......................................................................... 25 Figura 10 – Comparação entre medidas de impureza................................................. 27 Figura 11 – Representação gráfica das estatísticas para a métrica Erro, usando Random Forests, para a abordagem V0. .................................................................... 38 Figura 12 – Representação gráfica das estatísticas para a métrica Lucro, usando Random Forests, para a abordagem V0. .................................................................... 40 Figura 13 – Boxplots para a métrica Lucro, usando Árvores de Decisão, para a abordagem V0. ........................................................................................................... 41 Figura 14 – Boxplots para a métrica Erro, usando Árvores de Decisão, para a abordagem V0. ........................................................................................................... 41 Figura 15 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V0. ........................................................ 43 Figura 16 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V1. ........................................................................................................... 45 Figura 17 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V1. .............................................................................................................................. 48 Figura 18 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V1. ........................................................ 50 Figura 19 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V2. ........................................................................................................... 51
xx FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Figura 20 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V2. .............................................................................................................................. 51 Figura 21 – Boxplots para a métrica Lucro, usando Árvores de Decisão, para a abordagem V2. ........................................................................................................... 53 Figura 22 – Boxplots para a métrica Erro, usando Árvores de Decisão para a abordagem V2. ........................................................................................................... 53 Figura 23 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V2. ........................................................ 54 Figura 24 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V3. ........................................................................................................... 56 Figura 25 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V3. .............................................................................................................................. 56 Figura 26 – Boxplots para a métrica Lucro, usando Árvores de Decisão, para a abordagem V3. ........................................................................................................... 57 Figura 27 – Boxplots para a métrica Erro, usando Árvores de Decisão para a abordagem V3. ........................................................................................................... 57 Figura 28 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V3. ........................................................ 59 Figura 29 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V4. ........................................................................................................... 61 Figura 30 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V4. .............................................................................................................................. 61 Figura 31 – Boxplots para a métrica Lucro, usando Árvores de Decisão, para a abordagem V4. ........................................................................................................... 62 Figura 32 – Boxplots para a métrica Erro, usando Árvores de Decisão para a abordagem V4. ........................................................................................................... 62 Figura 33 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V4. ........................................................ 64
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente xxi Lista das abreviaturas TXN – Transação CART – Classification and Regression Trees ENI – Empresários em nome individual CCC – Contas correntes caucionadas APR – Aprovação REC – Recusa
xxii FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 1 1. Introdução 1.1. Decisões “La vie est la somme de tous vos choix.” Albert Camus (1913 - 1960) A evolução dos tempos permitiu aperfeiçoar as técnicas e os instrumentos utilizados pelo Homem numa das suas capacidades mais importantes, a de decidir. O ato de decidir envolve sempre o conhecimento e a interpretação da informação necessária à decisão. Os exemplos deste envolvimento podem ser encontrados na pré-história, altura em que havia decisões tomadas através da interpretação dos sinais de fumo e dos sonhos. No século V a.C., em Atenas, o método da votação foi usado pela primeira vez, agrupando numa só a decisão dos vários cidadãos participantes. Em 1602, William Shakespeare, na obra “Hamlet”, descreve as dificuldades em decidir sobre existir ou não existir, “to be, or not to be?”. As decisões que tomamos definem o nosso presente e o nosso futuro. Durante um simples dia tomamos milhares de decisões. Decidimos o que vestir, o que comer, para onde ir, como ir, enfim, o que fazer com cada segundo desse mesmo dia. Para tomar estas decisões, são avaliados vários fatores. A forma como são avaliados esses fatores poderá originar decisões diferentes, evidenciando assim a importância que têm os dados utilizados na decisão e a interpretação que é efetuada dos mesmos. Por exemplo, suponha-se que se decidiu sair de casa sem levar guarda-chuva porque o céu de manhã estava praticamente limpo. Entretanto à tarde, antes de regressar a casa, choveu e por isso a decisão de não levar guarda-chuva foi errada. Se tivesse sido prestada mais atenção às poucas nuvens presentes no horizonte e utilizada informação adicional, como a previsão meteorológica de chuva, a decisão seria provavelmente diferente. As consequências associadas a cada decisão devem também ser ponderadas no ato de decidir. No exemplo anterior, não ter chovido e ter levado guarda-chuva foi um pequeno transtorno. Porém, não ter levado guarda-chuva e ter chovido pode implicar problemas de saúde e/ou danos materiais. Decidir corretamente, com rapidez e consistentemente tem motivado o desenvolvimento de métodos que tornem o processo de decisão objetivo e eficiente,
2 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente podendo mesmo automatizá-lo. Estes métodos procuram identificar padrões e com base nestes induzir qual a decisão correta. 1.2. Decisões de crédito A decisão de crédito é uma área muito abrangente, à qual estão associados fatores humanos, sociais, económicos e financeiros. Um dos temas incluídos nesta área é decidir pagar transações (p.e. cobranças e cheques) em contas com saldo insuficiente para a concretização das mesmas. Ao longo deste trabalho designa-se este processo de decisão por Pay No Pay. Devido à simplicidade de implementação, a decisão manual é a mais aplicada, sendo o gestor da conta ou cliente onde está a ser registada a transação o responsável por essa decisão. Contudo, trata-se de um trabalho moroso, dispendioso em recursos e excessivamente dependente de fatores humanos. Um processo totalmente automatizado, com decisões de aprovação ou recusa para todas as transações, permitiria ultrapassar estas desvantagens. Saliente-se contudo que tal automatização deve acautelar o risco de crédito, nomeadamente a criação de descobertos, o impacto na relação do cliente com o banco e os possíveis proveitos por juros e comissões. Assim, a tarefa de otimizar a automatização é um grande desafio, pois implica minimizar os erros e ao mesmo tempo maximizar os proveitos. 1.3. Segmento de Negócios Com o objetivo de prestar um melhor serviço, as instituições bancárias segmentam os clientes, em função das suas características essenciais. O segmento alvo deste trabalho é o segmento de Negócios, que é formado por pequenas e médias empresas e empresários em nome individual (ENI), em função da respetiva dimensão. Algumas das características que distinguem este segmento dos restantes são o elevado número de transações, quer a débito, quer a crédito, o abrangente intervalo de montantes que cada transação pode assumir e o impacto negativo na relação comercial que a recusa de uma transação pode ter. 1.4. Objetivo O desafio deste projeto é encontrar um processo automático de decisão Pay No Pay que se ajuste às características do segmento de Negócios e que ao mesmo tempo
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 3 procure sensibilizar os gestores de conta ou cliente para a cultura do risco de crédito, maximizando o lucro. 1.5. Estrutura da tese Neste trabalho são abordados os vários passos para a construção de um processo automático de decisão Pay No Pay. No Capítulo 2 é descrito o domínio da aplicação. Aborda-se nesse capítulo o processo Pay No Pay, o segmento de Negócios, a informação disponível e apresentam-se os principais trabalhos existentes que estejam mais fortemente relacionados com a abordagem seguida nesta tese. No Capítulo 3 é apresentada uma formalização do problema de decisão Pay No Pay como uma tarefa de previsão, são descritos os métodos utilizados, assim como a metodologia experimental usada para os avaliar e comparar. No Capítulo 4 são descritas as várias abordagens ao problema e os respetivos resultados. Por fim, no Capítulo 5 são apresentadas as conclusões.
10 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Como se pode constatar pelo esquema da Figura 4, nem sempre é possível analisar a regularização da conta quando a transação foi recusada. No caso de a transação ter sido recusada, três situações podem ser verificadas. O primeiro caso, representado por (1) no esquema, a conta já estava a descoberto, a transação foi recusada, pelo que o descoberto não foi agravado, e o cliente regularizou a conta. Devido às frequentes alterações de saldo que ocorrem nas contas deste segmento, a análise e armazenamento dessas variações atinge uma complexidade e custos elevados. Assim, para a análise da regularização das contas, apenas são guardadas alterações de sinal no saldo e não o valor do saldo associado a cada conta. Esta restrição impossibilita qualquer conclusão quanto ao cliente regularizar a conta. Note-se que se a transação tivesse sido aprovada, o descoberto seria mais elevado e o facto de o cliente ter regularizado um montante inferior não implica que tivesse capacidade para regularizar um montante superior. No segundo e terceiro caso, representados por (2) e (3) no esquema, a conta não estava a descoberto e, como a transação foi recusada, a conta não ficou com saldo negativo, pelo que não é possível uma análise à regularização, já que o saldo obtido nos 22 dias úteis seguintes não está relacionado com transação em causa. Neste contexto, foi decidida a exclusão destes casos do conjunto de dados usados neste trabalho. Saliente-se que a exclusão destes casos poderia ser minimizada com o armazenamento de informação adicional, que teria como consequência o incremento de custos associados ao processo. Porém, atendendo a que o comportamento do cliente é por vezes a reação a uma ação, alguma incerteza estaria sempre associada ao processo. Por exemplo, supondo-se que foi recusada a um cliente uma transação de 20 euros, numa conta que tinha saldo zero. Durante os 22 dias seguintes, o cliente conseguiu ter no máximo um saldo de 10 euros. Numa primeira abordagem, poderíamos concluir que a decisão de recusa foi correta. Porém, se a transação fosse aprovada e fosse provocado um descoberto de 20 euros, o cliente poderia ter tomado a iniciativa de efetuar mais créditos na conta ou evitar determinados débitos nos 22 dias úteis seguintes. Nesse caso a decisão de aprovação seria a correta. Assumindo as exclusões dos casos em que a decisão não pode ser considerada correta ou errada, o número de registos a considerar reduz-se para 68.201, conforme esquema apresentado na Figura 5.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 11 Conforme se constata pelo esquema da Figura 5, 4.908 transações são recusas, ou seja 7,2% das transações, e 63.293 são aprovações, ou seja, 92,8% das transações classificadas. Torna-se agora fundamental verificar se esta proporção de casos reproduz corretamente a estrutura da população em análise. Existem no sistema bancário transações que não requerem validação de saldo e que, por isso, são sempre debitadas nas contas. Entende-se por transações que não validam saldo aquelas que são debitadas nas contas devido a cláusulas contratuais, por obrigação legal, ou por imposição da entidade reguladora. Estas transações não são tratadas pelo processo Pay No Pay e por isso não constam dos registos utilizados neste trabalho. Porém, o facto de serem sempre debitadas nas contas permite calcular a regularização e assim ter uma aproximação para a percentagem de transações recusadas que a população deve ter. A partir de dados históricos do ano de 2011, verificou-se que a percentagem de transações que deveriam ter sido recusadas varia entre os 91% e os 93%. Com base neste resultado, não é necessária a exclusão de casos adicionais do conjunto de dados. Como resultado do cálculo da regularização, foram adicionadas mais 4 características às 109 inicialmente existentes. Estas novas características foram recolhidas nos 3 meses seguintes à decisão e registam essencialmente a classificação atribuída a cada transação, o número de dias que a conta demorou a regularizar, para períodos de 22, 44 e 66 dias úteis, que correspondem a um, dois e três meses respetivamente. Atendendo aos períodos que foram sendo definidos ao longo desta seção, identificando o mês das decisões como sendo o mês M, foram definidas três janelas temporais, a janela da observação, a janela da decisão e a janela de performance, conforme Figura 6. Transações 83.165 Aprovadas 63.293 Classificadas 68.201 Recusadas 4.908 E xcluídas 14.964 transações por não poderem ser classificadas como aprovadas ou recusa das . Figura 5 - Seleção de informação
12 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Durante o mês M, foram recolhidas informações sobre as transações a decidir e as contas e clientes associados às mesmas. Este período de um mês constitui a janela de decisão. Note-se que durante este período o banco manteve a sua rotina diária, pelo que as transações tiveram uma decisão manual que poderá posteriormente ser avaliada. Para os clientes e contas identificados neste período, recorreu-se à informação histórica armazenada nos doze meses anteriores, para melhor se caracterizar o cliente. Este período de doze meses constitui a janela de observação. A janela de performance é constituída pelos três meses seguintes ao dia da tomada da decisão. Neste período é analisado o comportamento do cliente, nomeadamente, se o cliente regulariza a conta, permitindo assim avaliar se as decisões tomadas foram as corretas. 2.5. Trabalhos relacionados Vários são os estudos que tratam a decisão de autorizar o débito de transações. O que mais se aproxima do problema deste trabalho, foi publicado em 2005 e aborda também a criação de um processo automático de decisão Pay No Pay (Sousa & Costa, 2008). Esse estudo testa vários métodos, como a regressão logística, árvores de decisão e redes neuronais, para a criação de um modelo ótimo de decisão para o segmento Mass-Market de um banco de retalho. A construção do modelo de previsão segue duas abordagens distintas ao problema: uma usando modelos de previsão com duas classes e a outra usando modelos de previsão com três classes. As grandes diferenças entre os dois estudos estão nos segmentos alvo do processo, nos métodos usados e no tipo de abordagens efetuadas. Figura 6 – Janelas temporais utilizadas Janela da decisão Janela de observação Janela de performance M - 11 M+3 M+1 M
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 13 Existem estudos mais abrangentes, que procuram classificar o cliente com uma pontuação, que permita tomar decisões em várias áreas, como identificar quais os clientes a quem se deve propor a adesão a novos produtos, quais os clientes com tendência a abandonar o banco, quais os clientes com maior probabilidade de incumprir, ou até mesmo de cometer fraude. Trata-se de um trabalho mais exaustivo do que aquele aqui proposto e que exige a recolha de um maior conjunto de dados e a existência de um histórico mais alargado (Pliha, 2004). Em 2005, com o objetivo de identificar se deve ser aprovado ou não um determinado crédito a um cliente, foi efetuado um estudo que procura tomar essa decisão usando support vector machines (Schebesh & Stecking, 2005). Neste estudo conclui-se que o método usado é facilmente aplicado a populações com diferentes proporções associadas a cada classe e com diferentes custos para cada tipo de erro cometido. Em 2011, um estudo (Ghodselahi, 2011) aborda a utilização de um conjunto (ensemble) de support vector machines para calcular a pontuação do cliente, que tal como descrito num dos estudos referidos anteriormente, permite posteriormente tomar a decisão de aprovar ou não uma determinada operação de crédito. Os resultados obtidos confirmam a precisão deste conjunto de modelos sobre a regressão linear, árvores de decisão e support vector machines individuais.
14 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 15 3. Enquadramento teórico 3.1. Formulação do problema 3.1.1. Objetivo Decidir transações em contas com fundos insuficientes é encontrar o equilíbrio entre o risco de cada cliente não pagar e a receita adicional por prestar esse serviço. A receita, consubstanciada em juros pelo crédito concedido e comissões pelo serviço, deve cobrir não só o custo dos fundos mas também o risco de crédito, os custos operativos e ainda remunerar os acionistas. Pretende-se pois decidir automaticamente o maior número possível de transações em contas com fundos insuficientes, assegurando que o lucro é maximizado. Mais automatização significa decisões mais corretas e consistentes, mais rápidas e portanto mais úteis, e com maior economia. A minimização dos erros cometidos assegura não só aprovar mais transações a clientes com bom risco de crédito mas também menos descobertos a clientes de pior risco de crédito, enquanto a aplicação de comissões aumenta os lucros do banco. A decisão deverá ser efetuada transação a transação, tendo em conta a informação disponível. Atendendo que grande parte das transações tem um ciclo de 30 dias, nomeadamente os recebimentos e os pagamentos a fornecedores e de salários, pretende-se com este trabalho prever quais as transações a aprovar, ou seja, quais as transações cujo descoberto na conta será regularizado nos 30 dias subsequentes à decisão. Na prática, pretende-se dividir o conjunto das transações em duas classes, a classe Aprovação (APR) e a classe Recusa (REC). Demonstrar-se-á que os elementos fundamentais de decisão são por um lado o risco do cliente, isto é a probabilidade de regularizar a conta, e por outro, o modelo de pricing por transação e tipo de conta. Em seguida haverá que minimizar as alterações manuais da decisão dos modelos. Para atingir este objetivo vários modelos serão testados, procurando obter aquele que minimiza o número de erros e assim o possível descontentamento do cliente e ao mesmo tempo maximiza o lucro do banco.
16 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 3.1.2. Métricas A aplicação das diversas comissões e a criação ou o agravamento de descobertos dependem da decisão tomada. Decidir aprovar quando se deveria recusar ou, pelo contrário, recusar quando se deveria aprovar, são dois erros com consequências distintas. Aprovar erradamente origina descobertos que não serão regularizados, absorvendo parte dos proveitos do banco. Recusar erradamente, implica a perda de proveitos provenientes das comissões e pode prejudicar a relação do cliente com o banco. Com o objetivo de avaliar os vários modelos construídos serão usadas várias métricas, que procuram medir os vários tipos de erro e o lucro para cada modelo construído. Desta forma, é possível selecionar o modelo que melhor se adapta à estratégia do banco. Para esse efeito começa-se por definir a matriz de confusão C, apresentada no Quadro 2. PREVISÃO Aprovação (APR) Recusa (REC) REAL Aprovação (APR) N(APR,APR) N(APR,REC) Recusa (REC) N(REC,APR) N(REC,REC) Quadro 2 – Matriz de confusão C Nesta matriz, N(REC,APR) representa o número de casos em que é decidida uma aprovação quando deveria ter sido decidida uma recusa. As restantes componentes da matriz são definidas de forma análoga. Considere-se N Total como o número total de decisões tomadas, pode-se então calcular a probabilidade de ser decidida uma aprovação quando deveria ter sido decidida uma recusa ,= , . Saliente-se que: P(APR,APR) + P(APR,REC) = P(APR,.), onde P(APR,.) representa a proporção de casos em que a decisão tomada deveria ser de aprovação; P(REC,APR) + P(REC,REC) = P(REC,.), onde P(REC,.) representa a proporção de casos em que a decisão tomada deveria ser de recusa; P(APR,.) + P(REC,.) = 1;
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 17 P(APR,APR) + P(REC,APR) = P(.,APR), onde P(.,APR) representa a proporção de casos em que a decisão tomada foi aprovação; P(APR,REC) + P(REC,REC) = P(.,REC), onde P(.,REC) representa a proporção de casos em que a decisão tomada foi recusa; P(.,APR) + P(.,REC) = 1. Com base nesta matriz, reduzir o número de erros cometidos é reduzir as probabilidades P(APR,REC) e P(REC,APR). Assim, uma das métricas utilizadas é o Erro, que é a proporção de casos na amostra em que a classe resultante da previsão não corresponde à classe real da transação, ou seja, Erro = P(REC,APR) + P(APR,REC). Note-se ainda que reduzir o erro equivale a aumentar as proporções: , ., =|.,, a que chamamos a Precision da classe APR; , ., =|.,, a que chamamos a Precision da classe REC; , ,. =|,., a que chamamos a Recall da classe APR, ou especificidade; , ,. =|,., a que chamamos a Recall da classe REC, ou sensibilidade. Por isso, estas quatro proporções serão também usadas como métricas na avaliação do modelo. No entanto, como referido anteriormente, cada decisão tem benefícios distintos. Por isso, define-se ainda a matriz de benefícios B como: PREVISÃO Aprovação (APR) Recusa (REC) REAL Aprovação (APR) Recusa (REC) Quadro 3 – Matriz de benefícios B
18 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Os coeficientes b i dependem das comissões aplicadas e do descoberto originado pela decisão tomada. Para calcular os coeficientes b i , considere-se x uma transação e defina-se: • ,, = 1, "#é%&'()&*1,*2&,*3 0,/0"&/&1'2á2(&4 • = 1, "#é%&'()&*1 0,/0"&/&1'2á2(&4 • = 1, "#é%&'()&*2 0,/0"&/&1'2á2(&4 • 56 = 1, "#é%#('0%0#7/&1'0//"#29(ç&"#")#/í<(/&%#1#=ó/(&" 0,/0"&/&1'2á2(&4 • ca123 – comissão de intervenção que é cobrada quando é aprovada uma transação do tipo T1, ou T2 ou T3; • ca1 – comissão adicional de intervenção que é cobrada quando é aprovada uma transação do tipo T1; • cr1 – comissão de devolução que é cobrada quando é recusada uma transação do tipo T1; • ca2 – comissão adicional de intervenção que é cobrada quando é aprovada uma transação do tipo T2; • cd – comissão de descoberto mensal que é cobrada se a conta ficar pelo menos um dia a descoberto no mês; • cdn – comissão de descoberto mensal adicional que é cobrada se a conta ficar pelo menos um dia a descoberto no mês e tiver serviços específicos para clientes de Negócios. • Desc(x) – valor de descoberto provocado pelo débito da transação x. Com estas variáveis, pode-se então definir: • =/0123∙ ,, +/01∙ +/02∙ +/%+/%1∙ 56 • =/21−/02∙ −/02∙ −/0123∙ ,, −/%−/%1∙ 56
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 19 • =−0.04∙C/0123∙ ,, +/01∙ −/0123+/01∙ D− E#"/ • =0 Assim sendo, usando a matriz de confusão C e a matriz de benefícios B podemos calcular o benefício esperado, ou seja E[BC], fazendo: E[BC] = b 1 x P(APR,APR) + b 2 x P(APR,REC) + b 3 x P(REC,APR) + b 4 x P(REC,REC). Como b 4 é nulo, a expressão pode ser simplificada, ficando: E[BC] = b 1 x P(APR,APR) + b 2 x P(APR,REC) + b 3 x P(REC,APR). O benefício esperado permite identificar qual o modelo mais lucrativo para o banco. 3.1.3. Abordagens ao problema Uma das possíveis formas de atingir o objetivo pretendido é tratar o problema como um problema de classificação. Este tipo de problemas consiste em, a partir de um conjunto de variáveis (descritores, preditores) que descrevem um caso ou objeto, encontrar uma forma sistemática de prever a que classe ele pertence. A esta forma sistemática chama-se classificador ou regra de classificação. Por outras palavras, considere-se o conjunto X, que contém n elementos que se dispõe para a construção do classificador, isto é, X = { x 1 , x 2 , …, x n }. Cada elemento de X é composto por d características a analisar, ou seja, x i = {x i1 , x i2 , …, x id }, com i=1..n. Seja C o conjunto das classes associadas a X, ou seja, C = { C 1 , C 2 , …, C j }. Procurase então uma função D(x), a que se chama classificador ou regras de classificação, tal que para cada x ∈ X existe um C i tal D(x)=C i . No caso concreto deste trabalho, pretende-se, para cada transação x, encontrar o classificador D(x), tal que o resultado seja a classe Aprovação (APR) ou a classe Recusa (REC), ou seja, que possa ser usado para, dados os descritores de x, prever se devemos aprovar ou recusar. Em populações em que as classes registam proporções muito diferentes, ou em que os erros cometidos têm pesos distintos como é o caso da população utilizada neste trabalho, torna-se necessário utilizar critérios mais sofisticados para passar das
26 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente As árvores da Figura 9 denominam-se de “árvores binárias”. Dada simplicidade de compreensão e relativa facilidade de manuseamento deste tipo de árvores, este estudo será baseado em árvores binárias. Os pontos 1 e 2 estão diretamente relacionados, pois o tipo de propriedade usada pode conduzir diretamente ao número de subconjuntos a ser criados. Por exemplo, uma característica que tenha como valores possíveis 0 e 1, só poderá originar dois subconjuntos diferentes, um com os elementos em que a característica assume o valor 0 e outro com os elementos em que a característica assume o valor 1. Ora, se m i for o número de valores distintos da característica x i , duas situações podem acontecer: • Se a característica é nominal, as questões são do tipo “x i ∈ S?”, onde S é um subconjunto do conjunto dos valores possíveis da característica. Nesta situação, podem ser construídas 2 F G H −1 questões/ testes diferentes com base nesta característica. • Se a característica for quantitativa, as questões são do tipo ”é x i ≤ c?”, onde c é uma constante no intervalo de valores possíveis para as características. Nesta situação, podem ser construídas no máximo 7 I questões/ testes diferentes com base nesta característica ordenada. Quanto ao ponto 2, procura-se uma característica que permita a divisão de um nó inicial em nós menos “impuros”, sendo que um conjunto será tanto mais “impuro” quantos mais elementos tiver de uma classe diferente da que foi associada ao nó. Assim sendo, torna-se fundamental definir uma medida de impureza. Seja P N (C i ) a proporção de elementos de N que pertencem à classe C i tal que P N (C 1 )+P N (C 2 )+…+P N (C j )=1. Uma medida de impureza é uma função Φ que verifica: 1. Φ ( P N (C 1 ),P N (C 2 ),…,P N (C j )) é máxima quando P N (C 1 )=P N (C 2 )=…=P N (C j )=1/j; 2. Φ (1,0,…,0)= Φ (0,1,…,0)= Φ (0,0,…,1)=0; 3. Φ é uma função de simétrica P N (C 1 ),P N (C 2 ),…,P N (C j ). Por outras palavras, seja i(N) a impureza do nó N, então i(N) é máxima quando as classes estão igualmente distribuídas no nó e é mínima quando o nó contém apenas elementos de uma única classe. Algumas das medidas mais populares de impureza de um nó são: 1. Entropia: (J=−∑ L M N∙O&= L M N M .
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 27 2. Gini: (J=∑ I ∙ L M N IPM =1−∑ M M . No caso de existirem apenas duas classes esta fórmula fica (J= ∙ e designa-se por variância. 3. Misclassificação: (J=1− max M L M N. Na Figura 10 pode-se comparar a variação das três medidas com a proporção dos elementos das classes no nó, para o caso de apenas duas classes. Figura 10 – Comparação entre medidas de impureza O que se procura então é uma característica e uma questão que divida o nó inicial em nós descendentes de forma a maximizar a variação na impureza, ou seja, de forma a maximizar )()()()( DDEE NPNPNiNi − − = ∆ , onde N E e N D são os nós descendentes, à esquerda e à direita, respetivamente e P E e P D são as proporções de elementos que vão para o nó descendente esquerdo e direito respetivamente. Quanto ao ponto 3, pretende-se saber quando deve ser parado o crescimento de uma árvore de decisão. Este passo é importante, pois quando o processo é parado de forma incorreta, duas situações podem acontecer: • parar demasiado cedo, provocando assim um erro elevado em cada folha, penalizando assim a performance do modelo. • parar demasiado tarde, o que implica uma adaptação excessiva do modelo aos dados usados na sua construção (overfitting), que num caso extremo, pode levar à existência de um elemento por folha. Nesta situação, o resultado é excelente para os dados usados na construção do modelo, mas pode resultar em erros elevados quando aplicado o modelo a outros dados. Para resolver esta questão existem várias soluções. Uma possível solução consiste na aplicação de métodos experimentais, como por exemplo, a validação cruzada em que experimentalmente é determinado qual o ponto de paragem que minimiza o erro.
28 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Outra solução é a definição à priori de um valor limite, T, para a redução da impureza. Ou seja, o processo para, quando, ao adicionar mais um nó, se obtém 70 U ∆("≤T. Uma outra solução consiste em parar o processo de crescimento atendendo à complexidade do processo. Por outras palavras, para-se o processo quando for atingido o minα∙γ+∑iN ]^_`ab , onde c é uma constante a definir e d é o número de nós da árvore. Note-se que as duas primeiras soluções dependem apenas do último nó construído, enquanto a terceira solução depende de toda a árvore. Outra solução possível é parar o crescimento da árvore com base na análise estatística da significância associada à redução da impureza. Para analisar a significância estatística são usados testes de hipóteses como a estatística do qui-quadrado e intervalos de confiança. Ou seja, se o acrescentar de mais um nó não traz estatisticamente mais significância, então para-se o crescimento da árvore. Uma outra forma de ultrapassar os problemas associados à paragem antecipada ou tardia do crescimento da árvore consiste na aplicação do processo de poda. Contrariamente aos processos apresentados anteriormente, o crescimento da árvore não é parado, ou seja, a árvore é construída até ao final, ou seja, até que as folhas finais tenham impureza mínima. Posteriormente procede-se à eliminação folhas ou sub-árvores cuja contribuição para a melhoria da impureza é pouco relevante de um ponto de vista estatístico. Quanto ao ponto 4, após identificar todas as folhas da árvore, torna-se necessário decidir qual a classe a atribuir. Nos casos em que todos os elementos da folha são da mesma classe, ou seja, a impureza é zero, obviamente a classe a atribuir é essa mesma classe. Porém, da aplicação dos processos de paragem das árvores ou da poda resultam em regra folhas onde a impureza é positiva. Nestes casos, o procedimento habitual é a atribuição da classe que regista maior proporção de elementos na folha. Ou seja, escolhe-se a classe j 0 que verifica e f =max M e. 3.2.1.2. Vantagens e desvantagens A utilização de árvores de decisão tem algumas desvantagens: • Instabilidade. Pequenas perturbações do conjunto de treino podem provocar grandes alterações no modelo aprendido. • Fragmentação de conceitos e replicação de sub-árvores. No entanto, as árvores de decisão são muito utilizadas devido às seguintes vantagens:
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 29 • Trata-se de um método não paramétrico e por isso não é necessário conhecer a distribuição dos dados; • Não depende da escala das variáveis; • Fácil interpretação dos resultados obtidos, dado que resultam do encadeamento de decisões elementares; • É eficiente na construção de modelos; • Robusto á presença de pontos extremos e atributos redundantes ou irrelevantes. Estas vantagens motivaram a utilização das árvores de decisão na criação de grelhas de decisão automática no processo Pay No Pay. 3.2.2. Random Forests Para o desenvolvimento de modelos para segmentos de clientes cada vez mais específicos e mais exigentes, leva a questionar sobre a existência de métodos que possam adequar-se melhor aos processos. Uma das soluções encontradas consiste na utilização de vários modelos em conjunto. Este tipo de solução permite resolver problemas como: • Informação reduzida; • Incapacidade dos algoritmos de aprendizagem para alcançar o melhor resultado, devido à complexidade computacional; • Inadequadas representações da função preditiva devido aos pressupostos associados aos modelos. Foram vários os modelos criados que utilizam um conjunto de árvores de decisão para previsão. A previsão deste tipo de modelos é, regra geral, a escolha do resultado mais votado atendendo às árvores criadas. Em 1996, surgiu o método de Bagging (Breiman, 1996a), que consistia na construção de várias árvores de decisão, em que para o crescimento de cada árvore era utilizada uma amostra por boostrap, sem substituição, de amostras do conjunto de treino. Em 1998, surgiu o método da escolha aleatória dos nós (Ho, 1998). Neste método, os nós são escolhidos aleatoriamente de um conjunto mais reduzido que contém os k melhores nós. Em 1998, vários artigos são escritos sobre o espaço aleatório, que consistia na escolha aleatória de uma conjunto de características que seriam usadas na construção das árvores individuais. O método que será utilizado neste trabalho
30 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente surgiu em 2001, com Leo Breiman (Breiman, 2001) e denomina-se de Random Forests (Florestas Aleatórias). As Random Forests são um método que consiste na construção de um conjunto de árvores de decisão, tal como descrito no ponto 3.2.1, com a única diferença de as árvores individuais não passarem pelo processo de poda (prunning). A construção de Random Forests agrega dois conceitos: • a escolha aleatória de amostras do conjunto de treino; • a escolha aleatória de um subconjunto de variáveis em cada nó, durante o processo de crescimento de cada árvore individual, de onde é escolhido o teste a usar nesse nó. A previsão final da Random Forests para problemas de classificação é a previsão maioritária entre o conjunto de árvores de decisão individuais construídas. A variabilidade entre as árvores está assegurada pelas sucessivas escolhas do conjunto de treino (bootstrap) e pelo número de características a considerar em cada nó para selecionar a divisão a efetuar. 3.2.2.1. Descrição Cada árvore de decisão é obtida a partir de uma fração do conjunto de registos disponíveis, escolhida aleatoriamente. A este conjunto chamamos conjunto de treino. Os restantes registos são posteriormente utilizados para testar a qualidade do modelo. A este conjunto chamamos conjunto de teste. Assim, supondo que o número de registos disponíveis para a construção do modelo é n e que o número de características disponíveis é d, deve-se escolher para a construção das árvores individuais: • s registos dos n disponíveis, permitindo recolocação, construindo assim o conjunto de treino. Este número é, regra geral, 2/3 de n. • m características de entrada para determinar a decisão em cada nó da árvore. Este número m deve ser muito menor do que d. Para cada nó da árvore, calcula-se o melhor corte a aplicar, atendendo às m características selecionadas. As árvores individuais são inteiramente crescidas, ou seja, não se recorre ao processo de poda.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 31 3.2.2.2. Vantagens e desvantagens O método das Random Forests tem várias vantagens, nomeadamente: • É atualmente um dos classificadores mais exatos. • Pode estimar a importância das variáveis para métodos de classificação. • Gera uma estimativa interna não enviesada do erro da generalização aquando da construção do modelo. • Aceita e trata com exatidão características que tenham dados em falta. • Fornece um método experimental que deteta interações entre variáveis. • Rapidez de construção, mesmo em conjuntos com um número elevado de objetos e/ou características. • Pode ser usado para clustering ou identificação de outliers. As principais desvantagens são: • Dificuldade em interpretar o modelo, ao contrário das árvores de decisão. • Tendência para overfit em casos de bases de dados com muito ruído. • Enviesa os resultados quando existem características nominais com elevado número de atributos distintos. A aplicação de métodos com a permutação parcial permite resolver este problema. 3.3. Metodologia experimental Os resultados dos vários métodos utilizados devem ser consistentes e permitir avaliar a capacidade de previsão de cada modelo. Assim sendo, a metodologia experimental utilizada reveste-se de especial importância. Nesta seção serão descritas as metodologias experimentais utilizadas neste trabalho. 3.3.1. Validação cruzada A validação cruzada é uma técnica utilizada na avaliação da capacidade de generalização de um modelo, a partir de um conjunto de dados. Esta técnica é utilizada com frequência em problemas de previsão, para a análise do desempenho do modelo num conjunto de dados, ou seja, para estimar quão preciso é o modelo.
32 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente A base das técnicas de validação cruzada consiste na divisão do conjunto de dados em subconjuntos mutuamente exclusivos. Posteriormente, alguns destes subconjuntos são utilizados na estimação de parâmetros do modelo, ou na construção do modelo e designa-se por conjunto de treino. Os restantes subconjuntos, que se designam por conjunto de teste, são usados na validação do modelo. Existem diversas formas de realizar a divisão dos dados, sendo as três mais utilizadas: o método holdout, o k-fold e o leave-one-out. No âmbito deste trabalho, atendendo ao número elevado de dados, será utilizado o método holdout, pois é o mais indicado nestas situações. O método holdout consiste em dividir de forma aleatória o conjunto total de dados em apenas dois subconjuntos mutuamente exclusivos, denominados de conjunto de treino e conjunto de teste. Estes conjuntos podem ou não ter o mesmo tamanho. Uma proporção muito comum é considerar 2/3 dos dados para o conjunto de treino e o 1/3 restante para o conjunto de teste. No sentido de aumentar a significância estatística dos testes realizados, também é frequente repetir a divisão aleatória do conjunto de dados em subconjunto de treino e teste. Nas experiências deste trabalho esta divisão foi efetuada 10 vezes. 3.3.2. Teste de Wilcoxon O teste de Wilcoxon é um teste de hipóteses, não paramétrico, usado quando se compara duas amostras dependentes, amostras emparelhadas ou medições repetidas numa mesma amostra, e se pretende analisar as diferenças entre os valores médios. A aplicação deste teste parte dos seguintes pressupostos: • os dados são emparelhados e provêm da mesma população; • cada par de dados é escolhido aleatoriamente e é independente dos restantes; • os dados são medidos numa escala de intervalos, que não precisa de ser normal. Considere-se H 0 : a diferença entre as médias é nula e H 1 : caso contrário. O algoritmo para execução deste teste é o seguinte: 1. Para cada par, determinar a diferença d i , com sinal, entre os dois valores;
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 33 2. Atribuir postos a cada d i , independentemente do sinal. No caso de d i empatados, atribuir a média dos postos empatados; 3. Atribuir a cada posto o sinal + ou sinal – do d i que ele representa; 4. Determinar T que é igual à menor das somas de postos de mesmo sinal; 5. Determinar N que é igual ao total de d i com sinal; 6. Se N ≤ 25, o Quadro 4 dá os valores críticos de T para diversos tamanhos de N. Se o valor observado de T não supera o valor indicado na tabela, para um nível de significância e um particular N, H 0 pode ser rejeitada. N Nível de significância para teste unilateral 0,025 0,01 0,005 Nível de significância para teste unilateral 0,05 0,02 0,01 6 0 7 2 0 8 4 2 0 9 6 3 2 10 8 5 3 11 11 7 5 12 14 10 7 13 17 13 10 14 21 16 13 15 25 20 16 16 30 24 20 17 35 28 23 18 40 33 28 19 46 38 32 20 52 43 38 21 59 49 43 22 66 56 49 23 73 62 55 24 81 69 61 25 89 77 68 Quadro 4 – Valores críticos do Testes de Wilcoxon Se N>25, calcular valor de z através da fórmula: z= T−NN+1 4 iNN+12N+1 24
34 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Usando uma tabela estatística com a distribuição normal, determinar a probabilidade associada p sob H 0 . No caso de uma prova bilateral, duplicar o valor de p dado. Se o p assim obtido não for superior ao nível de significância, rejeitar H 0 .
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 35 4. Experiências comparativas Neste Capítulo são apresentados os resultados experimentais dos vários modelos construídos, nomeadamente, para os modelos usando árvores de decisão e para os modelos usando Random Forests. Todos os modelos foram construídos com base na mesma base de dados de informação e avaliados com as mesmas métricas, conforme seção 3.1.2, por forma a serem comparáveis. De acordo com descrição efetuada na seção 3.1.3, podemos considerar que existem 5 abordagens diferentes: Abordagem Descrição V0 Previsão com os parâmetros por defeito. V1 Previsão usando pontos de corte previamente definidos para a probabilidade da classe APR. V2 Previsão usando matriz de benefícios. V3 Previsão usando matriz de benefícios e critério expert 1, baseado no descoberto provocado. V4 Previsão usando matriz de benefícios e critério expert 2, baseado no descoberto provocado face ao montante da transação. Quadro 5 – Abordagens do problema Para cada abordagem, foram construídas 9 variantes do modelo de classificação usando o método das Random Forests. A construção das 9 variantes resulta da utilização de diferentes valores para: • o número máximo de árvores individuais a construir (ntree), tendo sido utilizados neste trabalho os valores 500, 1000 e 1500. • o número de variáveis escolhidas aleatoriamente em cada nó (mtry), tendo sido utilizados neste trabalho os valores 5, 7 e 10. O Quadro 6 define as 9 variantes e os respetivos parâmetros para as abordagens V0, V2, V3 e V4.
42 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Constata-se, pela Figura 13, que os valores obtidos para a métrica Lucro são inferiores aos obtidos pela variante RandFor_V0.v7. A variante arvore_V0.v1 é a que apresenta melhor resultado para a métrica Lucro, no que diz respeito a Árvores de Decisão. Na Figura 14, pode-se constatar que, para a métrica Erro, os valores das variantes das Árvores de Decisão são aproximadamente duas vezes superiores aos obtidos pela variante RandFor_V0.v9, para a mesma abordagem. A variante arvore_V0.v1 é também a variante que apresenta melhor resultado para a métrica Erro no grupo das Árvores de Decisão. Note-se ainda que a dispersão dos resultados dos vários modelos para cada variante é mais elevada usando Árvores de Decisão do que Random Forests. Recorrendo novamente à análise da significância estatística das diferenças observadas, para a variante com melhor resultado das Random Forests com as várias variantes das Árvores de Decisão, para as métricas Erro e Lucro, obteve-se o Quadro 12 e o Quadro 13. Modelos comparados Modelo base Arvore_V0.v1 Arvore_V0.v2 Arvore_V0.v3 RandFor_V0.v9 + + + Quadro 12 – Significância estatística para a métrica Erro, para a abordagem V0. Modelos comparados Modelo base Arvore_V0.v1 Arvore_V0.v2 Arvore_V0.v3 RandFor_V0.v7 - - - Quadro 13 – Significância estatística para a métrica Lucro, para a abordagem V0. Pelo Quadro 12, pode-se constatar que todas as variantes das Árvores de Decisão, no que concerne à métrica Erro, apresentam valores significativamente superiores a variante RandFor_V0.v9.. Pelo Quadro 13, pode-se constatar que todas as variantes das Árvores de Decisão, no que concerne à métrica Lucro, apresentam valores significativamente inferiores a variante RandFor_V0.v7. Quanto às métricas Precision e Recall, na Figura 15 constam as boxplots com a informação detalhada sobre a distribuição dos valores destas métricas, obtidos nas 10 repetições para cada variante das Random Forests.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 43 % Precision APR % Recall APR % Precision REC % Recall REC Figura 15 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V0. Destas figuras observamos que, para todos os modelos desta abordagem, os valores da Precision para classe Aprovação (APR) situam-se sempre acima dos 98% e para a classe Recusa (REC) são sempre superiores a 96%. Para a métrica Recall associada à classe APR temos valores acima dos 99% e para a mesma métrica associada à classe REC assume valores acima de 84%. Esta última percentagem, com mais de 10 pontos percentuais abaixo das restantes, alerta que no total de transações que prec.A RandFor_v0.v1 RandFor_v0.v2 RandFor_v0.v3 RandFor_v0.v4 RandFor_v0.v5 RandFor_v0.v6 RandFor_v0.v7 RandFor_v0.v8 RandFor_v0.v9 0.9880 0.9885 0.9890 0.9895 0.9900 Classe rec.A RandFor_v0.v1 RandFor_v0.v2 RandFor_v0.v3 RandFor_v0.v4 RandFor_v0.v5 RandFor_v0.v6 RandFor_v0.v7 RandFor_v0.v8 RandFor_v0.v9 0.9980 0.9985 0.9990 Classe prec.R RandFor_v0.v1 RandFor_v0.v2 RandFor_v0.v3 RandFor_v0.v4 RandFor_v0.v5 RandFor_v0.v6 RandFor_v0.v7 RandFor_v0.v8 RandFor_v0.v9 0.970 0.975 0.980 0.985 Classe rec.R RandFor_v0.v1 RandFor_v0.v2 RandFor_v0.v3 RandFor_v0.v4 RandFor_v0.v5 RandFor_v0.v6 RandFor_v0.v7 RandFor_v0.v8 RandFor_v0.v9 0.845 0.850 0.855 0.860 0.865 0.870 Classe
44 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente deveriam ter decisão de recusa, cerca de 16% tiveram decisão de aprovação. A consequência é a criação de descobertos que não serão regularizados nos 22 dias úteis seguintes, que afetam o lucro obtido. 4.2. Abordagem V1 Quanto à abordagem V1, recorde-se que se pretende testar vários cortes no valor da probabilidade da classe APR necessária para que a decisão final seja APR. No Quadro 14, constam os valores médios associados a cada métrica, para cada uma das variantes construídas. Modelo Precision APR Recall APR Precision REC Recall REC Erro Lucro V1.v1 0,9912 0,9965 0,9515 0,8874 0,0114 0,7578 V1.v2 0,9912 0,9965 0,9517 0,8869 0,0115 0,7579 V1.v3 0,9912 0,9965 0,9516 0,8872 0,0115 0,7577 V1.v4 0,9915 0,9964 0,9510 0,8910 0,0112 0,7604 V1.v5 0,9915 0,9964 0,9509 0,8902 0,0113 0,7598 V1.v6 0,9915 0,9965 0,9515 0,8905 0,0112 0,7601 V1.v7 0,9916 0,9963 0,9493 0,8923 0,0113 0,7614 V1.v8 0,9916 0,9963 0,9490 0,8916 0,0113 0,7611 V1.v9 0,9916 0,9963 0,9490 0,8920 0,0113 0,7613 V1.v10 0,9956 0,9841 0,8231 0,9438 0,0188 0,7831 V1.v11 0,9956 0,9843 0,8244 0,9442 0,0186 0,7836 V1.v12 0,9956 0,9842 0,8235 0,9441 0,0187 0,7834 V1.v13 0,9956 0,9840 0,8224 0,9444 0,0188 0,7837 V1.v14 0,9956 0,9842 0,8242 0,9444 0,0186 0,7830 V1.v15 0,9956 0,9843 0,8247 0,9443 0,0186 0,7831 V1.v16 0,9957 0,9839 0,8210 0,9451 0,0189 0,7827 V1.v17 0,9956 0,9840 0,8220 0,9448 0,0188 0,7827 V1.v18 0,9956 0,9840 0,8221 0,9449 0,0188 0,7827 V1.v19 0,9986 0,9031 0,4426 0,9842 0,0910 0,8187 V1.v20 0,9987 0,9029 0,4423 0,9846 0,0911 0,8188 V1.v21 0,9987 0,9027 0,4416 0,9844 0,0914 0,8188 V1.v22 0,9986 0,9060 0,4500 0,9841 0,0884 0,8205 V1.v23 0,9986 0,9055 0,4487 0,9843 0,0888 0,8202 V1.v24 0,9986 0,9057 0,4491 0,9841 0,0887 0,8191 V1.v25 0,9986 0,9086 0,4569 0,9836 0,0860 0,8207 V1.v26 0,9986 0,9081 0,4556 0,9840 0,0864 0,8208 V1.v27 0,9986 0,9080 0,4553 0,9840 0,0865 0,8208 Quadro 14 – Valores médios para cada métrica por cada variante da abordagem V1, usando Random Forests.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 45 Relativamente à métrica Lucro, atendendo ao Quadro 14, constata-se que, para a abordagem V1, a variante que obtém a melhor média é a V1.v27, que regista o valor de 82,08%. Saliente-se que este valor é superior ao obtido nos modelos da abordagem V0, em que a classe atribuída em cada folha era aquela que registava maior proporção de elementos na folha, ou seja, o ponto de corte era 50%. No modelo V1.v27 define-se que apenas se considera a classe APR se a proporção de casos APR na folha for superior 95%. A Figura 16 contém as boxplots com a informação detalhada sobre a distribuição dos valores da métrica Lucro, obtidos nas 10 repetições para cada variante das Random Forests. Figura 16 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V1. A Figura 16 evidencia que, é possível dividir a abordagem V1 em três grupos. Do primeiro grupo constam os modelos de V1.v1 até V1.v9. O segundo inclui os modelos de V1.v10 até V1.v18. Por fim, o terceiro grupo, inclui os modelos V1.v19 até V1.v27. Claramente, os modelos do terceiro grupo apresentam melhores resultados dos que os restantes, no que diz respeito à métrica Lucro. Para comprovar que as diferenças entre os vários grupos são estatisticamente significativas, escolha-se a variante de cada grupo que registe o valor médio da métrica Lucro mais elevado, ou seja, escolha-se a variante V1.v7 do primeiro grupo, V1.v13 do segundo grupo e as variantes V1.v26.e V1.v27 do terceiro grupo, visto lucro RandFor_v1.v1 RandFor_v1.v10 RandFor_v1.v11 RandFor_v1.v12 RandFor_v1.v13 RandFor_v1.v14 RandFor_v1.v15 RandFor_v1.v16 RandFor_v1.v17 RandFor_v1.v18 RandFor_v1.v19 RandFor_v1.v2 RandFor_v1.v20 RandFor_v1.v21 RandFor_v1.v22 RandFor_v1.v23 RandFor_v1.v24 RandFor_v1.v25 RandFor_v1.v26 RandFor_v1.v27 RandFor_v1.v3 RandFor_v1.v4 RandFor_v1.v5 RandFor_v1.v6 RandFor_v1.v7 RandFor_v1.v8 RandFor_v1.v9 74 76 78 80 82 Classe
46 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente registarem igual valor médio para a métrica Lucro. Os resultados obtidos encontram-se no Quadro 15 a seguir apresentado. Modelos comparados (1º Grupo) Modelos base V1.v1 V1.v2 V1.v3 V1.v4 V1.v5 V1.v6 V1.v7 V1.v8 V1.v9 V1.v7 - - - - - n.a. V1.v13 - - - - - - - - - V1.v26 - - - - - - - - - V1.v27 - - - - - - - - - Modelos comparados (2º Grupo) Modelos base V1.v10 V1.v11 V1.v12 V1.v13 V1.v14 V1.v15 V1.v16 V1.v17 V1.v18 V1.v7 + + + + + + + + + V1.v13 n.a. - V1.v26 - - - - - - - - - V1.v27 - - - - - - - - - Modelos comparados (3º Grupo) Modelos base V1.v19 V1.v20 V1.v21 V1.v22 V1.v23 V1.v24 V1.v25 V1.v26 V1.v27 V1.v7 + + + + + + + + + V1.v13 + + + + + + + + + V1.v26 n.a. V1.v27 - - n.a. Quadro 15 – Significância estatística para a métrica Lucro, usando Random Forests para a abordagem V1. Alerte-se que valores negativos nas células dos quadros acima apresentados significam que o modelo comparado regista valores inferiores ao modelo base, podendo-se por isso afirmar que o modelo base obtém melhores resultados para a métrica Lucro. Assim sendo, no Quadro 15, constata-se que a variante V1.v7 apenas consegue registar valores superiores para a métrica Lucro, com significância estatística, quando comparados com modelos dentro do mesmo grupo que usam um menor número de variáveis para avaliar cada nó (variantes V1.v1, V1.v2, V1.v3, V1.v5 e V1.v6). A única exceção é a variante V1.v4, que é construída com o mesmo número de árvores e o mesmo corte que a variante V1.v7, diferindo apenas no número de variáveis avaliadas em cada nó, pois usa 7 em vez de 10. Estas semelhanças entre as duas variantes (V1.v7 e V1.v4) conduzem à inexistência de significância estatística para as diferenças obtidas nos resultados.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 47 Pode-se constatar que a variante V1.v13, que é do segundo grupo, regista valores superiores e estatisticamente significativos, quando comparados com os modelos do primeiro grupo. Por outro lado, esta variante regista valores inferiores e estatisticamente significativos, quando comparada com os modelos do terceiro grupo. Não se verificam diferenças estatisticamente significativas, quando comparada com modelos do mesmo grupo. Confirma-se ainda que as variantes V1.v26 e V1.v27, que pertencem ao terceiro grupo, registam valores superiores e estatisticamente significativos, quando comparados com os modelos do primeiro e do segundo grupo. A variante V1.v26 não verifica diferenças estatisticamente significativas com as variantes do mesmo grupo. Já a variante V1.v27 apresenta, com significância estatística, valores superiores à variante V1.19, pois esta última utiliza um menor número de árvores (500) e um menor número de variáveis (5) a testar em cada nó. A variante V1.v27 apresenta também valores superiores ao modelo e V1.v24, cuja única diferença entre as variantes é o número de variáveis a testar em cada nó, que para a variante V1.v27 são 10 e para a variante V1.v24 são 7. Dado que a variante V1.v27 obteve uma média de 82,08% para a métrica Lucro e que este valor compara favoravelmente com as restantes variantes, se fosse necessário escolher a melhor variante da abordagem V1 para a métrica Lucro, escolher-se-ia a variante V1.v27. Quanto à métrica Erro, através do Quadro 14, constata-se que a minimização desta métrica ocorre nos modelo V1.v4 e V1.v6, onde é atingido o valor de 0,0112. Na Figura 17, constam as boxplots com a informação detalhada sobre a distribuição dos valores da métrica Erro, obtidos nas 10 repetições para cada variante das Random Forests. Note-se, atendendo aos três grupos anteriormente definidos, que as variantes que apresentam melhores resultados para a métrica Erro (V1.v4 e V1.v6) estão incluídas no primeiro grupo, ou seja, o grupo que obtém piores valores para a métrica Lucro.
48 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Figura 17 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V1. Para confirmar se os modelos das variantes V1.v4 e V1.v6 apresentam diferenças estatisticamente significativas face aos restantes modelos, apresenta-se de seguida o Quadro 16, com o resultado dessa análise. Modelos comparados (1º Grupo) Modelos base V1.v1 V1.v2 V1.v3 V1.v4 V1.v5 V1.v6 V1.v7 V1.v8 V1.v9 V1.v4 + + + n.a. V1.v6 + + n.a. Modelos comparados (2º Grupo) Modelos base V1.v10 V1.v11 V1.v12 V1.v13 V1.v14 V1.v15 V1.v16 V1.v17 V1.v18 V1.v4 + + + + + + + + + V1.v6 + + + + + + + + + Modelos comparados (3º Grupo) Modelos base V1.v19 V1.v20 V1.v21 V1.v22 V1.v23 V1.v24 V1.v25 V1.v26 V1.v27 V1.v4 + + + + + + + + + V1.v6 + + + + + + + + + Quadro 16 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V1 Alerte-se que valores positivos nas células dos quadros acima apresentados significam que o modelo comparado regista valores superiores ao modelo base, err RandFor_v1.v1 RandFor_v1.v10 RandFor_v1.v11 RandFor_v1.v12 RandFor_v1.v13 RandFor_v1.v14 RandFor_v1.v15 RandFor_v1.v16 RandFor_v1.v17 RandFor_v1.v18 RandFor_v1.v19 RandFor_v1.v2 RandFor_v1.v20 RandFor_v1.v21 RandFor_v1.v22 RandFor_v1.v23 RandFor_v1.v24 RandFor_v1.v25 RandFor_v1.v26 RandFor_v1.v27 RandFor_v1.v3 RandFor_v1.v4 RandFor_v1.v5 RandFor_v1.v6 RandFor_v1.v7 RandFor_v1.v8 RandFor_v1.v9 0.02 0.04 0.06 0.08 Classe
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 49 podendo-se por isso afirmar que o modelo base obtém melhores resultados para a métrica Erro. Dado que as variantes V1.v4 e V1.v6 obtiveram uma média de 0,0112 para a métrica Erro e que este valor compara favoravelmente com as restantes variantes, se fosse necessário escolher a melhor variante da abordagem V1 para a métrica Erro, escolherse-ia qualquer uma destas variantes. Quanto às métricas Precision e Recall, na Figura 18 constam as boxplots com a informação detalhada sobre a distribuição dos valores destas métricas, obtidos nas 10 repetições para cada variante das Random Forests. No que diz respeito às métricas Precision e Recall para a classe REC, através da Figura 18, constata-se, que para o primeiro grupo, os valores da métrica Precision para a classe REC estão sempre acima dos 93% e os valores da métrica Recall para a classe REC estão sempre acima de 87%. Quando se observa o segundo grupo, consta-se que os valores da métrica Precision para a classe REC diminuem, podendo ser atingindo um mínimo de 80% e os valores da métrica Recall para a classe REC aumentam e estão sempre acima de 93%. Já no terceiro grupo, os valores da métrica Precision para a classe REC diminuem novamente, atingindo um mínimo de 42%, enquanto os valores da métrica Recall para a classe REC aumentam e estão sempre acima de 97%. Quanto à métrica Precision para a classe APR regista valores acima dos 99%, com pequenas variações entre os três grupos. A métrica Recall para a classe APR regista, no primeiro grupo, valores acima de 99%, no segundo grupo, valores acima de 97% e no terceiro grupo, valores cima de 90%. Estes resultados para as métricas Precison e Recall para a classe REC, aliados aos valores da métrica Lucro, justificam a abordagem V2, pois evidenciam que classificar com APR casos em que a classe deveria ser REC é mais penalizador para a métrica Lucro que atribuir classe REC quando a classe deveria ser APR.
50 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente % Precision APR % Recall APR % Precision REC % Recall REC Figura 18 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V1. 4.3. Abordagem V2 Quanto à abordagem V2, procura-se melhorar os resultados através da utilização de uma matriz de benefícios. prec.A RandFor_v1.v1 RandFor_v1.v10 RandFor_v1.v11 RandFor_v1.v12 RandFor_v1.v13 RandFor_v1.v14 RandFor_v1.v15 RandFor_v1.v16 RandFor_v1.v17 RandFor_v1.v18 RandFor_v1.v19 RandFor_v1.v2 RandFor_v1.v20 RandFor_v1.v21 RandFor_v1.v22 RandFor_v1.v23 RandFor_v1.v24 RandFor_v1.v25 RandFor_v1.v26 RandFor_v1.v27 RandFor_v1.v3 RandFor_v1.v4 RandFor_v1.v5 RandFor_v1.v6 RandFor_v1.v7 RandFor_v1.v8 RandFor_v1.v9 0.992 0.994 0.996 0.998 Classe rec.A RandFor_v1.v1 RandFor_v1.v10 RandFor_v1.v11 RandFor_v1.v12 RandFor_v1.v13 RandFor_v1.v14 RandFor_v1.v15 RandFor_v1.v16 RandFor_v1.v17 RandFor_v1.v18 RandFor_v1.v19 RandFor_v1.v2 RandFor_v1.v20 RandFor_v1.v21 RandFor_v1.v22 RandFor_v1.v23 RandFor_v1.v24 RandFor_v1.v25 RandFor_v1.v26 RandFor_v1.v27 RandFor_v1.v3 RandFor_v1.v4 RandFor_v1.v5 RandFor_v1.v6 RandFor_v1.v7 RandFor_v1.v8 RandFor_v1.v9 0.90 0.92 0.94 0.96 0.98 1.00 Classe prec.R RandFor_v1.v1 RandFor_v1.v10 RandFor_v1.v11 RandFor_v1.v12 RandFor_v1.v13 RandFor_v1.v14 RandFor_v1.v15 RandFor_v1.v16 RandFor_v1.v17 RandFor_v1.v18 RandFor_v1.v19 RandFor_v1.v2 RandFor_v1.v20 RandFor_v1.v21 RandFor_v1.v22 RandFor_v1.v23 RandFor_v1.v24 RandFor_v1.v25 RandFor_v1.v26 RandFor_v1.v27 RandFor_v1.v3 RandFor_v1.v4 RandFor_v1.v5 RandFor_v1.v6 RandFor_v1.v7 RandFor_v1.v8 RandFor_v1.v9 0.5 0.6 0.7 0.8 0.9 Classe rec.R RandFor_v1.v1 RandFor_v1.v10 RandFor_v1.v11 RandFor_v1.v12 RandFor_v1.v13 RandFor_v1.v14 RandFor_v1.v15 RandFor_v1.v16 RandFor_v1.v17 RandFor_v1.v18 RandFor_v1.v19 RandFor_v1.v2 RandFor_v1.v20 RandFor_v1.v21 RandFor_v1.v22 RandFor_v1.v23 RandFor_v1.v24 RandFor_v1.v25 RandFor_v1.v26 RandFor_v1.v27 RandFor_v1.v3 RandFor_v1.v4 RandFor_v1.v5 RandFor_v1.v6 RandFor_v1.v7 RandFor_v1.v8 RandFor_v1.v9 0.88 0.90 0.92 0.94 0.96 0.98 Classe
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 51 No Quadro 17 a seguir apresentado constam os valores médios associados a cada métrica, para cada uma das variantes construídas. Modelo Precision APR Recall APR Precision REC Recall REC Erro Lucro V2.v1 0,9797 0,6103 0,1439 0,8384 0,3732 0,9941 V2.v2 0,9798 0,6095 0,1438 0,8390 0,3739 0,9954 V2.v3 0,9798 0,6095 0,1438 0,8390 0,3739 0,9954 V2.v4 0,9799 0,6149 0,1454 0,8384 0,3689 0,9918 V2.v5 0,9800 0,6144 0,1453 0,8392 0,3693 0,9926 V2.v6 0,9800 0,6143 0,1453 0,8393 0,3694 0,9928 V2.v7 0,9801 0,6188 0,1468 0,8393 0,3652 0,9897 V2.v8 0,9801 0,6181 0,1466 0,8394 0,3658 0,9906 V2.v9 0,9801 0,6179 0,1465 0,8395 0,3661 0,9909 Quadro 17 – Valores médios para cada métrica por cada variante da abordagem V2, usando Random Forests. Por observação do Quadro 17, constata-se que, com esta nova abordagem, o valor mínimo obtido para a métrica Lucro foi de 98,97%, que ultrapassa claramente os resultados obtidos nas abordagens anteriores. A variante que apresenta o valor médio mais elevado para a métrica Lucro é a V2.v3, enquanto a variante V2.v7 é a que apresenta o valor médio mais reduzido para a métrica Erro. Na Figura 19 e na Figura 20, pode-se observar as boxplots com a informação detalhada sobre a distribuição dos valores das métricas Lucro e Erro, obtidos nas 10 repetições para cada variante das Random Forests. Figura 19 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V2. Figura 20 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V2. lucro RandFor_v2.v1 RandFor_v2.v2 RandFor_v2.v3 RandFor_v2.v4 RandFor_v2.v5 RandFor_v2.v6 RandFor_v2.v7 RandFor_v2.v8 RandFor_v2.v9 98.0 98.5 99.0 99.5 100.0 Classe err RandFor_v2.v1 RandFor_v2.v2 RandFor_v2.v3 RandFor_v2.v4 RandFor_v2.v5 RandFor_v2.v6 RandFor_v2.v7 RandFor_v2.v8 RandFor_v2.v9 0.360 0.365 0.370 0.375 Classe
58 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Note-se ainda que a dispersão dos resultados dos vários modelos para cada variante é mais elevada usando Árvores de Decisão do que Random Forests. Recorrendo novamente à análise da significância estatística das diferenças observadas, para a variante com melhor resultado das Random Forests com as várias variantes das Árvores de Decisão, para as métricas Erro e Lucro, obteve-se o Quadro 25 e o Quadro 26. Modelos comparados Modelo base Arvore_V3.v1 Arvore_V3.v2 Arvore_V3.v3 RandFor_V3.v7 - + Quadro 25 – Significância estatística para a métrica Erro, para a abordagem V3. Modelos comparados Modelo base Arvore_V3.v1 Arvore_V3.v2 Arvore_V3.v3 RandFor_V3.v2 - - - Quadro 26 – Significância estatística para a métrica Lucro, para a abordagem V3. Pelo Quadro 25 e o pelo Quadro 26 comprava-se que as diferenças que levaram aos comentários anteriores têm significância estatística. Quanto às métricas Precision e Recall, na Figura 28 constam as boxplots com a informação detalhada sobre a distribuição dos valores destas métricas, obtidos nas 10 repetições para cada variante das Random Forests. Através da Figura 28, constata-se que os valores da métrica Precision para a classe REC estão sempre acima dos 13% e os valores da métrica Recall para a classe REC estão sempre acima de 82%, para cada uma das variantes. A métrica Precision para a classe APR regista valores acima dos 97% e a métrica Recall para a classe APR regista valores acima de 59%, para cada uma das variantes. Apesar de com esta abordagem V3 terem sido obtidos valores superiores às abordagens anteriores, para a métrica Lucro, constata-se um aumento dos valores associados á métrica Erro, assim como uma ligeira redução nas métricas de Precision e Recall associadas a cada classe.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 59 % Precision APR % Recall APR % Precision REC % Recall REC Figura 28 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V3. 4.5. Abordagem V4 Apesar de com a abordagem V3 terem sido obtidos valores superiores às abordagens anteriores, para a métrica Lucro, procura-se na abordagem V4 melhorar esses resultados, através da inclusão de um novo critério expert que relaciona o descoberto provocado com o montante da transação. prec.A RandFor_v3.v1 RandFor_v3.v2 RandFor_v3.v3 RandFor_v3.v4 RandFor_v3.v5 RandFor_v3.v6 RandFor_v3.v7 RandFor_v3.v8 RandFor_v3.v9 0.978 0.979 0.980 0.981 0.982 Classe rec.A RandFor_v3.v1 RandFor_v3.v2 RandFor_v3.v3 RandFor_v3.v4 RandFor_v3.v5 RandFor_v3.v6 RandFor_v3.v7 RandFor_v3.v8 RandFor_v3.v9 0.595 0.600 0.605 0.610 Classe prec.R RandFor_v3.v1 RandFor_v3.v2 RandFor_v3.v3 RandFor_v3.v4 RandFor_v3.v5 RandFor_v3.v6 RandFor_v3.v7 RandFor_v3.v8 RandFor_v3.v9 0.136 0.138 0.140 0.142 0.144 0.146 Classe rec.R RandFor_v3.v1 RandFor_v3.v2 RandFor_v3.v3 RandFor_v3.v4 RandFor_v3.v5 RandFor_v3.v6 RandFor_v3.v7 RandFor_v3.v8 RandFor_v3.v9 0.83 0.84 0.85 Classe
60 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente No Quadro 27 a seguir apresentado constam os valores médios associados a cada métrica, para cada uma das variantes construídas. Modelo Precision APR Recall APR Precision REC Recall REC Erro Lucro V4.v1 0,9805 0,6585 0,1600 0,8324 0,3289 0,9694 V4.v2 0,9805 0,6575 0,1597 0,8330 0,3298 0,9705 V4.v3 0,9805 0,6574 0,1597 0,8331 0,3299 0,9706 V4.v4 0,9807 0,6629 0,1618 0,8327 0,3248 0,9673 V4.v5 0,9807 0,6622 0,1616 0,8332 0,3254 0,9680 V4.v6 0,9807 0,6620 0,1616 0,8334 0,3255 0,9682 V4.v7 0,9808 0,6669 0,1636 0,8333 0,3210 0,9650 V4.v8 0,9808 0,6660 0,1632 0,8334 0,3219 0,9660 V4.v9 0,9808 0,6656 0,1630 0,8334 0,3222 0,9663 Quadro 27 – Valores médios para cada métrica por cada variante da abordagem V4, usando Random Forests. Por observação do Quadro 27, constata-se que com esta nova abordagem o maior valor médio obtido para a métrica Lucro é o da variante V4.v3, com o valor de 97,06%. Por outro lado, a variante V4.v7 é a que minimiza a métrica Erro, obtendo um valor de 0,3210. Constata-se ainda que a maximização do lucro não significa uma diminuição do erro. Note-se que para a métrica Lucro, os valores obtidos nesta abordagem são piores do que os valores obtidos nas abordagens V2 e V3. Porém são melhores do que os valores obtidos nas abordagens V0 e V1. Para a métrica Erro, os valores obtidos nesta abordagem são piores do que os valores obtidos nas abordagens V0 e V1. Porém são melhores do que os valores obtidos nas abordagens V2 e V3. Na Figura 29 e na Figura 30, pode-se observar as boxplots com a informação detalhada sobre a distribuição dos valores das métricas Lucro e Erro, obtidos nas 10 repetições para cada variante das Random Forests.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 61 Figura 29 – Boxplots para a métrica Lucro, usando Random Forests, para a abordagem V4. Figura 30 – Boxplots para a métrica Erro, usando Random Forests, para a abordagem V4. Face às variações verificadas para cada variante, foi efetuada uma análise para validar se as diferenças entre as variantes são estatisticamente significativas, no que concerne à métrica Lucro. Os resultados obtidos constam do Quadro 28. Modelos comparados Modelos base V4.v1 V4.v2 V4.v3 V4.v4 V4.v5 V4.v6 V4.v7 V4.v8 V4.v9 V4.v3 - n.a. - - - - - - Quadro 28 – Significância estatística para a métrica Lucro, usando Random Forests, para a abordagem V4. Em quase todas as comparações, as diferenças entre os modelos são estatisticamente significativas e as variantes com as quais a variante V4.v3 é comparada revelam valores inferiores. Assim sendo, considera-se esta variante V4.v3 como a melhor variante da abordagem V4 para a métrica Lucro. No que diz respeito à métrica Erro, o resultado dos testes de significância estatística constam do Quadro 29, a seguir apresentado. Modelos comparados Modelos base V4.v1 V4.v2 V4.v3 V4.v4 V4.v5 V4.v6 V4.v7 V4.v8 V4.v9 V4.v7 + + + + + + n.a. + + Quadro 29 – Significância estatística para a métrica Erro, usando Random Forests, para a abordagem V4. lucro RandFor_v4.v1 RandFor_v4.v2 RandFor_v4.v3 RandFor_v4.v4 RandFor_v4.v5 RandFor_v4.v6 RandFor_v4.v7 RandFor_v4.v8 RandFor_v4.v9 96.0 96.5 97.0 97.5 Classe err RandFor_v4.v1 RandFor_v4.v2 RandFor_v4.v3 RandFor_v4.v4 RandFor_v4.v5 RandFor_v4.v6 RandFor_v4.v7 RandFor_v4.v8 RandFor_v4.v9 0.315 0.320 0.325 0.330 Classe
62 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente No Quadro 29 podemos constatar que em todas as comparações, as diferenças entre os modelos são estatisticamente significativas e as variantes com as quais a variante V4.v7 é comparada revelam valores superiores. Assim sendo, considera-se a variante V4.v7 como a melhor variante da abordagem V4 para a métrica Erro. Para comparação, a seguir é apresentada a Figura 31 e a Figura 32, com as boxplots com a informação detalhada sobre a distribuição dos valores das métricas Lucro e Erro, obtidos nas 10 repetições para cada variante das Árvores de Decisão, acompanhadas da boxplot da variante das Random Forests que obteve melhores resultados para a respetiva métrica. Figura 31 – Boxplots para a métrica Lucro, usando Árvores de Decisão, para a abordagem V4. Figura 32 – Boxplots para a métrica Erro, usando Árvores de Decisão para a abordagem V4. Constata-se, pela Figura 31, que os valores obtidos para a métrica Lucro, são em geral inferiores aos obtidos para a variante RandFor_V4.v3 das Random Forests, para a abordagem V4. De todas as variantes usando Árvores de Decisão, a variante arvore_v4.v3 é a que regista melhor valor para a métrica Lucro, contudo é também esta a variante que obtém os piores valores para a métrica Erro, conforme Figura 32. Observa-se ainda que, para a métrica Erro, os valores têm grande variabilidade entre as variantes. Do conjunto de modelos obtidos usando Árvores de Decisão, a variante arvore_v4.v1 é a que regista um melhor valor para a métrica Erro, cuja mediana chega a ser inferior à obtida pela variante RandFor_V4.v7 das Random Forests. Porém este modelo é também aquele que tem pior valor para a métrica Lucro. Note-se mais uma vez, que a dispersão dos resultados dos vários modelos para cada variante é mais elevada usando Árvores de Decisão do que Random Forests. Recorrendo novamente à análise da significância estatística das diferenças observadas, para a variante com melhor resultado das Random Forests com as várias lucro arvore_v4.v1 arvore_v4.v2 arvore_v4.v3 RandFor_v4.v3 92 93 94 95 96 97 98 Classe err arvore_v4.v1 arvore_v4.v2 arvore_v4.v3 RandFor_v4.v7 0.30 0.32 0.34 0.36 Classe
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 63 variantes das Árvores de Decisão, para as métricas Erro e Lucro, obteve-se o Quadro 30 e o Quadro 31. Modelos comparados Modelo base Arvore_V4.v1 Arvore_V4.v2 Arvore_V4.v3 RandFor_V4.v7 - + Quadro 30 – Significância estatística para a métrica Erro, para a abordagem V4. Modelos comparados Modelo base Arvore_V4.v1 Arvore_V4.v2 Arvore_V4.v3 RandFor_V4.v3 - - - Quadro 31 – Significância estatística para a métrica Lucro, para a abordagem V4. Pelo Quadro 30 e pelo Quadro 31 comprova-se que as diferenças que levaram aos comentários anteriores têm significância estatística. Quanto às métricas Precision e Recall, na Figura 33 constam as boxplots com a informação detalhada sobre a distribuição dos valores destas métricas, obtidos nas 10 repetições para cada variante das Random Forests. Através da Figura 33, constata-se que os valores da métrica Precision para a classe REC estão sempre acima dos 15% e os valores da métrica Recall para a classe REC estão sempre acima de 81%, para cada uma das variantes. A métrica Precision para a classe APR regista valores acima dos 97% e a métrica Recall para a classe APR regista valores acima de 65%, para cada uma das variantes.
64 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente % Precision APR % Recall APR % Precision REC % Recall REC Figura 33 – Boxplots das métricas Precision e Recall para as classes APR e REC, usando Random Forests, para a abordagem V4. 4.6. Comparação das abordagens As diferentes abordagens utilizadas procuram encontrar um modelo ótimo para o processo de decisão Pay No Pay, que se ajuste às características do segmento de prec.A RandFor_v4.v1 RandFor_v4.v2 RandFor_v4.v3 RandFor_v4.v4 RandFor_v4.v5 RandFor_v4.v6 RandFor_v4.v7 RandFor_v4.v8 RandFor_v4.v9 0.979 0.980 0.981 0.982 0.983 Classe rec.A RandFor_v4.v1 RandFor_v4.v2 RandFor_v4.v3 RandFor_v4.v4 RandFor_v4.v5 RandFor_v4.v6 RandFor_v4.v7 RandFor_v4.v8 RandFor_v4.v9 0.655 0.660 0.665 0.670 Classe prec.R RandFor_v4.v1 RandFor_v4.v2 RandFor_v4.v3 RandFor_v4.v4 RandFor_v4.v5 RandFor_v4.v6 RandFor_v4.v7 RandFor_v4.v8 RandFor_v4.v9 0.155 0.160 0.165 Classe rec.R RandFor_v4.v1 RandFor_v4.v2 RandFor_v4.v3 RandFor_v4.v4 RandFor_v4.v5 RandFor_v4.v6 RandFor_v4.v7 RandFor_v4.v8 RandFor_v4.v9 0.82 0.83 0.84 0.85 Classe
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 65 Negócios e que ao mesmo tempo procure sensibilizar os gestores de conta ou cliente para a cultura do risco de crédito, maximizando o lucro. O Quadro 32 resume os melhores resultados dos modelos que maximizam o lucro, para cada abordagem. Modelo Precision APR Recall APR Precision REC Recall REC Erro Lucro RandFor_V0.v7 0,9891 0,9982 0,9735 0,8599 0,0118 0,7441 RandFor_V1.v27 0,9986 0,9080 0,4553 0,9840 0,0865 0,8208 RandFor_V2.v3 0,9798 0,6095 0,1438 0,8390 0,3739 0,9954 RandFor_V3.v2 0,9795 0,5983 0,1404 0,8395 0,3842 1,0000 RandFor_V4.v3 0,9805 0,6574 0,1597 0,8331 0,3299 0,9706 Quadro 32 – Comparação de abordagens Pode-se verificar que, independentemente do método utilizado, a abordagem V0 é aquela que apresenta piores valores para a métrica Lucro, com valores a rondar os 74%. Recorde-se que esta abordagem procura minimizar os erros. A abordagem V1, que testa cortes na probabilidade da classe APR, obtém melhores resultados que a abordagem V0. Porém a abordagem V2, que decide com base previsão ajustada pela matriz de benefícios consegue ainda melhores resultados para a métrica Lucro, do que as abordagens anteriores. A abordagem V3, que consiste na adição de um critério expert baseado no descoberto provocado é a abordagem que consegue melhores resultados no que diz respeito à métrica Lucro, com um valor de 100%. A abordagem V4, que utiliza um critério expert baseado na relação entre o descoberto provado e o montante da transação, não consegue obter melhor resultado que a abordagem V2. No que diz respeito à métrica Erro, por observação do Quadro 32, constata-se que a melhor abordagem é a V0, com valores abaixo dos 2%, que é a pior das abordagens para a métrica Lucro. A pior abordagem para a métrica Erro é a abordagem V3, com valores próximos dos 38%. Os resultados para as métricas Precision para a classe APR e REC e Recall para a classe APR, acompanham os resultados obtidos para a métrica Erro. Por outras palavras, os melhores resultados são obtidos na abordagem V0, onde a Precision para a classe APR e REC ronda os 99% e os 97%, respetivamente, e a métrica Recall para a classe APR ronda os 100%. Os piores resultados para estas métricas são obtidos na abordagem V3.
66 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Já a métrica Recall para a classe REC, apresenta um comportamento diferente das restantes. O melhor resultado é obtido na abordagem V1 é de 98%, que resulta de um corte de 95% na probabilidade da classe APR.O pior resultado é de 83,31%, que é obtido na abordagem V4. A abordagem V3 tem um resultado semelhante à abordagem V2. O resultado desta métrica é assim influenciado pelo número reduzido de casos na população com a classe REC. Esta análise permite ainda constatar que nenhum dos modelos é ótimo, ou seja, consegue obter bons resultados em todas as métricas. A maximização da métrica Lucro conduz a maiores valores da métrica Erro e menores valores das métricas Precision e Recall para cada classe, que não é o pretendido. Neste trabalho foi mais valorizada a métrica Lucro e as abordagens utilizadas procuravam a maximização desta mesma métrica. Com base neste critério, deve ser escolhido o modelo RandFor_V3.v2. Porém, se fosse privilegiada a minimização dos erros e, assim evitar insatisfação do cliente, então o modelo a escolher deve ser o RandFor_V0.v7. Qualquer um dos restantes modelos obtém um resultado intermédio entre estes dois extremos. Dado que cada erro tem custos distintos, pode-se ainda querer tomar uma decisão de forma a evitar erros numa classe em particular. Em particular, se o objetivo fosse identificar corretamente o maior número possível de casos da classe APR deveria ser escolhido o modelo RandFor_V0.v7. Se o objetivo fosse identificar corretamente o maior número possível de casos da classe REC deveria ser escolhido o modelo RandFor_V1.v27.
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 67 5. Conclusão Este trabalho foca a utilização de métodos de classificação para desenvolver um modelo de Pay No Pay (pagar ou não pagar) para o segmento de Negócios. Foram construídos vários modelos de previsão usando árvores de decisão e Random Forests. Estes modelos foram encadeados com modelos de decisão, mantendo-se o objetivo de prever o incumprimento a 22 dias úteis após o pagamento da transação. Com o objetivo de maximizar o lucro e minimizar os erros cometidos, várias abordagens foram efetuadas e cada tipo de método foi testado usando parâmetros distintos. O estudo foi iniciado por uma abordagem exclusivamente baseada em modelos de previsão, procurando minimizar o número de erros cometidos, independentemente do impacto que cada erro teria no lucro obtido. Esta abordagem foi denominada de V0. Com o objetivo de testar o impacto de cada tipo de erro em função da confiança associada a cada previsão, a abordagem V1, além do modelo de previsão, inclui um modelo de decisão baseado na probabilidade da classe “aprovação”. Com a abordagem V2, procurou-se decidir a transação com base na confiança associada à previsão, mas tendo em conta a matriz de benefícios para cada transação. Na abordagem V3 é acrescentado um critério expert baseado no descoberto provocado pela transação. Na abordagem V4, em semelhança à abordagem V3, é utilizado um critério expert, mas neste caso é um critério que relaciona o descoberto provocado com o montante da transação. Das várias abordagens ao problema resultou que nenhum dos modelos testados obteve resultados ótimos em todas as métricas. A maximização do lucro implicou um aumento dos valores para a métrica Erro, que não era pretendida, e uma diminuição nos valores das métricas Precision e Recall associadas a cada classe, que também não era pretendida. Não sendo possível otimizar todas as métricas, privilegiou-se a maximização da métrica Lucro e, para esta métrica, os resultados obtidos permitiram concluir que o método das Random Forests é mais estável e obtém melhores resultados do que o método das Árvores de Decisão.
74 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Anexo B – Quadros com os resultados obtidos nas experiências comparativas Modelo ntree Mtry Est prec.A rec.A prec.R rec.R err % lucro V0.v1 500 5 Med 0,9885 0,9983 0,9754 0,8517 0,0123 74,06 DP 0,0005 0,0003 0,0051 0,0059 0,0005 1,55 Min 0,9876 0,9979 0,9683 0,8436 0,0117 70,59 Max 0,9894 0,9988 0,9832 0,8607 0,0131 75,98 V0.v2 1000 5 Med 0,9885 0,9983 0,9756 0,8518 0,0123 73,82 DP 0,0005 0,0004 0,0060 0,0057 0,0005 1,48 Min 0,9876 0,9978 0,9673 0,8436 0,0116 70,75 Max 0,9896 0,9989 0,9847 0,8620 0,0132 75,49 V0.v3 1500 5 Med 0,9885 0,9984 0,9759 0,8520 0,0123 73,85 DP 0,0006 0,0004 0,0055 0,0065 0,0006 1,49 Min 0,9876 0,9979 0,9688 0,8436 0,0115 70,77 Max 0,9896 0,9989 0,9847 0,8620 0,0132 75,62 V0.v4 500 7 Med 0,9889 0,9982 0,9738 0,8564 0,0121 74,20 DP 0,0005 0,0003 0,0043 0,0059 0,0005 1,38 Min 0,9882 0,9978 0,9676 0,8478 0,0113 71,63 Max 0,9899 0,9987 0,9811 0,8662 0,0129 75,67 V0.v5 1000 7 Med 0,9890 0,9983 0,9747 0,8580 0,0119 74,25 DP 0,0005 0,0003 0,0043 0,0066 0,0005 1,39 Min 0,9883 0,9978 0,9676 0,8478 0,0111 71,75 Max 0,9901 0,9987 0,9812 0,8682 0,0128 75,66 V0.v6 1500 7 Med 0,9890 0,9983 0,9752 0,8574 0,0119 74,20 DP 0,0005 0,0003 0,0045 0,0066 0,0006 1,37 Min 0,9881 0,9979 0,9691 0,8464 0,0112 71,68 Max 0,9900 0,9988 0,9827 0,8669 0,0130 75,61 V0.v7 500 10 Med 0,9891 0,9982 0,9735 0,8599 0,0118 74,41 DP 0,0005 0,0003 0,0051 0,0065 0,0005 1,55 Min 0,9883 0,9977 0,9661 0,8471 0,0111 71,32 Max 0,9901 0,9988 0,9835 0,8689 0,0129 75,74 V0.v8 1000 10 Med 0,9891 0,9982 0,9735 0,8593 0,0119 74,32 DP 0,0005 0,0003 0,0045 0,0057 0,0005 1,56 Min 0,9881 0,9978 0,9675 0,8491 0,0114 71,16 Max 0,9900 0,9987 0,9819 0,8675 0,0131 75,80 V0.v9 1500 10 Med 0,9891 0,9982 0,9742 0,8593 0,0118 74,36 DP 0,0005 0,0003 0,0044 0,0055 0,0005 1,57 Min 0,9881 0,9979 0,9685 0,8495 0,0112 71,22 Max 0,9900 0,9987 0,9812 0,8669 0,0131 75,78 Quadro 34 – Resultados da abordagem V0 usando Random Forests
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 75 Modelo SE Est prec.A rec.A prec.R rec.R Err % lucro arvore_v0.v1 0 Med 0,9842 0,9904 0,8671 0,7967 0,0236 70,59 DP 0,0010 0,0011 0,0120 0,0138 0,0008 3,35 Min 0,9826 0,9884 0,8431 0,7741 0,0219 62,08 Max 0,9864 0,9917 0,8813 0,8197 0,0246 72,72 arvore_v0.v2 0.5 Med 0,9830 0,9916 0,8797 0,7811 0,0236 69,90 DP 0,0014 0,0010 0,0125 0,0171 0,0009 3,26 Min 0,9813 0,9897 0,8569 0,7564 0,0216 61,86 Max 0,9857 0,9926 0,8940 0,8107 0,0247 72,54 arvore_v0.v3 1 Med 0,9816 0,9922 0,8839 0,7623 0,0245 68,67 DP 0,0010 0,0007 0,0090 0,0124 0,0010 4,51 Min 0,9797 0,9912 0,8696 0,7426 0,0236 56,90 Max 0,9832 0,9934 0,8968 0,7767 0,0266 72,07 Quadro 35 – Resultados da abordagem V0 usando Árvores de Decisão Modelo Ntree mtry cut Est prec.A rec.A prec.R rec.R Err % lucro V1.v1 500 5 0.6 Med 0,9912 0,9965 0,9515 0,8874 0,0114 75,78 DP 0,0005 0,0004 0,0059 0,0054 0,0005 1,45 Min 0,9907 0,9959 0,9439 0,8775 0,0104 73,08 Max 0,9921 0,9972 0,9617 0,8953 0,0120 77,35 V1.v2 1000 5 0.6 Med 0,9912 0,9965 0,9517 0,8869 0,0115 75,79 DP 0,0004 0,0004 0,0057 0,0051 0,0004 1,41 Min 0,9905 0,9958 0,9423 0,8775 0,0107 73,15 Max 0,9920 0,9972 0,9615 0,8939 0,0122 77,24 V1.v3 1500 5 0.6 Med 0,9912 0,9965 0,9516 0,8872 0,0115 75,77 DP 0,0005 0,0004 0,0054 0,0057 0,0004 1,36 Min 0,9905 0,9958 0,9423 0,8761 0,0108 73,16 Max 0,9920 0,9970 0,9594 0,8946 0,0123 77,11 V1.v4 500 7 0.6 Med 0,9915 0,9964 0,9510 0,8910 0,0112 76,04 DP 0,0005 0,0004 0,0056 0,0063 0,0004 1,36 Min 0,9905 0,9958 0,9425 0,8799 0,0105 73,60 Max 0,9923 0,9971 0,9603 0,8981 0,0120 77,66 V1.v5 1000 7 0.6 Med 0,9915 0,9964 0,9509 0,8902 0,0113 75,98 DP 0,0005 0,0004 0,0048 0,0062 0,0004 1,48 Min 0,9906 0,9959 0,9432 0,8803 0,0106 73,35 Max 0,9923 0,9971 0,9602 0,8988 0,0121 77,52 V1.v6 1500 7 0.6 Med 0,9915 0,9965 0,9515 0,8905 0,0112 76,01 DP 0,0005 0,0003 0,0046 0,0061 0,0004 1,40 Min 0,9906 0,9960 0,9446 0,8803 0,0105 73,34 Max 0,9923 0,9972 0,9610 0,8981 0,0121 77,52 V1.v7 500 10 0.6 Med 0,9916 0,9963 0,9493 0,8923 0,0113 76,14 DP 0,0004 0,0003 0,0048 0,0053 0,0004 1,34
76 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Min 0,9911 0,9956 0,9397 0,8824 0,0105 73,83 Max 0,9922 0,9968 0,9570 0,8982 0,0116 77,54 V1.v8 1000 10 0.6 Med 0,9916 0,9963 0,9490 0,8916 0,0113 76,11 DP 0,0004 0,0004 0,0055 0,0052 0,0003 1,47 Min 0,9910 0,9955 0,9377 0,8824 0,0108 73,46 Max 0,9922 0,9968 0,9558 0,8974 0,0118 77,61 V1.v9 1500 10 0.6 Med 0,9916 0,9963 0,9490 0,8920 0,0113 76,13 DP 0,0004 0,0004 0,0053 0,0057 0,0003 1,48 Min 0,9910 0,9956 0,9390 0,8810 0,0107 73,45 Max 0,9922 0,9968 0,9562 0,8983 0,0117 77,60 V1.v10 500 5 0.8 Med 0,9956 0,9841 0,8231 0,9438 0,0188 78,31 DP 0,0003 0,0011 0,0102 0,0041 0,0009 1,32 Min 0,9950 0,9823 0,8090 0,9383 0,0178 76,25 Max 0,9962 0,9857 0,8371 0,9512 0,0205 79,86 V1.v11 1000 5 0.8 Med 0,9956 0,9843 0,8244 0,9442 0,0186 78,36 DP 0,0004 0,0012 0,0104 0,0042 0,0010 1,29 Min 0,9950 0,9819 0,8067 0,9380 0,0174 76,29 Max 0,9962 0,9858 0,8377 0,9512 0,0209 79,87 V1.v12 1500 5 0.8 Med 0,9956 0,9842 0,8235 0,9441 0,0187 78,34 DP 0,0004 0,0011 0,0103 0,0045 0,0009 1,30 Min 0,9949 0,9822 0,8095 0,9373 0,0175 76,29 Max 0,9962 0,9858 0,8369 0,9512 0,0205 79,89 V1.v13 500 7 0.8 Med 0,9956 0,9840 0,8224 0,9444 0,0188 78,37 DP 0,0004 0,0013 0,0119 0,0041 0,0010 1,34 Min 0,9949 0,9819 0,8068 0,9366 0,0176 76,44 Max 0,9962 0,9856 0,8377 0,9512 0,0208 80,05 V1.v14 1000 7 0.8 Med 0,9956 0,9842 0,8242 0,9444 0,0186 78,30 DP 0,0004 0,0012 0,0113 0,0043 0,0010 1,23 Min 0,9949 0,9820 0,8077 0,9373 0,0174 76,43 Max 0,9963 0,9860 0,8404 0,9525 0,0207 79,85 V1.v15 1500 7 0.8 Med 0,9956 0,9843 0,8247 0,9443 0,0186 78,31 DP 0,0004 0,0012 0,0109 0,0046 0,0010 1,25 Min 0,9949 0,9821 0,8087 0,9373 0,0174 76,37 Max 0,9964 0,9859 0,8396 0,9539 0,0206 79,84 V1.v16 500 10 0.8 Med 0,9957 0,9839 0,8210 0,9451 0,0189 78,27 DP 0,0005 0,0012 0,0109 0,0056 0,0011 1,25 Min 0,9951 0,9816 0,8038 0,9389 0,0177 76,45 Max 0,9965 0,9852 0,8332 0,9559 0,0212 79,94 V1.v17 1000 10 0.8 Med 0,9956 0,9840 0,8220 0,9448 0,0188 78,27 DP 0,0004 0,0012 0,0110 0,0053 0,0011 1,22 Min 0,9949 0,9818 0,8055 0,9373 0,0175 76,48 Max 0,9964 0,9856 0,8369 0,9539 0,0211 79,91 V1.v18 1500 10 0.8 Med 0,9956 0,9840 0,8221 0,9449 0,0188 78,27 DP 0,0004 0,0013 0,0118 0,0049 0,0012 1,22 Min 0,9950 0,9816 0,8043 0,9380 0,0174 76,47
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 77 Max 0,9964 0,9858 0,8391 0,9545 0,0212 79,89 V1.v19 500 5 0.95 Med 0,9986 0,9031 0,4426 0,9842 0,0910 81,87 DP 0,0003 0,0021 0,0077 0,0031 0,0018 0,87 Min 0,9982 0,9003 0,4313 0,9790 0,0883 80,28 Max 0,9991 0,9063 0,4537 0,9898 0,0933 82,84 V1.v20 1000 5 0.95 Med 0,9987 0,9029 0,4423 0,9846 0,0911 81,88 DP 0,0003 0,0021 0,0073 0,0033 0,0018 0,93 Min 0,9982 0,9001 0,4292 0,9790 0,0890 80,24 Max 0,9991 0,9056 0,4535 0,9898 0,0935 83,16 V1.v21 1500 5 0.95 Med 0,9987 0,9027 0,4416 0,9844 0,0914 81,88 DP 0,0003 0,0019 0,0068 0,0034 0,0015 0,93 Min 0,9981 0,9000 0,4316 0,9783 0,0892 80,23 Max 0,9991 0,9051 0,4528 0,9898 0,0936 83,18 V1.v22 500 7 0.95 Med 0,9986 0,9060 0,4500 0,9841 0,0884 82,05 DP 0,0003 0,0023 0,0083 0,0032 0,0021 0,88 Min 0,9983 0,9027 0,4397 0,9799 0,0852 80,40 Max 0,9990 0,9097 0,4624 0,9879 0,0911 83,08 V1.v23 1000 7 0.95 Med 0,9986 0,9055 0,4487 0,9843 0,0888 82,02 DP 0,0002 0,0019 0,0071 0,0028 0,0016 0,90 Min 0,9983 0,9026 0,4393 0,9803 0,0860 80,26 Max 0,9991 0,9088 0,4598 0,9891 0,0913 83,16 V1.v24 1500 7 0.95 Med 0,9986 0,9057 0,4491 0,9841 0,0887 81,91 DP 0,0002 0,0021 0,0078 0,0026 0,0018 0,90 Min 0,9984 0,9023 0,4388 0,9810 0,0864 80,26 Max 0,9990 0,9083 0,4602 0,9878 0,0916 83,06 V1.v25 500 10 0.95 Med 0,9986 0,9086 0,4569 0,9836 0,0860 82,07 DP 0,0002 0,0019 0,0077 0,0027 0,0017 0,90 Min 0,9983 0,9059 0,4477 0,9802 0,0832 80,41 Max 0,9990 0,9118 0,4705 0,9878 0,0884 83,18 V1.v26 1000 10 0.95 Med 0,9986 0,9081 0,4556 0,9840 0,0864 82,08 DP 0,0002 0,0019 0,0067 0,0025 0,0017 0,84 Min 0,9983 0,9054 0,4471 0,9802 0,0840 80,60 Max 0,9989 0,9109 0,4665 0,9871 0,0887 83,09 V1.v27 1500 10 0.95 Med 0,9986 0,9080 0,4553 0,9840 0,0865 82,08 DP 0,0003 0,0020 0,0068 0,0029 0,0017 0,89 Min 0,9983 0,9050 0,4457 0,9796 0,0837 80,34 Max 0,9990 0,9113 0,4646 0,9878 0,0891 83,08 Quadro 36 – Resultados da abordagem V1 usando Random Forests Modelo ntree mtry Est prec.A rec.A prec.R rec.R err % lucro V2.v1 500 5 Med 0,9797 0,6103 0,1439 0,8384 0,3732 99,41 DP 0,0013 0,0021 0,0026 0,0092 0,0020 0,54 Min 0,9777 0,6072 0,1399 0,8251 0,3694 98,57
78 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Max 0,9819 0,6133 0,1479 0,8540 0,3756 100,13 V2.v2 1000 5 Med 0,9798 0,6095 0,1438 0,8390 0,3739 99,54 DP 0,0012 0,0026 0,0026 0,0087 0,0024 0,54 Min 0,9778 0,6058 0,1397 0,8264 0,3704 98,62 Max 0,9818 0,6128 0,1473 0,8540 0,3769 100,24 V2.v3 1500 5 Med 0,9798 0,6095 0,1438 0,8390 0,3739 99,54 DP 0,0013 0,0025 0,0026 0,0093 0,0023 0,55 Min 0,9778 0,6060 0,1398 0,8264 0,3703 98,62 Max 0,9819 0,6126 0,1476 0,8547 0,3767 100,27 V2.v4 500 7 Med 0,9799 0,6149 0,1454 0,8384 0,3689 99,18 DP 0,0013 0,0027 0,0025 0,0096 0,0024 0,55 Min 0,9780 0,6093 0,1413 0,8264 0,3649 98,35 Max 0,9821 0,6181 0,1488 0,8547 0,3725 99,94 V2.v5 1000 7 Med 0,9800 0,6144 0,1453 0,8392 0,3693 99,26 DP 0,0013 0,0019 0,0026 0,0093 0,0018 0,55 Min 0,9779 0,6116 0,1411 0,8264 0,3659 98,37 Max 0,9821 0,6169 0,1495 0,8547 0,3720 100,00 V2.v6 1500 7 Med 0,9800 0,6143 0,1453 0,8393 0,3694 99,28 DP 0,0012 0,0019 0,0026 0,0092 0,0018 0,55 Min 0,9780 0,6108 0,1412 0,8264 0,3661 98,41 Max 0,9821 0,6167 0,1491 0,8554 0,3714 100,03 V2.v7 500 10 Med 0,9801 0,6188 0,1468 0,8393 0,3652 98,97 DP 0,0013 0,0029 0,0030 0,0099 0,0028 0,57 Min 0,9783 0,6153 0,1422 0,8277 0,3606 98,05 Max 0,9823 0,6237 0,1510 0,8554 0,3684 99,79 V2.v8 1000 10 Med 0,9801 0,6181 0,1466 0,8394 0,3658 99,06 DP 0,0013 0,0023 0,0028 0,0094 0,0023 0,53 Min 0,9783 0,6152 0,1422 0,8277 0,3619 98,24 Max 0,9823 0,6217 0,1506 0,8554 0,3691 99,79 V2.v9 1500 10 Med 0,9801 0,6179 0,1465 0,8395 0,3661 99,09 DP 0,0013 0,0023 0,0027 0,0094 0,0022 0,54 Min 0,9782 0,6148 0,1424 0,8271 0,3617 98,27 Max 0,9822 0,6215 0,1504 0,8547 0,3690 99,88 Quadro 37 – Resultados da abordagem V2 usando Random Forests Modelo SE Est prec.A rec.A prec.R rec.R Err % lucro arvore_v2.v1 0 Med 0,9738 0,6408 0,1452 0,7797 0,3492 95,76 DP 0,0016 0,0149 0,0064 0,0099 0,0141 1,00 Min 0,9709 0,6086 0,1318 0,7653 0,3341 93,97 Max 0,9758 0,6570 0,1510 0,7936 0,3801 97,44 arvore_v2.v2 0.5 Med 0,9729 0,6229 0,1390 0,7781 0,3658 97,12 DP 0,0019 0,0133 0,0047 0,0116 0,0125 0,97 Min 0,9701 0,5958 0,1282 0,7611 0,3547 95,86 Max 0,9752 0,6348 0,1437 0,7929 0,3920 98,85 arvore_v2.v3 1 Med 0,9720 0,6049 0,1334 0,7770 0,3826 98,43
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 79 DP 0,0019 0,0178 0,0067 0,0119 0,0167 1,28 Min 0,9687 0,5778 0,1221 0,7597 0,3570 96,07 Max 0,9743 0,6319 0,1430 0,7927 0,4084 100,74 Quadro 38 – Resultados da abordagem V2 usando Árvores de Decisão Modelo ntree mtry Est prec.A rec.A prec.R rec.R err % lucro V3.v1 500 5 Med 0,9794 0,5988 0,1405 0,8389 0,3838 99,90 DP 0,0013 0,0021 0,0026 0,0093 0,0020 0,53 Min 0,9773 0,5963 0,1363 0,8251 0,3803 99,13 Max 0,9817 0,6015 0,1445 0,8554 0,3864 100,62 V3.v2 1000 5 Med 0,9795 0,5983 0,1404 0,8395 0,3842 100,00 DP 0,0012 0,0026 0,0026 0,0088 0,0024 0,52 Min 0,9774 0,5948 0,1362 0,8264 0,3811 99,12 Max 0,9817 0,6016 0,1440 0,8554 0,3874 100,73 V3.v3 1500 5 Med 0,9795 0,5984 0,1404 0,8395 0,3841 100,00 DP 0,0013 0,0024 0,0026 0,0093 0,0022 0,53 Min 0,9774 0,5950 0,1363 0,8264 0,3811 99,12 Max 0,9817 0,6014 0,1443 0,8561 0,3873 100,75 V3.v4 500 7 Med 0,9796 0,6034 0,1418 0,8389 0,3796 99,68 DP 0,0013 0,0025 0,0025 0,0096 0,0022 0,53 Min 0,9776 0,5989 0,1375 0,8264 0,3760 98,89 Max 0,9819 0,6061 0,1455 0,8561 0,3823 100,47 V3.v5 1000 7 Med 0,9796 0,6030 0,1419 0,8397 0,3798 99,74 DP 0,0013 0,0018 0,0026 0,0094 0,0018 0,54 Min 0,9775 0,6001 0,1375 0,8264 0,3767 98,90 Max 0,9819 0,6052 0,1461 0,8561 0,3827 100,50 V3.v6 1500 7 Med 0,9797 0,6031 0,1419 0,8397 0,3797 99,74 DP 0,0013 0,0018 0,0025 0,0092 0,0017 0,54 Min 0,9776 0,6004 0,1376 0,8264 0,3767 98,91 Max 0,9820 0,6052 0,1458 0,8568 0,3820 100,53 V3.v7 500 10 Med 0,9798 0,6073 0,1432 0,8398 0,3759 99,46 DP 0,0013 0,0029 0,0029 0,0099 0,0028 0,55 Min 0,9779 0,6034 0,1385 0,8277 0,3713 98,60 Max 0,9821 0,6120 0,1472 0,8568 0,3794 100,28 V3.v8 1000 10 Med 0,9798 0,6068 0,1430 0,8399 0,3763 99,54 DP 0,0013 0,0021 0,0027 0,0095 0,0022 0,51 Min 0,9779 0,6044 0,1386 0,8277 0,3726 98,75 Max 0,9821 0,6103 0,1471 0,8568 0,3790 100,29 V3.v9 1500 10 Med 0,9798 0,6066 0,1430 0,8399 0,3765 99,57 DP 0,0013 0,0023 0,0026 0,0094 0,0022 0,52 Min 0,9778 0,6040 0,1387 0,8271 0,3722 98,79 Max 0,9820 0,6100 0,1470 0,8561 0,3789 100,37 Quadro 39 – Resultados da abordagem V3 usando Random Forests
80 FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente Modelo SE Est prec.A rec.A prec.R rec.R err % lucro arvore_v3.v1 0 Med 0,9735 0,6313 0,1421 0,7802 0,3580 96,09 DP 0,0016 0,0145 0,0061 0,0099 0,0138 0,99 Min 0,9706 0,5995 0,1293 0,7659 0,3442 94,34 Max 0,9756 0,6461 0,1478 0,7950 0,3885 97,76 arvore_v3.v2 0.5 Med 0,9726 0,6139 0,1362 0,7786 0,3741 97,41 DP 0,0019 0,0132 0,0045 0,0115 0,0124 1,00 Min 0,9699 0,5867 0,1258 0,7624 0,3627 96,12 Max 0,9750 0,6267 0,1407 0,7943 0,4004 99,18 arvore_v3.v3 1 Med 0,9716 0,5964 0,1310 0,7774 0,3905 98,69 DP 0,0018 0,0170 0,0063 0,0118 0,0160 1,25 Min 0,9684 0,5708 0,1204 0,7611 0,3664 96,34 Max 0,9740 0,6230 0,1397 0,7929 0,4149 100,87 Quadro 40 – Resultados da abordagem V3 usando Árvores de Decisão Modelo ntree mtry Est prec.A rec.A prec.R rec.R err % lucro V4.v1 500 5 Med 0,9805 0,6585 0,1600 0,8324 0,3289 96,94 DP 0,0012 0,0024 0,0032 0,0100 0,0024 0,46 Min 0,9786 0,6546 0,1553 0,8191 0,3240 96,22 Max 0,9828 0,6625 0,1640 0,8506 0,3318 97,49 V4.v2 1000 5 Med 0,9805 0,6575 0,1597 0,8330 0,3298 97,05 DP 0,0012 0,0029 0,0032 0,0097 0,0028 0,46 Min 0,9787 0,6531 0,1549 0,8205 0,3249 96,33 Max 0,9828 0,6615 0,1635 0,8506 0,3334 97,56 V4.v3 1500 5 Med 0,9805 0,6574 0,1597 0,8331 0,3299 97,06 DP 0,0012 0,0030 0,0032 0,0100 0,0028 0,47 Min 0,9787 0,6528 0,1549 0,8205 0,3249 96,32 Max 0,9829 0,6615 0,1634 0,8513 0,3332 97,62 V4.v4 500 7 Med 0,9807 0,6629 0,1618 0,8327 0,3248 96,73 DP 0,0013 0,0032 0,0031 0,0103 0,0029 0,48 Min 0,9789 0,6564 0,1568 0,8205 0,3193 95,96 Max 0,9829 0,6676 0,1657 0,8506 0,3292 97,49 V4.v5 1000 7 Med 0,9807 0,6622 0,1616 0,8332 0,3254 96,80 DP 0,0012 0,0026 0,0032 0,0099 0,0026 0,46 Min 0,9788 0,6582 0,1569 0,8205 0,3206 96,05 Max 0,9829 0,6661 0,1657 0,8506 0,3285 97,33 V4.v6 1500 7 Med 0,9807 0,6620 0,1616 0,8334 0,3255 96,82 DP 0,0012 0,0026 0,0031 0,0099 0,0025 0,47 Min 0,9788 0,6575 0,1566 0,8205 0,3209 96,08 Max 0,9830 0,6657 0,1654 0,8513 0,3283 97,38 V4.v7 500 10 Med 0,9808 0,6669 0,1636 0,8333 0,3210 96,50 DP 0,0013 0,0031 0,0035 0,0105 0,0031 0,48 Min 0,9791 0,6629 0,1583 0,8216 0,3152 95,71 Max 0,9831 0,6718 0,1680 0,8513 0,3249 97,02 V4.v8 1000 10 Med 0,9808 0,6660 0,1632 0,8334 0,3219 96,60
FCUP Estudo comparativo de abordagens ao problema de débito de transações bancárias em contas com saldo insuficiente 81 DP 0,0013 0,0027 0,0034 0,0102 0,0027 0,45 Min 0,9791 0,6625 0,1579 0,8218 0,3171 95,85 Max 0,9831 0,6699 0,1675 0,8513 0,3259 97,11 V4.v9 1500 10 Med 0,9808 0,6656 0,1630 0,8334 0,3222 96,63 DP 0,0013 0,0027 0,0033 0,0101 0,0027 0,46 Min 0,9790 0,6619 0,1583 0,8211 0,3169 95,86 Max 0,9830 0,6701 0,1672 0,8506 0,3261 97,12 Quadro 41 – Resultados da abordagem V4 usando Random Forests Modelo SE Est prec.A rec.A prec.R rec.R Err % lucro arvore_v4.v1 0 Med 0,9750 0,6865 0,1622 0,7749 0,3071 93,46 DP 0,0015 0,0148 0,0079 0,0108 0,0141 0,98 Min 0,9723 0,6554 0,1462 0,7598 0,2920 91,93 Max 0,9772 0,7026 0,1691 0,7916 0,3370 95,25 arvore_v4.v2 0.5 Med 0,9742 0,6694 0,1547 0,7732 0,3230 94,76 DP 0,0018 0,0129 0,0057 0,0125 0,0123 0,99 Min 0,9716 0,6434 0,1420 0,7558 0,3105 93,45 Max 0,9767 0,6827 0,1610 0,7909 0,3482 96,61 arvore_v4.v3 1 Med 0,9734 0,6522 0,1481 0,7719 0,3391 95,99 DP 0,0018 0,0178 0,0081 0,0129 0,0168 1,29 Min 0,9703 0,6236 0,1341 0,7538 0,3128 93,45 Max 0,9756 0,6801 0,1601 0,7902 0,3663 98,07 Quadro 42 – Resultados da abordagem V4 usando Árvores de Decisão