Modelo de Identificação de Churn Rotacional nas Comunicações Móveis
Full text
Modelo de identificação de churn rotacional nas comunicações móveis por Ana Luísa Lameira Ferreira Dissertação de Mestrado em Modelação, Análise de Dados e Sistemas de Apoio à Decisão Orientada por João Manuel Portela da Gama Márcia Oliveira Faculdade de Economia Universidade do Porto 2015
Nota Biográca Ana Luísa Lameira Ferreira, nasceu em Aveiro a 4 de Fevereiro de 1992. Ingressou na Licenciatura em Economia pela Universidade de Aveiro em 2010 tendo-a completado em 2013. Ainda nesse ano, optou por seguir o seu percurso académico no Mestrado de Modelação, Análise de Dados e Sistemas de Apoio à Decisão, na Faculdade de Economia da Universidade do Porto procurando complementar a formação anterior. Em 2012 fez parte da equipa desportiva de futsal do curso de Economia, pela Universidade de Aveiro. Durante um ano, até 2013, pertenceu ao Núcleo de Estudantes de Economia da Associação Académica da Universidade de Aveiro (NEEC-AAUAv) desempenhando funções na secção de Comunicação e Imagem. i
Agradecimentos À minha família, pela educação e valores que me transmitiram desde sempre e pelo apoio constante ao longo da realização desta dissertação, bem como pela paciência e compreensão demonstrada. Aos meus colegas de mestrado, pela cooperação, partilha de conhecimento e apoio mútuo. Aos meus amigos, pelo apoio, paciência e motivação que me ofereceram sempre que necessário. Ao Professor João Gama e à Márcia Oliveira, pelo conhecimento que me transmitiram e pela orientação. Este trabalho foi apoiado pela Comissão Europeia no âmbito do projeto MAESTRA (Grant number ICT-2013-612944), a quem cabe também o meu agradecimento. ii
Resumo O principal objetivo desta dissertação é a criação de uma metodologia que permita a identicação dos clientes que abandonam uma operadora de telecomunicações móveis e regressam com nova subscrição sem que a empresa tenha conhecimento que se trata do mesmo indivíduo. Deste modo, é possível detetar casos em que o churn é acionado por conveniência. Isto é, em períodos complementares, pretendemos a identicação de indivíduos semelhantes, tendo por base as respetivas comunicações com outros clientes. Este é um problema real, que causa enviesamento tanto nos dados relativos ao churn como nas taxas de sucesso das campanhas para captação de novos clientes. Para além disso, provoca despesas desnecessárias à operadora, que poderá perder dinheiro a tentar recuperar um cliente que supostamente abandonou e que oferecerá regalias a um presumível novo cliente. Ainda não existem metodologias propostas na literatura para abordar o problema do churn rotacional, pelo que será criada uma que responda às necessidades da empresa e ao problema em questão. Temos como hipótese que um cliente suspeito de ser o mesmo indivíduo que determinado churner , terá um padrão de contactos semelhante, nos dois espaços temporais complementares. Esta hipótese é baseada no facto de as redes sociais serem relativamente estáveis ao longo do tempo e portanto, de existir uma tendência para que a comunidade de determinado indivíduo não sofra grandes alterações ao longo do tempo. A metodologia apresentada é pioneira, dado que este tema foi pouco estudado, e resulta no cálculo da semelhança entre dois indivíduos com base nos clientes com que contatam, em períodos de tempo complementares. Algumas simulações foram feitas à metodologia criada, sendo que esta é aplicada a dados reais e anonimizados cedidos por uma operadora de telecomunicações. Palavras-Chave: Churn, Telecomunicações Móveis, Análise de Redes Sociais iii
Abstract The main aim of this thesis is to create a methodology to identify clients that leave a mobile network company and return as new clients, while the network has no knowledge that they are the same person. With this methodology, we can detect cases when churn is actuated by convenience, ie , we want to identify similar subjects using their communications with other clients in complimentary time periods. This is a real life problem that causes bias in the churn related data, as well as in the success rates of the campaigns targeted to obtain new clients. Moreover, this causes unnecessary spending to the network, who might be losing money while trying to gain back a client that is supposed to have left them at the same time that it is giving benets to a potential new client. There are no proposed methodologies in the literature to solve the problem of rotational churn , therefore this creates an answer for the needs of the company and to the problem described above. Our hypothesis is that a client that is suspected of being the same person as a certain churner will have a similar pattern of communications in the two complimentary time periods. This hypothesis is based in the fact that social networks are relatively stable in time and so there is a tendency that an individuals community does not change signicantly in time. This is a novel methodology, since this is a subject that has not been studied in detail and it results on a formula to determine the similarity between two individuals that is based on the clients that they contact in complimentary time periods. Some simulations were performed with this methodology, where we applied this to real data which was anonymized and provided by a mobile network. Keywords: Churn, Mobile Communications, Social Network Analysis iv
Índice Nota Biográca i Agradecimentos ii Resumo iii Abstract iv 1 Introdução e Problema 1 1.1 Introdução................................. 1 1.1.1 Motivação............................. 1 1.1.2 Objectivos............................. 3 1.1.3 Organização............................ 3 1.2 Problema ................................. 3 1.2.1 Sumário.............................. 5 2 Revisão da Literatura 7 2.1 Análise de Redes Sociais . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.1 Tipos de redes e Estatísticas . . . . . . . . . . . . . . . . . . . 10 2.1.2 Aplicações............................. 12 2.2 Ego-Redes................................. 13 2.2.1 Conceito de Ego-Rede . . . . . . . . . . . . . . . . . . . . . . 13 2.2.2 Medidas de Análise das Ego-Redes . . . . . . . . . . . . . . . 14 2.2.3 Aplicações............................. 16 2.3 Propriedades das Redes Reais e Dados de Telecomunicações . . . . . 17 2.3.1 Propriedades das Redes Reais . . . . . . . . . . . . . . . . . . 17 2.3.2 Dados de Telecomunicações . . . . . . . . . . . . . . . . . . . 18 2.4 Churn ................................... 19 2.4.1 Conceito.............................. 19 2.4.2 Aplicações............................. 20 2.4.3 Churn Rotacional ......................... 21 2.5 Sumário .................................. 21 v
3 Metodologia 22 3.1 Introdução................................. 22 3.2 Identicação dos suspeitos de churn rotacional . . . . . . . . . . . . . 24 3.3 Sumário .................................. 28 4 Caso de Estudo e Análise de Resultados 29 4.1 CasodeEstudo.............................. 29 4.1.1 Introdução............................. 29 4.1.2 Dados ............................... 29 4.1.3 Identicação dos suspeitos de churn rotacional . . . . . . . . . 31 4.2 Análise de Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.1 Introdução............................. 34 4.2.2 AnáliseGlobal .......................... 34 4.2.3 Análise individual de dois potenciais churners ......... 36 4.2.4 Sensibilidade da metodologia face ao número de elementos do entorno do potencial churner .................. 40 4.2.5 Simulação com elementos que não são potenciais churners . . 42 4.3 Sumário .................................. 43 5 Conclusões e Trabalhos Futuros 44 5.1 Conclusões................................. 44 5.2 TrabalhosFuturos............................. 45 Bibliograa 46 Anexo 49 A 49 vi
Lista de Tabelas 4.1 Exemplo do entorno do potencial churner com a identicação 151340 até ao dia X do mês 4 .......................... 32 4.2 Resultados nais obtidos . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.3 Entorno do potencial churner 25091705 até ao dia X do mês 4 . . . . 36 4.4 Entorno do suspeito de churn rotacional, 351920123744 . . . . . . . . 37 4.5 Entorno do suspeito de churn rotacional, 9740505 . . . . . . . . . . . 37 4.6 Probabilidades atribuídas ao potencial churner 25091705 e aos seus suspeitos ................................. 37 4.7 Entorno do potencial churner 40595600 até ao dia X do mês 4 . . . . 38 4.8 Entorno do potencial suspeito 41494948 após o dia X do mês 4 . . . . 39 4.9 Probabilidade atribuída ao potencial churner 40595600 e ao seu suspeito 39 A.1 Lista de todos os clientes que não são suspeitos de Churn Rotacional 50 A.2 Lista de todos os clientes que não utilizam um dos tarifários em estudo 50 A.3 Entorno do indivíduo 24613760, elemento do entorno do potencial churner 25091705............................. 50 A.4 Entorno do indivíduo 6693358, elemento do entorno do potencial churner 25091705............................. 51 A.5 União das Tabelas A.3 e A.4 . . . . . . . . . . . . . . . . . . . . . . . 51 A.6 Número de elementos do entorno do potencial churner 25091705 para o qual contactam os suspeitos iniciais . . . . . . . . . . . . . . . . . . 52 A.7 Suspeitos do potencial churner 25091705................ 52 A.8 Entorno do suspeito 22158532 depois do dia X do mês 4 ....... 52 A.9 Entorno do suspeito 351916495685 depois do dia X do mês 4 ..... 52 A.10 Lista de todos os suspeitos de churn rotacional do Grupo 1 . . . . . . 53 A.11 Lista de todos os suspeitos de churn rotacional do Grupo 2 . . . . . . 53 A.12 Entorno até ao dia X do mês 4 doID4................. 53 A.13 Entorno após o dia X do mês 4 doID4................. 53 A.14 Entorno até ao dia X do mês 4 do ID 6503426 . . . . . . . . . . . . . 53 A.15 Entorno após o dia X do mês 4 do ID 6503426 . . . . . . . . . . . . . 53 A.16 Entorno até ao dia X do mês 4 doID1006............... 54 A.17 Entorno após o dia X do mês 4 doID1006............... 54 A.18 Entorno até ao dia X do mês 4 doID286................ 54 vii
Lista de Figuras 2.1 Exemplo de uma rede social . . . . . . . . . . . . . . . . . . . . . . . 8 2.2 Grafos direcionados e não-direcionados representados através de uma listadeadjacência. ............................ 9 2.3 Grafos direcionados e não-direcionados representados através de uma matrizdeadjacência............................ 9 2.4 Exemplo de uma ego-rede . . . . . . . . . . . . . . . . . . . . . . . . 13 2.5 Componentes fraca e forte numa rede . . . . . . . . . . . . . . . . . . 15 2.6 Exemplo de uma rede sem falha estrutural . . . . . . . . . . . . . . . 15 2.7 Exemplo de uma rede com falha estrutural . . . . . . . . . . . . . . . 16 3.1 Esboço do funcionamento da metodologia . . . . . . . . . . . . . . . . 22 3.2 Distribuição da 1 a comunicação dos clientes-base considerados no estudo 23 3.3 Distribuição da última comunicação dos clientes-base considerados no estudo ................................... 23 3.4 Esquema ilustrativo da metodologia . . . . . . . . . . . . . . . . . . . 24 3.5 Ego-rede de um potencial churner obtida no período A . . . . . . . . 25 3.6 Ego-rede de um elemento do entorno de um potencial churner obtida noperíodoB ............................... 26 3.7 Exemplo de resultado obtido para um potencial churner , com os seus suspeitos e respetivas probabilidades . . . . . . . . . . . . . . . . . . 28 4.1 Distribuição das probabilidades obtidas . . . . . . . . . . . . . . . . . 36 4.2 Distribuição das probabilidades do Grupo 1 . . . . . . . . . . . . . . 41 4.3 Distribuição das probabilidades do Grupo 2 . . . . . . . . . . . . . . 41 A.1 Distribuição dos clientes que não são suspeitos de Churn Rotacional . 49 A.2 Distribuição dos clientes que não utilizam um dos tarifários em estudo 49 viii
Capítulo 2 Revisão da Literatura 2.1 Análise de Redes Sociais Uma rede social pode ser descrita como a representação visual das relações e interações entre um grupo de indivíduos, de acordo com Kempe et al. (2003). Assim, começaremos por estudar o modo como estas interações são visualizadas, recorrendo à utilização da teoria dos grafos e a sua ligação às redes. Uma das bases da análise de redes sociais é a sociologia. Esta permite estudar o comportamento de um indivíduo ou de um grupo, ajudando a que se produzam resultados bastante úteis, não só para sociólogos ou psicólogos mas também a nível de marketing e de negócios. Existem mais disciplinas a basear esta área interdisciplinar. De acordo com Oliveira and Gama (2012) são consideradas como principais as seguintes: psicologia social, antropologia, física, matemática, ciência computacional. O trabalho desenvolvido por Scott (1988), permite-nos perceber o enquadramento histórico do tópico de análise de redes sociais. O principal impulso foi dado por Jacob Moreno, ao criar o sociograma. Este é um gráco com linhas e pontos cujo objetivo era representar as relações existentes no grupo que Moreno estava a estudar. Por volta de 1930 surgiram grupos de investigação na área da psicologia cognitiva e social que estudavam as dinâmicas sociais e possíveis métricas de fenómenos sociais, bem como estudos relacionados com as comunidades e a interdependência entre os indivíduos. Nesta altura, surgiram duas correntes de investigação distintas. A análise sociocêntrica foi a primeira e é oriunda da Universidade de Harvard incluindo a quanticação de relações e o estudo de padrões estruturais da rede. A segunda corrente, análise egocêntrica, surgiu na Universidade de Manchester. Aqui, o objetivo é estudar as relações de um indivíduo em especíco, em vez de estudar toda a rede (Chung et al., 2005). Só em 1960 se começou a associar esta investigação a técnicas matemáticas, sendo esta a base da Análise de Redes Sociais que hoje temos, com uma vasta gama de estatísticas que ajudam a medir propriedades de determinada rede social. 7
Figura 2.1: Exemplo de uma rede social Uma rede pode ser denida como um conjunto de objetos (nós ou vértices) com ligações (arestas) entre si e o seu estudo na forma matemática provém da teoria de grafos. Assim, um grafo trata-se de um conjunto de vértices e arestas, no qual é possível aplicar técnicas matemáticas e em que ao mesmo tempo é possível a visualização das relações entre as entidades. A teoria dos grafos foi primeiramente aplicada por Euler na resolução do problema das pontes de Königsberg (Newman, 2003). Na Figura 2.1 temos um exemplo de uma rede social, representada através de um grafo. As redes sociais podem ser representadas de distintos modos. O mais comum é a representação através de grafos matemáticos, que são compostos por arestas e vértices. Cada aresta é denida por um par de vértices e estes podem corresponder a várias entidades: pessoas, países, organizações, plantas, entre outros. De um modo semelhante, uma aresta une dois vértices e assim, pode também representar vários tipos de relações: amizade, troca, comunicação, cooperação, entre outros. Formalmente, um grafo G é composto por um conjunto não-vazio V(G) de vértices e por um conjunto de arestas E(G), sendo denido por G=(V(G),E(G)). Segundo Oliveira and Gama (2012) existem na literatura duas estruturas de dados apropriadas para o armazenamento e posterior análise e representação das redes: estruturas de lista e estruturas de matriz. A primeira possibilidade é ideal para grafos esparsos. Pelo contrário, as estruturas de matriz, que incluem por exemplo as matrizes de adjacência, são úteis para a representação de matrizes densas. Nas Figuras 2.2 e 2.3 apresentamos exemplos da representação de grafos direcionados e não direcionados em listas ou matrizes de adjacência. 8
Figura 2.2: Grafos direcionados e não-direcionados representados através de uma lista de adjacência. Figura 2.3: Grafos direcionados e não-direcionados representados através de uma matriz de adjacência. 9
2.1.1 Tipos de redes e Estatísticas Tipos de redes Uma das principais propriedades das redes é a direção das suas ligações. Assim, estas são direcionadas se partirem de um nó para outro, ou não direcionadas, caso as ligações sejam recíprocas. Podem também ser ponderadas, sendo que neste caso a relação entre os nós é quanticada. Por exemplo, para representar a frequência da chamada entre diversos indivíduos devem-se usar pesos nas ligações, originando possivelmente ligações com maior valor do que outras. Caso as ligações da rede não sejam ponderadas, isto signica que nenhuma terá mais valor do que outra, assumindo todas a mesma importância. Estatísticas Existem diversas estatísticas que permitem o estudo de uma rede e a extração de conhecimento das mesmas. Este ponto ganha relevância com as redes de tamanho elevado que temos hoje em dia, dado que sem estas estatísticas seria complicado perceber a sua topologia e a forma como estão organizadas. Assim, as estatísticas de redes podem ser calculadas ao nível dos nós ou ao nível da rede. As medidas clássicas de centralidade que permitem quanticar a centralidade dos nós na rede, podem ser relativas aos nós ou à posição destes na rede. No primeiro caso, podem incidir sobre as suas ligações diretas, no caso de ser estudado o seu grau de centralidade (do inglês degree ), o grau de entrada ou o grau de saída. Mas também podem ter como objetivo estudar a posição de um nó na rede, através das seguintes estatísticas: grau de intermediação, grau de proximidade, grau do vetor próprio e coeciente de coesão local. O grau é medido através da quanticação do número de ligações diretas de um indivíduo. Caso a rede seja direcionada, temos o grau de entrada, que são as ligações cujo destino é o indivíduo em análise, e o grau de saída, ligações que têm como origem o indivíduo em análise. O valor do grau pode ser utilizado para interpretar o prestígio de determinado indivíduo, que pode ser dividido em suporte ou inuência caso tenhamos redes direcionadas. O grau de entrada estará associado ao suporte e o grau de saída à inuência. A intermediação verica, tal como o nome indica, quantas vezes determinado indivíduo está em posição de intermediário. Estar nesta posição signica que está no caminho mais curto entre outros dois indivíduos. Assim, o valor de intermediação será tanto maior, quanto maior for o número de pares de quem certo nó é intermediário. Esta é uma posição crítica e que se pode apresentar como muito vantajosa, dado que muitas vezes estarão a controlar a informação que circula entre grupos, por exemplo. O grau de proximidade é calculado para cada nó e tem como objetivo identicar a posição do indivíduo na rede e a sua proximidade a outros nós. Para isso, utiliza 10
não só as suas ligações diretas mas também a distância mais curta deste nó para cada um dos restantes elementos da rede. Deste modo, o grau de proximidade de um nó traduz-se no valor médio de todos caminhos mais curtos entre este e os outros nós da rede. Permite-nos assim saber, em média, quantos ligações são necessárias para ligar um nó a qualquer outro elemento da sua rede. Estas três medidas referenciadas (grau de centralidade, grau de intermediação e grau de proximidade) foram propostas por Freeman (1979). O grau do vetor próprio valoriza não só se o indivíduo está bem conectado mas se está ligado a outros indivíduos também bem conectados. Isto signica que, um indivíduo bem conectado e com uma vizinhança bem conectada terá mais poder do que um indivíduo com ligações fortes mas em que essas ligações não correspondam com outras ligações de qualidade. Assim, esta estatística valoriza mais a qualidade das ligações, diminuindo a relevância da sua quantidade e serviu também como base à construção do algoritmo PageRank, da Google, que assenta nesta ideia. A última estatística relativa aos nós é o grau de coesão local. Este surge da transitividade existente nas redes, que signica que se A é amigo de B e B é amigo de C, então é provável que A também seja amigo de C. Esta propriedade é quanticada pelo coeciente de agrupamento, que pode ser global, caso seja calculado ao nível da rede, ou local, caso seja calculado para cada nó. Neste caso, a transitividade será tratada como uma propriedade local da vizinhança de um nó e dar-nos-á informação acerca do nível de coesão entre os vizinhos de um determinado indivíduo. As estatísticas utilizadas ao nível da rede permitem descrever a sua estrutura. As medidas mais populares são as seguintes: diâmetro e raio, distância geodésica média, grau médio, reciprocidade, densidade e coeciente de coesão global. Tanto o diâmetro de uma rede como o raio se baseiam no conceito do caminho mais curto entre dois nós. Assim, o diâmetro corresponde ao comprimento máximo de todos os caminhos mais curtos encontrados, enquanto que o raio é dado pelo comprimento mínimo dessa distância. Estas medidas são importantes para analisar a proximidade dos indivíduos vericando, por exemplo, qual a maior distância geodésica possível entre quaisquer dois nós na rede. A distância geodésica média corresponde à média do comprimento de todos os caminhos mais curtos entre todos os pares de nós da rede. Deste modo é possível saber, em média, quantos passos são necessários para alcançar qualquer nó da rede. O grau médio é a média do grau de todos os nós da rede. Diz-nos portanto, em média, quantas ligações tem cada nó. A reciprocidade é uma estatística apenas calculada em redes direcionadas e quantica a tendência para existirem ligações mútuas entre os nós. Isto é, qual a probabilidade de dois nós na rede terem ligação direta recíproca. A densidade permite-nos avaliar a conetividade geral da rede. É calculada como a proporção de ligações existentes na rede em relação ao número total de ligações possíveis. Se não existirem ligações entre nós na rede o valor da densidade será zero. Caso o valor da densidade seja igual a um, a rede apresenta conetividade perfeita. 11
Isto é, todos os nós estão ligados entre si. O coeciente de coesão já foi abordado nas estatísticas relativas aos nós, mas num contexto local. Agora, o objetivo é estudar a transitividade em toda a rede. Existem vários métodos para calcular este valor, sendo que um dos possíveis é através da média dos valores do coeciente de coesão local. 2.1.2 Aplicações A área da análise de redes sociais tem sido alvo de uma crescente investigação nos últimos anos. A oportunidade de estudar o comportamento dos indivíduos e a sua relação com outros indivíduos e a posição que estes assumem em determinada comunidade aparece como bastante relevante, seja em termos de marketing, saúde, mercado das telecomunicações, entre outros. Assim, várias aplicações são possíveis com análise de redes sociais, apresentamos algumas: previsão de churn , gestão de campanhas (para aumentar o valor da marca ou as vendas de determinado produto, por exemplo), deteção de clientes inuentes, difusão da informação, publicidade online, entre outras. Um dos setores de investigação da análise de redes sociais está relacionado com o estudo de como a informação se difunde pela rede. Como exemplo, temos os trabalhos de Kempe et al. (2003) e Kiss and Bichler (2008). O primeiro tem como objetivo responder à seguinte pergunta: se queremos convencer alguns indivíduos a adotar um novo produto e depois desencadear uma cascata de novas adoções, quais são os indivíduos que devemos selecionar inicialmente? A adoção de um produto é apenas um exemplo de motivação para a determinação dos clientes inuentes. Este autor utilizou dois modelos distintos em comparação com a seleção aleatória, aplicando-os numa base de dados acerca da coautoria de trabalhos em publicações da área da física. O estudo de Kiss and Bichler (2008) incorpora a simulação de processos de difusão em redes sociais e outros tipos de redes e conclui que, em redes de clientes, as medidas de centralidade provaram ser bastante melhores que a seleção aleatória, com um lift comparativamente muito elevado. O lift é o rácio do número de consumidores alcançados pelo número de consumidores selecionados. Bonchi et al. (2011) apresenta também algumas aplicações da ARS nos negócios, nomeadamente no setor das telecomunicações. Deste modo, considera o churn como sendo, provavelmente, a mais importante aplicação de negócios da ARS e no setor das telecomunicações, dado que o serviço oferecido está fortemente ligado à rede social do cliente. Aponta também a deteção de clientes inuentes, identicação de comunidades e o modo como a informação se propaga como determinantes na previsão do churn . Este autor refere também a deteção de fraude, a atribuição de valor à reputação, conança e lealdade como práticas comuns nas empresas utilizando como base os dados sociais disponíveis. Para além disso, a deteção de comunidades e o estudo de como estas evoluem ao longo do tempo são utilizadas para a criação 12
de estratégias de marketing mais direcionadas a cada tipo de cliente, bem como para melhorar a oferta de produtos e serviços nas redes sociais online . Na prática, esta informação pode ser utilizada para recomendações sociais online , para avaliar a lealdade do consumidor e até por questões de segurança, como seja a prevenção do terrorismo, entre outros. 2.2 Ego-Redes Por volta de 1930, como já foi referido, surgiram duas abordagens distintas sobre as redes. A primeira, sociocêntrica, engloba o estudo de toda a rede, das suas características estruturais, dos padrões observados. Deste modo, procuram-se generalizar estes padrões estruturais tornando possível a criação de modelos que expliquem os diversos comportamentos sociais. Esta abordagem permite, por exemplo, estudar como é que as características estruturais da rede explicam a concentração de poder ou de outro recurso, dentro de um grupo (Chung et al., 2005). A abordagem egocêntrica centra-se em apenas um indivíduo. Assim, temos o nosso indivíduo alvo, o ego, e aqueles com quem ele detém alguma relação, os alters. A análise inclui estudar a relação do ego com os seus alters e a relação dos alters entre si (Chung et al., 2005). 2.2.1 Conceito de Ego-Rede Friedman and Aral (2001) avançam que os dados provenientes de ego-redes podem ser analisados de duas formas: pelos atributos individuais de cada indivíduo ou como um conjunto de relações. Como já referimos uma ego-rede será composta pelo ego, o elemento central, e pelos seus alters, isto é, os indivíduos que com ele está relacionado diretamente. Poderá ser analisada a relação do ego com os seus alters e as relações entre alters. Figura 2.4: Exemplo de uma ego-rede 13
Na Figura 2.4 temos um exemplo de uma ego-rede. Por exemplo, se o ego for intermediário de comunicação da maior parte dos pares de alters, este fator aumenta o seu poder, dado que provavelmente conseguirá controlar uma grande parte da informação que circula na rede. Por outro lado, se os alters conseguem comunicar com facilidade entre si, então o poder do ego é diminuído, dado que a dependência dos alters face ao ego é menor. Hanneman and Riddle (2005) introduzem o seu estudo com a referência à utilidade das ego-redes para o estudo do comportamento de um indivíduo e não de um grupo, bem como o seu foco nas relações entre os indivíduos, em detrimento das suas posições na rede. 2.2.2 Medidas de Análise das Ego-Redes No decorrer do seu estudo, Hanneman and Riddle (2005) utilizam o software Ucinet (Borgatti et al., 2002) e descrevem as medidas providenciadas pelo mesmo. Assim, as medidas consideradas relevantes para a caracterização da vizinhança dos egos em análise são as seguintes: Tamanho, Ligações, Número de Pares, Densidade, Distância Geodésica Média e Número de componentes fracas. O tamanho da rede é indicado pelo ego mais os nós que estão diretamente ligados a este. O número de ligações é, tal como o nome indica, o número de conexões existentes entre todos os elementos da rede O número de pares representa o número de ligações diretas possíveis entre os nós. Densidade é o resultado do número de ligações dividido pelo número de pares. Mostra-nos assim a percentagem de ligações possíveis que estão presentes na rede. Deste modo, quantas mais ligações existirem, mais conexão existirá entre os nós e mais densa a rede será. Este índice poderá afetar a criação de oportunidades e constrangimentos para os elementos da rede. A distância geodésica média corresponde à média do comprimento dos caminhos mais curtos. Isto é, dados dois nós e as várias hipóteses de se conectarem, será utilizado aquele que for mais curto e posteriormente calculada a média de todos esses valores. Deste modo saberemos, em média, qual a distância de um nó a outro. Uma componente fraca é composta pelo maior número de elementos da rede ligados entre si, não considerando a direção das ligações. Suponhamos que A,B,C e D são nós de uma rede egocêntrica e que A está diretamente ligado a B tal como C está diretamente ligado a D. No entanto, A e B não têm qualquer via de contato com C e D, à exceção de todos terem uma conexão com o ego. Deste modo, nesta rede, estamos perante duas componentes fracas, dada a existência de duas comunidades distintas apenas ligadas pelo ego. Esta medida pode ser normalizada, tornando possível a interpretação independente do tamanho da rede. 14
Na Figura 2.5 podemos vericar a existência de uma componente fraca, composta pelos nós A,B,C e D e de uma componente forte (que considera a direção das ligações) que inclui apenas os nós B,C e D. Figura 2.5: Componentes fraca e forte numa rede As falhas estruturais ( structural holes ) resultam da estrutura de ligações entre os nós que podem colocar um indivíduo em posição mais vantajosa ou desvantajosa no contexto da rede. Este termo foi popularizado e formalizado por Burt (2009) que considera que duas pessoas serão equivalentes a nível de estrutura se possuírem os mesmos contatos. Consideremos a gura 2.6 onde temos três nós: A, B e C. Cada um está diretamente ligado aos outros dois, o que coloca todos os indivíduos, em termos de estrutura, em posição de igualdade, dado que não há nenhum em posição mais vantajosa que o outro. Todos os elementos têm duas alternativas para comunicar. Supondo todos os indivíduos no mesmo nível, a posição de A para negociar com C não é superior, dado que C terá sempre a alternativa de negociar com B, diminuindo assim o poder de A. Nesta gura não existe falha estrutural. Figura 2.6: Exemplo de uma rede sem falha estrutural Agora vejamos a gura 2.7, onde foi criada uma falha estrutural entre B e C. Deste modo, estes indivíduos não poderão comunicar diretamente e terão de o efetuar através de A. Nesta rede, A já estará numa posição vantajosa, devido à falha 15
estrutural entre B e C que impede a sua comunicação, sem ser por intermédio de A. Enquanto A tem duas alternativas para comunicar, B e C só têm uma. Figura 2.7: Exemplo de uma rede com falha estrutural Quanto maior for a dimensão da rede, menor será a sua densidade e mais falhas estruturais potencialmente terá, aumentando também assim as fontes de desigualdade. 2.2.3 Aplicações O estudo de Chung et al. (2005) aborda um exemplo da aplicação das ego-redes na área da saúde. Assim, o objetivo passa por perceber os processos sociais subjacentes aos médicos e entre estes que, afetam a sua taxa de adoção de um medicamento. Pelos dados de cada médico estes foram divididos em duas categorias: orientados para a prossão ou para o paciente. Foi descoberto que os médicos mais orientados para a prossão foram mais rápidos a prescrever o medicamento e os dados relacionais sugeriram que os médicos que estão mais integrados com os seus colegas são mais rápidos a adotar a prescrição do medicamento do que aqueles que estão mais isolados na rede. Este trabalho foi desenvolvido por Coleman et al. (1957). Temos também o estudo de Fisher (2005) que refere dois projetos: Soylent e The roles . O primeiro baseia-se em emails e nos padrões vericados nas interações sociais. Este projeto tem início com o ego que enviou um email para um determinado número de pessoas diferentes e o foco está no estudo da vizinhança deste, tentando perceber as suas conexões uns com os outros e no contexto de toda a rede. O segundo projeto tem como foco cada indivíduo de cada fórum de discussão de modo a perceber qual é o seu papel na rede através dos padrões e características estruturais da rede. Por m temos mais um estudo relacionado com a área da saúde, da autoria de Argeseanu et al. (2013). Este foi baseado na evidência de recentes investigações da área, que sugerem a importância das conexões sociais para o risco de doenças crónicas e incidência das mesmas. Assim, o primeiro objetivo do trabalho é quanticar e caracterizar as ego-redes de uma amostra representativa da comunidade urbana de Delhi. O segundo objetivo passa por analisar os padrões e a extensão do risco de 16
abandono do cliente. Deste modo, não é possível identicar churners rotacionais que tenham saído no momento Y, isto é, agora. Assim, procuramos identicar os potenciais churners rotacionais que tenham supostamente abandonado a operadora no momento X. Deste modo, garantimos que dispomos de informação antes e depois do seu abandono, o que nos permite a construção do entorno em ambos os períodos. Os clientes que supostamente abandonam a operadora no momento X serão considerados potenciais churners e será pesquisado o seu entorno no período A, para posteriormente poder ser comparado com o entorno dos respetivos suspeitos de churn rotacional, construídos no período B. Podemos também vericar nas Figuras 3.2 e 3.3, respetivamente, as distribuições da primeira e última chamada de todos os clientes considerados no estudo. Estas validam o facto de que a maior parte dos clientes efetua a primeira comunicação logo no início do ano e que a última comunicação tem tendência a ser efetuada junto do m dos dados disponíveis. Figura 3.2: Distribuição da 1 a comunicação dos clientes-base considerados no estudo Figura 3.3: Distribuição da última comunicação dos clientes-base considerados no estudo Na Figura 3.1, ilustrada no início do capítulo, a distribuição da primeira chamada está representada da esquerda para a direita, em tons de amarelo e a distribuição da última chamada está representada da direita para a esquerda, em tons de azul. 23
O período A corresponde ao tempo de atividade do potencial churner enquanto que o período B estará relacionado com a atividade do potencial suspeito de churn rotacional. Como já foi anteriormente referido, esperamos que um cliente suspeito de ser o mesmo indivíduo que determinado churner , tenha um padrão de contactos semelhante, nos dois espaços temporais complementares. Deste modo, procuraremos a construção do entorno do potencial churner no período A e do potencial suspeito no período B, tendo como objetivo a sua comparação e atribuição de probabilidade de se tratar do mesmo indivíduo. Na Figura 3.4 é apresentado um esquema que ilustra as etapas da metodologia proposta, que têm como objetivo identicar pares de indivíduos semelhantes e atribuir-lhes uma probabilidade de se tratarem do mesmo cliente. Figura 3.4: Esquema ilustrativo da metodologia 3.2 Identicação dos suspeitos de churn rotacional De seguida vamos apresentar os vários passos da metodologia que visam a identi- cação dos suspeitos de churn rotacional. 1. Identicação dos potenciais churners pela última atividade Para identicar os clientes que abandonam a operadora e tendo como base os registos de chamadas entre um universo de clientes, vamos utilizar a data da 24
última comunicação do cliente como uma aproximação para determinar churners em determinado dia. Isto é, vamos identicar como potenciais churners , aqueles que efetuaram a última comunicação prematuramente, estando cerca de dois meses sem utilizar o seu serviço. Assim, é feita uma pesquisa pelos registos de chamadas existentes, dos quais será relevante o último registo vericado e a data em que ocorreu, bem como a qual cliente se refere. Logo, vamos determinar quais são os clientes cuja última chamada é no dia referente ao ponto X , da gura 3.1. O valor de X tem de garantir a existência de dados sucientes tanto antes como depois. 2. Para cada um dos potenciais churners , pesquisar o entorno no período A (até à última chamada do potencial churner ) Depois de sabermos quais os clientes que abandonaram a operadora em determinado dia, vamos identicar, para o período A , aquele que antecede a data de potencial saída, com que elementos esse potencial churner comunica. Essa lista será o seu entorno e será representada por uma ego-rede como a que temos na Figura 3.5. Figura 3.5: Ego-rede de um potencial churner obtida no período A Nesta ego-rede temos o potencial churner como ego, representado por C e os seus vizinhos de nível 1 , representados por E1, ..., En , que correspondem aos elementos do entorno, isto é, temos o ego e com quem este comunica. 3. Para cada elemento do entorno do potencial churner , construir o entorno no período B 25
Neste passo, para cada E1,c, .., En,c de cada potencial churner , construiremos o entorno no período B , isto é, após a data de saída vericada no Passo 1. Aqui obteremos todos os elementos que comuniquem pelo menos uma vez com um dos elementos com que o potencial churner comunicava até à data da sua saída. De seguida, na Figura 3.6, é apresentada uma ego-rede como exemplo, de um elemento do entorno de um potencial churner . Aqui, temos o elemento n do entorno do potencial churner c , e a sua vizinhança, composta pelos clientes com o qual comunica. Também aqui estamos perante uma ego-rede de nível 1 . Figura 3.6: Ego-rede de um elemento do entorno de um potencial churner obtida no período B Em trabalhos futuros poderiam ser utilizadas as ego-redes de nível 1 obtidas, para o estudo dos casos que suscitassem mais dúvidas. Assim, poderíamos quanticar a equivalência estrutural existente entre duas redes. Outra hipótese seria a inclusão de mais um nível nas ego-redes, isto é, para além de estudar a relação entre o ego e os seus alters, estudaríamos também o modo como os alters se relacionam. 4. Para cada suspeito de churn rotacional, construir o entorno no período B Da lista recolhida no passo anterior, vamos selecionar apenas os clientes que comuniquem com pelo menos 2 3 do entorno do potencial churner no período A e em que o entorno desse potencial churner seja constituído por mais do 26
que um elemento. Assim, serão considerados suspeitos de churn rotacional todos os clientes do passo anterior (para cada potencial churner ) cujo entorno no período B tenha pelo menos 2 3 de semelhança com o entorno do potencial churner no período A e em que este último seja composto por mais do que 1 elemento. Apenas os clientes que respeitem estas condições serão considerados suspeitos de churn rotacional , e apenas para estes será construído o entorno no período B . Deste modo, de uma lista com todos elementos que contactam pelo menos uma vez com um dos elementos do entorno do potencial churner iremos apenas selecionar aqueles com maior grau de semelhança, isto é, pelo menos 2 3 . 5. Matching entre os potenciais churners e os seus suspeitos Neste último passo é calculada a probabilidade de os indivíduos do Passo 1 serem os mesmos que aqueles identicados no Passo 4. Isto é, para cada suspeito referente a cada potencial churner vamos atribuir uma probabilidade de se tratar do mesmo indivíduo. Esta equação que nos dará o valor da probabilidade foi teorizada por Jaccard (1901). A equação de Jaccard (1901) é utilizada para comparar, estatisticamente, a semelhança e diferença entre conjuntos. Seja, • C= Potencial Churner • S= Suspeito • E(C)= Entorno do Potencial Churner (Período A ) • E(S)= Entorno do Suspeito (Período B ) P(Si|C) = |E(Si)TE(C)| |E(C)SE(Si)| (Jaccard, 1901) Isto é, a probabilidade de determinado suspeito e potencial churner serem o mesmo cliente é dada pela intersecção entre eles (em espaços temporais complementares, A e B ) a dividir pela sua união. Caso o resultado da equação seja 1 podemos concluir que os conjuntos são iguais e portanto a sua semelhança será de 100% . Por outro lado, uma intersecção nula entre os conjuntos originará uma probabilidade de semelhança nula. Neste caso, os conjuntos são totalmente diferentes, não tendo nada em comum. Caso tanto a intersecção como a união sejam iguais a zero então o valor da equação será igual a um, dado que teremos dois conjuntos iguais. Esta equação terá valores entre zero e um, o que nos leva a probabilidades de semelhança entre os indivíduos a poderem ocorrer entre 0% e 100% . Um valor igual a 80% mostra que os indivíduos têm 80% de probabilidade de serem o mesmo indivíduo. 6. Determinação da data de entrada dos suspeitos de churn rotacional 27
Já referimos anteriormente que o objetivo deste estudo é a identicação de clientes que abandonam a operadora e regressam com identicação diferente, num momento posterior. No entanto, até este momento da metodologia, não cou assegurado que a primeira comunicação dos suspeitos de churn rotacional fosse realizada após o dia referente ao ponto X. Assim, neste passo, serão apenas validados como suspeitos de churn rotacional os suspeitos cuja primeira comunicação na rede tenha sido realizada após o dia referente ao ponto X da Figura 3.1. Apenas estes clientes serão considerados suspeitos de churn rotacional. No entanto, os restantes elementos que foram inicialmente considerados suspeitos e posteriormente afastados por a sua data de primeira comunicação ser antes do momento X, na Figura 3.1, podem ser relevantes. Isto porque a semelhança do entorno ocorrerá num período em que o potencial churner já não estará presente na rede, após o momento X, apesar de terem entrado na rede antes deste momento. O resultado da aplicação desta metodologia será uma lista dos suspeitos para cada potencial churner e a respetiva probabilidade de semelhança, conforme exemplicado na seguinte gura: Figura 3.7: Exemplo de resultado obtido para um potencial churner , com os seus suspeitos e respetivas probabilidades 3.3 Sumário Neste capítulo foi apresentada a metodologia a ser utilizada, e que tem como base apenas os registos anonimizados das chamadas entre os clientes e a utilização de tarifários pré-pagos. Como resultado, esperamos obter uma lista dos suspeitos para cada potencial churner e as respetivas probabilidades. No próximo capítulo iremos aplicar esta metodologia a dados reais e anonimizados cedidos por uma operadora de telecomunicações nacional, bem como analisar os resultados obtidos. 28
Capítulo 4 Caso de Estudo e Análise de Resultados 4.1 Caso de Estudo 4.1.1 Introdução A metodologia proposta será aplicada a um caso real com dados reais e anonimizados cedidos à Faculdade de Economia do Porto para o seu estudo. Neste capítulo serão descritas todas as etapas relativas ao tratamento dos dados. Começaremos pela sua apresentação, avançando para o pré-processamento necessário bem como os ltros aplicados. Depois, é apresentada a aplicação da metodologia, que começará pela identicação dos potenciais churners e explicará detalhadamente cada etapa da metodologia proposta. O objetivo nal é, para cada potencial churner , ter uma lista dos suspeitos de churn rotacional e uma probabilidade de se tratarem do mesmo indivíduo. Para a aplicação desta metodologia não estão disponíveis grupos de teste. 4.1.2 Dados Tal como referido, os dados disponibilizado por uma operadora de telecomunicações são reais e anonimizados. São compostos pela informação das comunicações efetuadas entre os clientes durante 24 semanas de dados, isto é, cerca de 6 meses, que vão desde um pouco antes do mês 1 até ao mês 6 . Para além da informação anonimizada de comunicações tivemos também acesso a alguma informação sobre os tarifários. Dado tratar-se de um enorme volume de dados, foi necessária uma primeira exploração da mesma, de forma a considerar aquilo que seria considerado ruído ou inútil para a metodologia que propomos aplicar, e aquilo que poderíamos utilizar para construir o modelo. 29
Com uma base de dados desta dimensão tornou-se necessário encontrar um software adequado. Assim, a análise dos dados deste estudo foi realizada utilizando o software SAS, versão 9.4, da versão Sistema SAS para Windows . Este foi utilizado para executar todos os passos deste estudo pela sua capacidade em trabalhar com grandes bases de dados e pelo elevado número de funcionalidades disponíveis, sendo que o trabalho foi desenvolvido em linguagem SQL. Pré-Processamento dos Dados Numa fase inicial não foi realizado qualquer pré-processamento. As interações de e para números de apoio, comerciais ou de marketing foram inicialmente consideradas como potencial ruído. No entanto, dado que aquilo que será relevante é o padrão de contactos de cada cliente considerámos útil manter esta informação. Outro ponto considerado foram as comunicações com duração inferior a quatro segundos. O primeiro passo será determinar a data da primeira e última comunicação para cada cliente. Para este ponto foram consideradas todas as comunicações, mesmo aquelas que tenham duração inferior a quatro segundos, dado que, por exemplo, uma comunicação com duração de um segundo será indicativa da sua presença na rede, apesar da inexistência de potencial em termos de conteúdo. Mais à frente, para a construção do entorno de cada cliente não serão consideradas as chamadas com duração inferior a quatro segundos, dado que serão irrelevantes do ponto de vista da construção do padrão de contatos de determinado cliente. Filtros aplicados à base de dados Referimos anteriormente que a metodologia iria incidir sobre os tarifários pré-pagos. Assim, reunimos junto da operadora de telecomunicações um conjunto de tarifários deste tipo. Deste modo, através do cruzamento de informação proveniente das tabelas de dados disponibilizadas foi possível manter apenas os clientes que tinham subscrito um tarifário pré-pago. É neste tipo de tarifários que se torna mais difícil a identicação do churn rotacional, devido à escassa informação disponível sobre cada cliente, exigindo maior esforço analítico. Como já foi referido anteriormente, a data da última comunicação de um cliente será utilizada como aproximação da sua potencial saída da rede. Para além disso, referimos no Capítulo 4 que o ponto X teria de garantir dados antes e depois e portanto teria de estar perto do centro do espaço temporal desejado. Deste modo, foi selecionado um dia no início do mês 4 para determinar um conjunto de potenciais churners , que daqui para a frente será denominado de dia ou momento X do mês 4 , fazendo alusão à Figura 3.1 . Teria de ser uma data central no intervalo de dados, de modo a que tivéssemos dados à nossa disposição, tanto antes como depois do momento X. A classicação de potenciais churners advém do facto de utilizarmos 30
uma aproximação para os denirmos e de o espaço temporal dos dados não ser de tamanho suciente para garantir que estes estão, de facto, a abandonar a operadora. 4.1.3 Identicação dos suspeitos de churn rotacional 1. Identicação dos potenciais churners De forma a obtermos a lista dos potenciais churners precisámos primeiro de construir uma tabela que nos informasse para cada cliente qual a data da sua primeira e última comunicação. (a) Filtro dos tarifários Na informação anonimizada de comunicações de que dispomos, estão incluídos não só os clientes da operadora em estudo bem como os clientes de outras operadoras com que estes contactam. Por esse motivo, começamos por selecionar os clientes que utilizam um tarifário pré-pago. Este ltro não é feito a partir dos registos de comunicações, mas sim de outra tabela com informação sobre os tarifários, que posteriormente cruzamos com a tabela que contém os registos anonimizados das comunicações entre os clientes. Assim, para cada mês, desde um pouco antes do mês 1 até ao mês 6 , procuramos todos os clientes que utilizem um dos tarifários pretendidos. Como resultado, teremos uma tabela com todos os clientes já ltrados pelo tarifário e qual o tarifário que estes utilizam em cada mês. Obtivemos daqui cerca de dois milhões de clientes que utilizam um dos tarifários pré-pagos pretendidos. (b) Construção da base de partida Daqui, iremos procurar em cada semana de dados da informação anonimizada de comunicações entre os clientes, a data mínima e máxima em que cada cliente foi emissor da chamada. Posteriormente faremos o mesmo para o caso em que o cliente seja recetor. Unindo todas as tabelas aqui obtidas, e procurando novamente a data mínima e máxima para cada cliente obteremos aquela que consideramos a nossa base de partida. Isto é, uma tabela, composta pelos clientes utilizadores dos tarifários alvo e a respetiva data de primeira e última chamada. Esta base de partida é composta por quase dois milhões de clientes. (c) Identicar potenciais churners do momento X do mês 4 Tendo a base de partida, precisamos apenas de pesquisar quais os clientes cuja última comunicação ocorreu no momento X do mês 4 . Daqui, obteremos uma tabela com informação sobre a identicação do cliente, a data da primeira comunicação e a data da última comunicação, que para todos os casos será realizada no momento X do mês 4 . 31
Identicámos quase 3000 clientes cuja última comunicação foi no dia X do mês 4 . Isto é, obtivemos o conjunto de potenciais churners . Dado que a nível computacional este número de potenciais churners exigiria um elevado esforço, optámos por seguir apenas com uma amostra destes. Assim, através de uma amostragem simples aleatória selecionámos 100 potenciais churners , sendo que será sobre esses que os próximos passos vão incidir. 2. Construção do entorno dos potenciais churners antes de dia X do mês 4 Neste passo, para cada potencial churner construímos o seu entorno desde o início dos dados disponíveis até ao dia X do mês 4 . Assim, começamos por pesquisar entre estas datas já referidas todas as comunicações em que este cliente é emissor ou recetor. Partindo desse conjunto de comunicações, vamos criar uma tabela, ignorando a partir daqui a diferença entre o cliente ser emissor ou recetor. Esta tabela terá inicialmente o total da duração das chamadas entre o potencial churner e cada um dos elementos com quem este contacta, bem como o total das comunicações efetuadas para esses elementos. Deste modo, podemos calcular qual o valor percentual das comunicações entre o potencial churner e cada um dos elementos do seu entorno. Esta última variável será importante dado que decidimos apenas considerar os elementos que acrescentem pelo menos 5% ao total das comunicações, sendo esta a denição utilizada de entorno core . Isto porque consideramos que um elemento que comunique menos de 5% com o potencial churner não assumirá relevância no seu entorno e como tal não deve ser considerado parte do seu padrão de contactos. Por isso, como resultado da aplicação deste passo a todos os clientes considerados potenciais churners obteremos a sua tabela de entorno composta pelos elementos que acrescentem pelo menos 5% ao seu total de comunicações. Na Tabela 4.1 temos o exemplo do resultado da aplicação deste passo ao potencial churner com a identicação 151340 . Tabela 4.1: Exemplo do entorno do potencial churner com a identicação 151340 até ao dia X do mês 4 3. Construção do entorno após o dia X do mês 4 dos elementos do entorno (até ao dia X do mês 4 ) do potencial churner Neste passo procedemos à construção do entorno após o dia X do mês 4 e até ao último dia disponível do mês 6 , para todos os elementos identicados 32
Para que a condição de comunicar com pelo menos 2 3 do entorno do cliente 40595600 se verique, um cliente da lista criada anteriormente tem de ter comunicado com pelo menos 4 elementos do entorno do potencial churner . Daqui, obtemos apenas um suspeito, que comunica com os seis elementos. Os restantes comunicam, no máximo, com três elementos do entorno do potencial churner . Na Tabela 4.8 apresentamos o entorno após o dia X do mês 4 do único cliente considerado suspeito, com a identicação 41494948 . Tabela 4.8: Entorno do potencial suspeito 41494948 após o dia X do mês 4 Vericamos que, dois elementos do entorno core do potencial churner não são entorno core do suspeito, embora ele contate com eles no período B, isto é, após o dia X do mês 4 , com percentagem do total de comunicações inferior a 5% . Ainda assim, o suspeito apresenta no seu entorno quatro clientes em comum com o entorno do potencial churner . Para além disso, o suspeito contata com um cliente com que o potencial churner não tem comunicações. Na Tabela 4.9 apresentamos a probabilidade de semelhança atribuída ao potencial churner 40595600 e ao seu suspeito 41494948 . A probabilidade está representada na coluna "P". Tabela 4.9: Probabilidade atribuída ao potencial churner 40595600 e ao seu suspeito Deste modo, podemos considerar que o suspeito tem uma probabilidade de 57,1% de tratar-se do mesmo cliente que o potencial churner 40595600 . De seguida, determinamos que a data da primeira comunicação do único suspeito encontrado aconteceu poucos dias após o dia X do mês 4 e que a sua última comunicação ocorreu no último dia de dados disponíveis. Assim, podemos considerar este cliente como um suspeito de churn rotacional, com a probabilidade de 57,1% . 39
4.2.4 Sensibilidade da metodologia face ao número de elementos do entorno do potencial churner De modo a analisarmos a sensibilidade da metodologia face a diferentes números de elementos do entorno do potencial churner , dividimo-los em grupos e reunimos os resultados para cada grupo. Assim, e com o objetivo de criar grupos equilibrados, foi feita a divisão do número possível de elementos do entorno dos potenciais churners em três grupos, que são apresentados de seguida: • Grupo 1 (a) Número de elementos do entorno do potencial churner : 2 ; (b) Número de potenciais churners que pertencem a este grupo: 24 ; (c) Percentagem dos potenciais churners presentes neste grupo: 37,5% ; • Grupo 2 (a) Número de elementos do entorno do potencial churner : 3 , 4 ou 5 ; (b) Número de potenciais churners que pertencem a este grupo: 25 ; (c) Percentagem dos potenciais churners presentes neste grupo: 39,05% • Grupo 3 (a) Número de elementos do entorno do potencial churner : Mais do que 6 ; (b) Número de potenciais churners que pertencem a este grupo: 15 ; (c) Percentagem dos potenciais churners presentes neste grupo: 23,45% ; Assim, os potenciais churners presentes no Grupo 1 têm apenas dois elementos no seu entorno até ao dia X do mês 4 e representam 37,5% do total de potenciais churners . Dos 24 clientes, para 18 deles foram encontrados zero suspeitos. No entanto, para os restantes seis elementos foram encontrados 30 suspeitos. Destes, apenas foram calculadas probabilidades para 11 . De seguida, determinamos a data da primeira comunicação de cada um destes 11 suspeitos para os quais foi calculada probabilidade de semelhança com o respetivo potencial churner . Aqui, vericamos que apenas cinco serão considerados suspeitos de churn rotacional, dado que têm datas de primeira comunicação após o dia X do mês 4 . Três clientes entram antes do dia X do mês 4 , com probabilidades entre 33,3% e 66,7% , não sendo portanto considerados suspeitos de churn rotacional. Os restantes três não utilizam um dos tarifários selecionados para este estudo, tendo probabilidades entre 20% e 100% . Na Figura 4.2 podemos ver a distribuição das probabilidades no grupo 1. No Grupo 2, temos 25 potenciais churners com números de elementos do entorno situados entre três e cinco, e representam 39,05% do total. Dos 25 40
Figura 4.2: Distribuição das probabilidades do Grupo 1 clientes, 13 deles tinham zero suspeitos. Para os restantes 12 elementos foram encontrados no total 24 suspeitos. Destes, foram calculadas probabilidades para 20 . De seguida, determinamos a data da primeira comunicação de cada um destes 20 suspeitos para os quais foi calculada probabilidade de semelhança com o respetivo potencial churner . Vericamos que apenas quatro são considerados suspeitos de churn rotacional, dado que apenas estes têm datas de primeira comunicação após o dia X do mês 4 . Três clientes entraram antes desse dia, com probabilidades entre 20% e 40% . Os restantes 13 clientes não utilizam um dos tarifários selecionados para este estudo, tendo probabilidades entre 11,10% e 66,7% . Na Figura 4.3 podemos vericar a distribuição das probabilidades do grupo 2. Figura 4.3: Distribuição das probabilidades do Grupo 2 No Grupo 3, composto por 15 potenciais churners com números de elementos do entorno iguais ou superiores a seis, temos 23,45% do total. Dos 15 clientes, 12 deles não têm qualquer suspeito. Para os restantes três elementos foram encontrados três suspeitos, sendo que foram calculadas probabilidades para todos. De seguida, determinamos a data da primeira comunicação de cada um destes três suspeitos para os quais foi calculada probabilidade de semelhança com o respetivo potencial churner . Vericamos que apenas um é considerado 41
suspeito de churn rotacional, com probabilidade de 57,1% , dado que tem a sua primeira comunicação após o dia X do mês 4 . Os restantes dois suspeitos entram antes desse dia, com probabilidades entre 12,5% e 28,6% . 4.2.5 Simulação com elementos que não são potenciais churners Esta simulação serve como um teste à metodologia proposta. Assumindo um indivíduo que tenha a sua primeira comunicação no primeiro dia de dados disponível e a última no último dia de dados disponível será de esperar que este mantenha um padrão de comunicações constante ao longo do tempo. Isto é, que durante estes cerca de seis meses, tenha a maioria das suas comunicações dentro de uma comunidade e que isto seja visível ao longo do tempo. Se isto for verdade, então é esperado que o próprio indivíduo seja encontrado pela metodologia e lhe seja atribuída uma probabilidade elevada. Fizemos a simulação com quatro indivíduos. O primeiro teste foi com o ID 4 , que tem as datas idênticas às do referido exemplo. Este cliente foi corretamente encontrado como suspeito no entanto teve uma probabilidade de apenas 25% . Consideramos que o baixo valor de semelhança atribuído não se deve ao mau funcionamento da metodologia mas sim à variação signicativa do entorno de um período para outro e também ao ltro aplicado para determinar o entorno core . Neste caso, se mantivéssemos os elementos que acrescentam menos do que 5% ao total de comunicações a intersecção já seria igual a quatro. De referir que o número de elementos do entorno é igual em ambos os períodos, embora não seja composto pelos mesmos elementos. Podemos vericar no Anexo A, na Tabela A.12, o entorno core deste cliente até ao dia X do mês 4 e na Tabela A.13 a partir dessa data. No caso seguinte, relativo ao ID 6503426 , também aqui as datas são iguais ao exemplo e o indivíduo é encontrado como único suspeito de churn rotacional . Mais uma vez temos uma probabilidade de apenas 25% . Aqui existe bastante inuência da denição de entorno core . Se xássemos o limite da percentagem do total de duração das chamadas nos 3,5% já seriam mais dois elementos em comum com o entorno do cliente no primeiro período. Note-se que, neste caso, ao apenas selecionar os elementos que acrescentem mais do que 5% ao total de comunicações estamos a excluir 26 elementos do entorno deste indivíduo. Mais uma vez, a baixa probabilidade justica-se pela variação signicativa do entorno entre os dois períodos. Podemos vericar no Anexo A, na Tabela A.14, o entorno core deste cliente até ao dia X do mês 4 e na Tabela A.15 a partir dessa data. 42
O ID 1006 tem também como data da primeira comunicação o primeiro dia de dados disponível e última comunicação no último dia de dados disponível. Este indivíduo é encontrado com sucesso como suspeito e é lhe atribuída uma probabilidade de ser o mesmo indivíduo de 83,3% , aproximadamente. Notese que este indivíduo tem cinco elementos em comum, numa união de seis elementos, nos períodos complementares. Podemos vericar no Anexo A, na Tabela A.16, o entorno core deste cliente até ao dia X do mês 4 e na Tabela A.17 a partir dessa data. No último caso testado, o ID 286 , com datas iguais às dos restantes indivíduos, não tivemos sucesso em encontrá-lo como suspeito. Isto deveu-se ao facto de, no segundo período não cumprir a comunicação com 2 3 dos elementos do entorno no primeiro período e como tal não é considerado como suspeito de churn rotacional . Podemos vericar no Anexo A, na Tabela A.18 o entorno core deste cliente até ao dia X do mês 4 , sendo que neste caso não existe a partir desta data. 4.3 Sumário Neste capítulo começamos por descrever o pré-processamento e ltros realizados aos dados, avançando posteriormente para a aplicação das várias etapas da metodologia em dados reais e anonimizados. Analisámos também os resultados, começando por o fazer a nível global e individual. De seguida foi apresentada uma análise da sensibilidade da metodologia à variação do número de elementos do entorno dos potenciais churners . Posteriormente a metodologia foi aplicada a elementos que não eram considerados churners de modo a veri- car se os resultados estavam de acordo com o esperado. No próximo capítulo serão apresentadas as conclusões, limitações e sugestões de trabalhos futuros para este estudo. 43
Capítulo 5 Conclusões e Trabalhos Futuros 5.1 Conclusões Consideramos que o objetivo proposto de identicar indivíduos semelhantes em períodos complementares foi atingido. A utilização do entorno dos potenciais churners e dos seus suspeitos para cálculo da semelhança entre estes mostrou-nos resultados interessantes e resultam de simples pesquisas aos dados disponíveis, sendo portanto uma metodologia prática. Pelos resultados obtidos, acreditamos que a metodologia identicou com sucesso indivíduos semelhantes em períodos complementares e portanto conseguiu identicar os clientes com maior probabilidade de estarem a cometer churn rotacional . No entanto, as probabilidades encontradas não foram su- cientemente elevadas para concluir com maior precisão sobre a existência de churners rotacionais. Para além disso, e partindo das simulações que realizámos com uma pequena amostra de não-churners , vericámos que em alguns casos o entorno dos indivíduos varia bastante ao longo do tempo. Do ponto de vista empresarial, a aplicação desta metodologia permitirá a identicação dos clientes com maior probabilidade de estarem a cometer churn rotacional e portanto a possibilidade de medir o fenómeno, corrigir indicadores (tanto de churn como de captação de clientes), rever comissionamentos de ativação de cartões, entre outros. Permite ainda o estudo destes dados de forma a, futuramente, poder antecipar casos de churn rotacional. Como limitações consideramos o facto de termos restringido a procura apenas aos registos de chamadas entre os clientes e apenas aos clientes utilizadores de um tarifário pré-pago. É conveniente recordar que para a adesão a este tipo de tarifários pouca informação é exigida. Aliando este facto ao de apenas conhecermos os registos de quem ligou para quem, a informação que dispomos é limitada. 44
5.2 Trabalhos Futuros Dado que este trabalho incidiu sobre uma área ainda pouco estudada existem bastantes melhorias que podem ser realizadas. Podemos apostar numa melhoria contínua da precisão do modelo, com cruzamento com outro tipo de dados e testes de avaliação do modelo a cada iteração. O aumento da dimensão temporal da análise poderá também fortalecer o modelo. Por exemplo, podemos identicar potenciais churners através do estudo de outros dias, para além do escolhido neste trabalho. Podemos também considerar a extensão dos dados disponíveis, sendo que, com cerca de um ano os resultados seriam mais robustos. Seria também relevante estudar o impacto mensal do fenómeno do churn rotacional na operadora de telecomunicações ao longo de um ano, mostrando a importância que tem a deteção deste fenómeno. Outra melhoria seria o enriquecimento da análise com atributos de negócio de forma a perceber melhor qual o impacto deste fenómeno na atividade empresarial. Por exemplo, quanticar o peso do aproveitamento deste tipo de clientes oportunistas, que agem por conveniência. Ou também, estudar em que lojas ou ações de terreno este fenómeno se verica mais, através da ativação de novos cartões. Poderá também tornar-se interessante alterar a denição de entorno core , aferindo a sensibilidade do modelo. Utilizámos como ltro que os clientes teriam de representar pelo menos 5% do total de comunicações do entorno do seu par. Poderia por exemplo ser testado como denição de entorno core e consequente ltro, que este fosse composto por 85% do total de comunicações. Podemos também considerar que os dados existentes pouco antes de o potencial churner abandonar podem constituir ruído. Isto é, pouco antes de potencialmente abandonar a operadora, as comunicações do cliente podem ser poucas e não relevantes, constituindo ruído. Simular os resultados sem estes dados permitiria conhecer como o modelo reage a esta alteração e qual o impacto nos resultados obtidos. Por m, a utilização de ego-redes pode também acrescentar valor à resolução do problema de churn rotacional. Podemos por exemplo estudar apenas a ligação do ego (potencial churner ) com os seus alters (entorno) e comparar a estrutura com a ego-rede do suspeito. Ou então, acrescentar mais um nível à ego-rede. Isto signica que iríamos estudar também a ligação dos alters (elementos do entorno) entre si. A utilização de ego-redes permitiria assim que mais informação fosse obtida uma vez que consideraria não só o número de ligações, mas também o padrão das ligações estabelecidas entre o ego e os respetivos alters. 45
Bibliograa Argeseanu, S. C., Kelly, L., and Prabhakaran, D. (2013). Egocentric social network analysis of cardiovascular disease in south asian: Preliminary evidence from urban india. Population Association of America, Annual Meeting . Babu, M. S., Devi, D. A., and Anuradha, M. (2015). A study on impact of big data analytics to indian e-commerce applications. International Journal of Advanced Engineering, Management and Science (IJAEMS) , 1(2):7682. Bonchi, F., Castillo, C., Gionis, A., and Jaimes, A. (2011). Social network analysis and mining for business applications. ACM Transactions on Intelligent Systems and Technology (TIST) , 2(3):2237. Borgatti, S. P., Everett, M. G., and Freeman, L. C. (2002). Ucinet for windows: Software for social network analysis. Burt, R. S. (2009). Structural holes: The social structure of competition . Harvard university press. Candia, J., González, M. C., Wang, P., Schoenharl, T., Madey, G., and Barabási, A.-L. (2008). Uncovering individual and collective human dynamics from mobile phone records. Journal of Physics A: Mathematical and Theoretical , 41(22):224015. Chung, K. K., Hossain, L., and Davis, J. (2005). Exploring sociocentric and egocentric approaches for social network analysis. In Proceedings of the 2nd international conference on knowledge management in Asia Pacic , pages 2729. Coleman, J., Katz, E., and Menzel, H. (1957). The diusion of an innovation among physicians. Sociometry , pages 253270. Dasgupta, K., Singh, R., Viswanathan, B., Chakraborty, D., Mukherjea, S., Nanavati, A. A., and Joshi, A. (2008). Social ties and their relevance to churn in mobile telecom networks. In Proceedings of the 11th international 46
conference on Extending database technology: Advances in database technology , pages 668677. ACM. Eagle, N., Pentland, A. S., and Lazer, D. (2009). Inferring friendship network structure by using mobile phone data. Proceedings of the National Academy of Sciences , 106(36):1527415278. Fisher, D. (2005). Using egocentric networks to understand communication. Internet Computing, IEEE , 9(5):2028. Freeman, L. C. (1979). Centrality in social networks conceptual clarication. Social networks , 1(3):215239. Friedman, S. R. and Aral, S. (2001). Social networks, risk-potential networks, health, and disease. Journal of Urban Health , 78(3):411418. Guare, J. (1990). Six degrees of separation: A play . Random House LLC. Hanneman, R. and Riddle, M. (2005). Introduction to Social Network Methods . University of California. Jaccard, P. (1901). Distribution de la Flore Alpine: dans le Bassin des dranses et dans quelques régions voisines . Rouge. Karnstedt, M., Hennessy, T., Chan, J., Basuchowdhuri, P., Hayes, C., and Strufe, T. (2010). Churn in social networks. In Handbook of Social Network Technologies and Applications , pages 185220. Springer. Kawale, J., Pal, A., and Srivastava, J. (2009). Churn prediction in mmorpgs: A social inuence based approach. In Computational Science and Engineering, 2009. CSE'09. International Conference on , volume 4, pages 423428. IEEE. Kazienko, P., Ruta, D., and Bródka, P. (2009). The impact of customer churn on social value dynamics. International Journal of Virtual Communities and Social Networking , 1(3):6274. Kempe, D., Kleinberg, J., and Tardos, É. (2003). Maximizing the spread of inuence through a social network. In Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining , pages 137146. ACM. Kiss, C. and Bichler, M. (2008). Identication of inuencersâmeasuring inuence in customer networks. Decision Support Systems , 46(1):233253. Mattison, R. (2006). The telco churn management handbook . Lulu.com. 47
Milgram, S. (1967). The small world problem. Psychology today , 2(1):6067. Newman, M. E. (2000). Models of the small world. Journal of Statistical Physics , 101(3-4):819841. Newman, M. E. (2003). The structure and function of complex networks. SIAM review , 45(2):167256. Oliveira, M. and Gama, J. (2012). An overview of social network analysis. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery , 2(2):99115. Richter, Y., Yom-Tov, E., and Slonim, N. (2010). Predicting customer churn in mobile networks through analysis of social groups. In SDM , volume 2010, pages 732741. Scott, J. (1988). Social network analysis. Sociology , 22(1):109127. Zafarani, R., Abbasi, M. A., and Liu, H. (2014). Social Media Mining: An Introduction . Cambridge University Press. 48