Choosing the Right Test Generation Tool: A Guide for Software Practitioners

0.1 Protocolo da MLR 0.2 Metodologia de Pesquisa Uma revisão sistemática da literatura - SLR - é “um meio de avaliar e interpretar todas as pesquisas disponíveis relevantes para uma questão de pesquisa específica, área de tópico ou fenômeno de interesse” (Kitchenham, 2004) [4]. Este trabalho adota a metodologia da revisão multivocal da literatura - MLR sendo esta um tipo de revisão sistemática da literatura que considera tanto a literatura acadêmica e a cinza em seu estudo. Para a execução desta abordagem utilizou-se o processo de MLR, conforme diretrizes definidas por Mendoza et al. [1], com algumas adaptações e a adoção das estratégias de pesquisa Snowballing e Snowballing reverso. Na pesquisa Snowballing identifica-se artigos que citam um artigo incluído anteriormente no conjunto de estudo enquanto a pesquisa de Snowballing reverso identifica novos artigos a partir das referências de um artigo incluído anteriormente no conjunto [5]. As etapas de pesquisa adotadas neste trabalho são apresentadas na Figura 1 em que EO representa a quantidade de estudos iniciais, E1 a quantidade de estudos após o resultado do primeiro filtro, E2 o resultado após o segundo e E3 a quantidade final de estudos selecionados. 0.3 Planejamento A revisão multivocal da literatura (MLR) é uma forma de revisão sistemática (estudo que analisa e sintetiza informações de estudos existentes gerando novos resultados e conclusões) que produz dados qualitativos e quantitativos permitindo uma visão mais ampla do estado atual do assunto pesquisado a partir da consideração da literatura cinza [6]. Assim como as revisões sistemáticas da literatura, MLRs são usadas para enfrentar o problema do viés do pesquisador procurando encontrar o máximo possível de pesquisas relevantes usando métodos explícitos para verificar antecedentes e revisar a literatura de materiais e pesquisas anteriores [6][7]. Para que a revisão da leitura seja eficiente a mesma deve garantir que o campo abordado seja corretamente compreendido fornecendo assim uma boa base para futuras pesquisas. 0.3.1 Critério de inclusão Para que um estudo seja incluído, ele deve estar escrito em Português ou Inglês e abordar sucintamente a temática de ferramentas de geração de testes. O processo de inclusão dos 1 Figura 1: Metodologia de pesquisa adotada [1] estudos foi realizado em três etapas em que um artigo apenas é qualificado a seguir para a seguinte caso o mesmo cumpra o critério de inclusão da atual. As etapas são: 1. Identificação de trabalhos a partir dos processos de Snowballing e Snowballing reverso: O artigo avaliado deve ter sido publicado a partir do ano de 2012. 2. Leitura do abstract, título e palavras chaves: A leitura das sessões citadas permite uma rápida compreensão do assunto abordado e concede uma ideia geral do escopo do artigo permitindo assim verificar se o estudo em questão aborda os temas desejados para a pesquisa e o rápido descarte do mesmo caso a resposta seja negativa. 3. Leitura do trabalho na íntegra: O artigo avaliado deve demonstrar que sua inclusão ao conjunto da pesquisa traz certa novidade e contribui de alguma forma para a resolução de no mínimo uma pergunta de pesquisa. Dessa forma, adotou-se que o estudo deve abordar ao menos um dos tópicos: •Ferramentas de geração de teste disponíveis; 2 •Vantagens e Desafios ao utilizar ferramentas de geração de testes; •Relação entre desenvolvedor e ferramentas de geração de testes. A Tabela 1 apresenta o procedimento da aplicação dos critérios de inclusão: Etapa Critérios de inclusão Identificação de trabalhos a partir do processo de Snowballing e Snowballing inverso Documentos publicados a partir de 2012 Leitura dos resumos e trechos que foram citados ou que citam Aderência às temáticas propostas Leitura do trabalho na íntegra Abordar ao menos um dos tópicos mencionados Tabela 1: Critérios de inclusão adotados no Snowballing 0.3.2 Critério de exclusão Além de materiais que não se qualificam nos critérios de inclusão como documentos publicados antes de 2012, foram excluídos literatura inacessível, ou seja não disponível para a comunidade, resultados que a pesquisa do Google considera semelhantes, anúncios de ferramentas de fornecedores. 0.3.3 Avaliação de qualidade Segundo Garousi et al. [3], a avaliação de qualidade dos estudos consiste em determinar até que ponto um estudo é valido e livre de viés. A literatura formal geralmente segue um processo controlado de revisão e publicação, como a literatura cinza é mais variada e menos controlada a qualidade dessa literatura é mais diversa e possivelmente complicada de avaliar sendo necessário abordar um modelo para avaliação de sua qualidade. Para avaliar a qualidade de estudos da literatura cinza Garousi et al. [3] sugere aplicar e adaptar certos critérios de avaliação sendo eles: autoridade do produtor, metodologia, objetividade, data, novidade e tipos de qualidade, os quais foram adaptados para esse estudo, através das seguintes perguntas: 1. Autoridade do produtor: A organização ou indivíduo que publicou o estudo possui credibilidade? ou seja, possuiu uma boa reputação, publicou outros trabalhos na área e/ou possui experiência na área? Por exemplo: Software Engineering Institute (SEI). 3 2. Metodologia: O estudo tem um objetivo claramente declarado? O estudo é apoiada por fontes e referências confiáveis? O estudo responde alguma das perguntas de pesquisa estabelecidas? 3. Objetividade: As afirmações do estudo são as mais objetivas possíveis ou são de opiniões subjetivas? ou seja, as informações providas pelo estudo são apresentadas e apoiados por dados concretos? 4. Data de publicação: O estudo possui uma data de publicação claramente indicada? 5. Novidade: O estudo adiciona algo novo e único a pesquisa? retifica ou ratifica algum outro estudo da literatura? 6. Tipos de qualidade: •1ºnível: Controle de saída alta/Alta credibilidade: Livros, revistas, teses, relatórios governamentais •2ºnível: Controle de saída moderado/ Credibilidade moderada: relatórios anuais, artigos de notícias, apresentações, vídeos, sites de perguntas e respostas, artigos wiki •3ºnível: Controle de saída baixo/ Baixo credibilidade: blogs, e-mails, tweets Garousi et al. [3]. Cada estudo de literatura cinza é avaliado pelas perguntas mencionadas e recebe um ponto para cada resposta "sim"podendo obter um total de 10 pontos de acordo com os critérios autoridade do produtor, metodologia, objetividade, data e novidade. Adicionalmente, cada fonte recebe 0, 0,5 ou 1 ponto caso seja nível 3, 2 ou 1 respectivamente. De forma a estabelecer uma avaliação de qualidade sistemática para todas as fontes de literatura cinza, foi definido que a pontuação de qualidade de 6 é o “limiar”. Qualquer fonte acima disso é incluída no estudo enquanto as demais com pontuação abaixo dela são excluídas. A Tabela 2 exemplifica uma análise de qualidade considerando três literaturas cinzas fictícias sendo elas: GL1: Postagem em um blog, GL2: Revista e GL3: Vídeo do Youtube. Ao analisar a Checklist verifica-se que GL1 foi excluído enquanto GL2 e GL3 foram incluídos no processo. 0.4 Execução da pesquisa Após a definição do protocolo a ser seguido, deu-se inicio a execução da revisão multivocal e aquisição de materiais de pesquisa. O processo de identificação e seleção de novos estudos 4 Critério Questões GL1 GL2 GL3 Autoridade do produtor A organização ou indivíduo que publicou o estudo possui credibilidade? ou seja, possuiu uma boa reputação e/ou possui experiência na área? 0 1 0 A organização ou indivíduo publicou outros estudos nessa mesma área de conhecimento? 1 1 1 Metodologia O estudo tem um objetivo claramente declarado? 0 1 1 O estudo é apoiado por fontes e referências confiáveis? 1 1 0 O estudo responde alguma das perguntas de pesquisa estabelecidas? 0 0 1 Objetividade As afirmações do estudo são as mais objetivas possíveis ou são de opiniões subjetivas? 0 1 0 As conclusões são apoiadas pelos dados? 0 1 0 Data de lançamento O estudo possui uma data de lançamento claramente indicada? 1 1 1 Novidade O estudo adiciona algo novo e único a pesquisa? 0 0 1 O estudo retifica ou ratifica algum outro estudo da literatura? 0 1 1 Tipo de qualidade 0 1 0.5 Soma total 3 9 6.5 Tabela 2: Checklist de análise de qualidade da literatura cinza [3] 5 a serem incluídos neste trabalho foi realizada por meio das abordagens de snowballing forward e inverse snowballing em um conjunto inicial de artigos selecionados. O conjunto inicial neste caso consiste em apenas um único documento sendo esse o artigo de Li e Yang [8]. A abordagem de bola de neve seguida foi abordada seguindo o estudo de Wohlin et al. [2]: O processo de Snowballing reverso consiste em usar a lista de referências para identificar novos artigos a serem incluídos. O primeiro passo dessa abordagem é percorrer a lista de referências e excluir artigos que não atendam a critérios estabelecidos, e em seguida, remover os papéis da lista que já foram examinados nesta ou em uma iteração anterior. As duas primeiras etapas na bola de neve para trás foram utilizadas para extrair o máximo de informações possíveis do documento que estava sendo examinado não havendo transferência para novos artigos até que não havia mais informações disponíveis no estudo que está sendo examinado. Por outro lado, Snowballing para frente refere-se à identificação de novos artigos com base naqueles artigos que citam o artigo que está sendo examinado contudo, possui uma abordagem para examinar os papéis semelhante à abordagem utilizada pela bola de neve para trás [2]. Ao identificar um estudo que ao ser submetido aos critérios de inclusão se tornou qualificado a adentrar a pesquisa, o mesmo foi lido integralmente. Primeiramente, leu-se o resumo e as partes mais relevantes do artigo após breve navegação pelo documento para poder tomar uma decisão sobre inclusão ou exclusão de maneira eficiente. Após o snowballing e o snowballing reverso, os novos artigos identificados na iteração são colocados em uma pilha para ir para a próxima iteração, como uma iteração foi realizada por vez, foi possível obter rastreabilidade entre os documentos [2]. A Figura 2 ilustra as abordagens de Snowballing adotadas. Segundo Garousi et al.[3], a condição de parada do processo de busca de literatura cinza não é tão clara quanto a da pesquisa formal que segue uma cadeia de pesquisa. Os autores sugerem três diferentes critérios de parada sendo elas: 1. Saturação teórica: Quando nenhum novo conceito emerge dos resultados da pesquisa 2. Esforço limitado: Incluir apenas os principais N resultados do mecanismo de pesquisa 3. Esgotamento de evidências: Extrair todas as evidências Este trabalho adota a abordagem 1, ou seja, o processo de busca foi encerrado quando ao pesquisar por novos estudos não obteve-se nenhum conteúdo novo e relevante acerca de ferramentas de testes para adicionar a este trabalho que já não tenha sido incluído anteriormente. 6 Figura 2: Etapas do procedimento de snowballing para frente e para trás [2] 7 Referências [1] Mendoza-Gonzalez, Ricardo, Sergio Luján-Mora, Salvador Otón, Mary SánchezGordón, Mario Rodríguez-Díaz e Ricardo Reyes-Acosta: Guidelines to establish an office of student accessibility services in higher education institutions. Sustainability, 14:2635, fevereiro 2022. viii, 1, 2 [2] Wohlin, Claes: Guidelines for snowballing in systematic literature studies and a replication in software engineering. Em Shepperd, Martin J., Tracy Hall e Ingunn Myrtveit (editores): 18th International Conference on Evaluation and Assessment in Software Engineering, EASE ’14, London, England, United Kingdom, May 13-14, 2014, páginas 38:1–38:10. ACM, 2014. https://doi.org/10.1145/2601248.2601268. viii, 6, 7 [3] Garousi, Vahid, Michael Felderer e Mika V Mäntylä: Guidelines for including grey literature and conducting multivocal literature reviews in software engineering. Information and software technology, 106:101–121, 2019. ix, 3, 4, 5, 6 [4] Brereton, Pearl, Barbara A Kitchenham, David Budgen, Mark Turner e Mohamed Khalil: Lessons from applying the systematic literature review process within the software engineering domain. Journal of systems and software, 80(4):571–583, 2007. 1 [5] Linåker, Johan, Efi Papatheocharous e Thomas Olsson: How to characterize the health of an open source software project? a snowball literature review of an emerging practice. Em Proceedings of the 18th International Symposium on Open Collaboration, páginas 1–12, New York, NY, United States, 2022. Association for Computing Machinery. 1 [6] Calderón, Alejandro, Mercedes Ruiz e Rory V O’Connor: A multivocal literature review on serious games for software process standards education. Computer Standards & Interfaces, 57:36–48, 2018. 1 [7] Pati, Debajyoti e Lesa N Lorusso: How to write a systematic review of the literature. HERD: Health Environments Research & Design Journal, 11(1):15–30, 2018. 1 [8] Li, Yuanchun, Ziyue Yang, Yao Guo e Xiangqun Chen: Droidbot: a lightweight uiguided test input generator for android. Em Uchitel, Sebastián, Alessandro Orso e Martin P. Robillard (editores): Proceedings of the 39th International Conference on Software Engineering, ICSE 2017, Buenos Aires, Argentina, May 20-28, 2017 - Companion Volume, páginas 23–26, Buenos Aires, 2017. IEEE Computer Society. 6 8