Projetos de práticas profissionais: analisando a usabilidade dos módulos integrados ao SUAP no Instituto Federal do Rio Grande do Norte

ii DIREITOS DE AUTOR E CONDIÇÕES DE UTILIZAÇÃO DO TRABALHO POR TERCEIROS Este é um trabalho académico que pode ser utilizado por terceiros desde que respeitadas as regras e boas práticas internacionalmente aceites, no que concerne aos direitos de autor e direitos conexos. Assim, o presente trabalho pode ser utilizado nos termos previstos na licença abaixo indicada. Caso o utilizador necessite de permissão para poder fazer um uso do trabalho em condições não previstas no licenciamento indicado, deverá contactar o autor, através do RepositóriUM da Universidade do Minho. Licença concedida aos utilizadores deste trabalho Atribuição CC BY https://creativecommons.org/licenses/by/4.0/ iii AGRADECIMENTOS À Deus, pela força, sabedoria e fé que me proporciona a cada dia; Ao meu orientador Doutor José Alberto Lencastre, pelos conhecimentos repassados, pela paciência e confiança em mim depositado; Aos meus pais, Inácio Pires e Fátima de Loures, pelos cuidados, ensinamentos, incentivos e educação que me deram, mesmo diante das dificuldades; Aos meus irmãos, Estanley Pires, Humberto Lima e em especial a Alberto Lima, pelo apoio e conhecimento compartilhado; Aos meus sobrinhos, Mateus e Mariana; Aos meus primos (quase irmãos), Márcio Mendes e Giselma Ramos, pelo companheirismo constante; Aos meus grandes amigos, Marcelo Dantas e Raynilson Iglesias, a quem devo, pela parceria de sempre; Aos meus amigos do IFRN, Roberto Camilo, Vanilo Alexandre, Jaime Barbosa, Sueldo, Humberto Alves, Márcio Santos, Josenildo Oliveira, Manoel Targino, Rodrigo Leone, Zenileide Rejane, Tassyana, Anna Karina, Maria Luiza, Henrique Jordon, Mariana, pelo carinho e atenção; Aos meus colegas de mestrado, Michel, Eloísa, Tales Augusto, Maria Auxiliadora, Thiago Azevedo, Kaio, Carlos, Victor, Daniel Ramaldes, Talita Pessoa, pela troca de experiências; À toda a equipe de gestão do IFRN Campus Nova Cruz, pelo aprendizado constante e experiência profissionais; Ao IFRN por propiciar meu retorno aos estudos e possibilitar total dedicação ao mestrado; À UMinho pela excelência em ensino e parceria junto ao IFRN; Aos participantes da pesquisa, pela disponibilidade, colaboração e concretização do estudo; Aos que não mencionei, pelo esquecimento, peço sinceras desculpas. Deus abençoe cada um de vocês! iv DECLARAÇÃO DE INTEGRIDADE Declaro ter atuado com integridade na elaboração do presente trabalho académico e confirmo que não recorri à prática de plágio nem a qualquer forma de utilização indevida ou falsificação de informações ou resultados em nenhuma das etapas conducente à sua elaboração. Mais declaro que conheço e que respeitei o Código de Conduta Ética da Universidade do Minho. v RESUMO Título: Projetos de práticas profissionais: analisando a usabilidade dos módulos integrados ao SUAP no Instituto Federal do Rio Grande do Norte Este trabalho tem como estudo a avaliação de usabilidade dos módulos relacionados à prática profissional do Sistema Unificado de Administração Pública (SUAP) do Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte (IFRN). No SUAP os módulos que são referentes às práticas profissionais são os de (i) Estágio, de (ii) Aprendizagem, de (iii) Gestão de Projetos de Extensão, de (iv) Gestão de Projetos de Pesquisa e de (v) Atividade Profissional Efetiva. Os participantes da pesquisa foram os professores e alunos do IFRN – Campus Nova Cruz. Foram utilizados dois métodos de recolha de dados: primeiro um questionário de avaliação de usabilidade dividido em 9 categorias (1) experiência do usuário, (2) aspecto visual de interface, (3) navegação, (4) gestão de erros, (5) consistência, (6) controle, (7) conteúdo, (8) feedback e (9) facilidade de aprendizado, seguido de um questionário SUS (System Usability Scale), para obter o grau de satisfação dos utilizadores em relação aos módulos em estudo e identificar as dificuldades encontradas pelos mesmos; em seguida, foi realizado entrevistas de grupo focal (focus group): no primeiro momento com alunos e no segundo momento com professores, no intuito de analisar o nível de acompanhamento da prática profissional dos alunos no uso dos módulos, identificar as percepções dos usuários sobre os módulos e propor melhorias de usabilidade dos módulos de forma a contribuir no acompanhamento da prática profissional. Após a análise dos resultados, os módulos foram considerados bons tanto pelos professores quanto pelos alunos, mas foram apontadas algumas dificuldades tais como na divulgação dos módulos, no acompanhamento da prática profissional, no controle de usuário para anexar documentos, no treinamento quanto ao uso do sistema, no suporte prévio, no registro da prática profissional, na integralização dos módulos e nas permissões de acesso. Ao nível de satisfação, obtemos scores 62,5 e 71,3 pontos na opinião de professores e alunos, respectivamente. Para trabalhos futuros, recomenda-se realizar um estudo de avaliação de usabilidade em todos os módulos do SUAP, adicionando outras metodologias de avaliação, a exemplo da avaliação heurística, com especialistas. Palavras-chave: avaliação, prática profissional, SUAP, SUS, usabilidade. vi ABSTRACT Title: Professional Practice Projects: Analyzing the Usability of SUAP Integrated Modules at the Federal Institute of Rio Grande do Norte This work has as its study the usability evaluation of the modules related to the professional practice of the Unified Public Administration System (SUAP) of the Federal Institute of Education, Science and Technology of Rio Grande do Norte (IFRN). In SUAP the modules that refer to professional practices are (i) Internship, (ii) Learning, (iii) Extension Project Management, (iv) Research Project Management and (v) Professional Activity Effective The research participants were the teachers and students of IFRN - Campus Nova Cruz. Two data collection methods were used: first a usability assessment questionnaire divided into 9 categories (1) user experience, (2) visual interface aspect, (3) navigation, (4) error management, (5) consistency, (6) control, (7) content, (8) feedback, and (9) learning ease, followed by a SUS (System Usability Scale) questionnaire to obtain user satisfaction with the modules under study and identify the difficulties encountered by them; Then, focus group interviews were conducted: firstly with students and secondly with teachers, in order to analyze the level of monitoring of students 'professional practice in the use of modules, to identify users' perceptions of the modules and propose usability improvements of the modules in order to contribute to the monitoring of professional practice. After analyzing the results, the modules were considered good by both teachers and students, but some difficulties were pointed out, such as the dissemination of the modules, the monitoring of professional practice, user control to attach documents, training on the use of the module. system, prior support, registration of professional practice, payment of modules and access permissions. At the satisfaction level, we obtained 62.5 and 71.3 points in the opinion of teachers and students, respectively. For future work, it is recommended to conduct a usability evaluation study on all SUAP modules, adding other evaluation methodologies, such as heuristic evaluation, with specialists. Keywords: evaluation, professional practice, SUAP, SUS, usability. vii ÍNDICE 1 INTRODUÇÃO ..................................................................................................................................... 13 1.1 CONTEXTUALIZAÇÃO DO ESTUDO ............................................................................................................... 14 1.2 IDENTIFICAÇÃO DO PROBLEMA .................................................................................................................. 15 1.3 QUESTÃO DE INVESTIGAÇÃO ..................................................................................................................... 15 1.4 OBJETIVOS DO ESTUDO ............................................................................................................................ 15 1.5 RELEVÂNCIA DO ESTUDO .......................................................................................................................... 16 1.6 ESTRUTURA DA DISSERTAÇÃO .................................................................................................................... 16 2 REVISÃO SISTEMÁTICA DE LITERATURA .............................................................................................. 17 2.1 A PRÁTICA PROFISSIONAL NO IFRN ........................................................................................................... 17 2.2 O SUAP E A IMPORTÂNCIA DA TI NA EDUCAÇÃO .......................................................................................... 20 2.3 REVISÃO SISTEMÁTICA ............................................................................................................................. 22 2.3.1 Metodologia da Revisão Sistemática ............................................................................................ 23 2.3.2 Critérios de inclusão/exclusão utilizados ...................................................................................... 26 2.3.3 Constituição do corpus documental ............................................................................................. 27 2.3.4 Síntese dos resultados .................................................................................................................. 28 2.3.5 Avaliação de Qualidade ................................................................................................................ 35 2.3.6 Extração dos Dados ...................................................................................................................... 38 2.3.7 Síntese dos Dados ......................................................................................................................... 48 2.3.8 Categorização dos Dados ............................................................................................................. 58 2.3.9 Discussão ...................................................................................................................................... 63 3 METODOLOGIA ................................................................................................................................... 66 3.1 OPÇÃO METODOLÓGICA .......................................................................................................................... 66 3.2 DESCRIÇÃO DO ESTUDO ........................................................................................................................... 66 3.3 PARTICIPANTES ...................................................................................................................................... 68 3.4 MÉTODOS E TÉCNICAS DE RECOLHA DE DADOS .............................................................................................. 69 3.4.1 Questionário de avaliação da usabilidade .................................................................................... 69 3.4.2 Questionário SUS .......................................................................................................................... 73 3.4.3 Entrevista em grupo (focus group) ............................................................................................... 74 3.4.4 A recolha dos dados ...................................................................................................................... 76 3.5 MÉTODOS E TÉCNICAS DE ANÁLISE DOS DADOS ............................................................................................. 78 3.6 QUESTÕES ÉTICAS DE INVESTIGAÇÃO .......................................................................................................... 79 3.7 DESIGN DE INVESTIGAÇÃO ........................................................................................................................ 81 4 APRESENTAÇÃO E ANÁLISE DE RESULTADOS ....................................................................................... 82 4.1 ANÁLISE DESCRITIVA DOS RESULTADOS DO QUESTIONÁRIO DE AVALIAÇÃO DA USABILIDADE ................................... 82 4.1.1 Sob a ótica dos alunos .................................................................................................................. 83 4.1.2 Sob a ótica dos docentes .............................................................................................................. 93 4.2 ANÁLISE DOS RESULTADOS DO QUESTIONÁRIO DE AVALIAÇÃO DE SATISFAÇÃO SUS .............................................. 99 4.3 ANÁLISE DOS RESULTADOS DAS ENTREVISTAS EM GRUPO .............................................................................. 100 4.3.1 Sob a ótica dos alunos ................................................................................................................ 103 4.3.2 Sob a ótica dos docentes ............................................................................................................ 110 5 CONCLUSÃO ..................................................................................................................................... 117 5.1 CONSIDERAÇÕES FINAIS ......................................................................................................................... 119 5.2 LIMITAÇÕES DE ESTUDO ......................................................................................................................... 120 5.3 SUGESTÃO DE FUTURAS PESQUISAS .......................................................................................................... 120 viii REFERÊNCIAS BIBLIOGRÁFICAS .................................................................................................................. 120 ANEXOS ..................................................................................................................................................... 125 ANEXO I – COMBINAÇÕES DAS PESQUISAS E RESULTADOS DETALHADOS ......................................................................... 125 ANEXO II – EXTRAÇÃO DOS DADOS DOS ARTIGOS/DISSERTAÇÕES .................................................................................. 129 ANEXO III – CATEGORIZAÇÃO DOS DADOS ............................................................................................................... 136 ANEXO IV – QUESTIONÁRIO DE AVALIAÇÃO DA USABILIDADE ....................................................................................... 147 ANEXO V – QUESTIONÁRIO DE AVALIAÇÃO DA SATISFAÇÃO SUS .................................................................................. 151 ANEXO VI – GUIA DA ENTREVISTA DE GRUPO FOCAL .................................................................................................. 153 ANEXO VII – TERMO DE AUTORIZAÇÃO PARA REALIZAÇÃO DO QUESTIONÁRIO (ALUNO) .................................................... 155 ANEXO VIII – TERMO DE AUTORIZAÇÃO PARA REALIZAÇÃO DO QUESTIONÁRIO (PROFESSOR) ............................................. 156 ANEXO IX – TERMO DE AUTORIZAÇÃO PARA REALIZAÇÃO DO QUESTIONÁRIO (GENITOR) ................................................... 157 ANEXO X – TERMO DE AUTORIZAÇÃO PARA REALIZAÇÃO DA ENTREVISTA (ALUNO) ........................................................... 158 ANEXO XI – TERMO DE AUTORIZAÇÃO PARA REALIZAÇÃO DA ENTREVISTA (PROFESSOR) .................................................... 159 ANEXO XII – TERMO DE AUTORIZAÇÃO PARA REALIZAÇÃO DA ENTREVISTA (GENITOR) ....................................................... 160 ANEXO XIII – RESPOSTAS DOS QUESTIONÁRIOS DE AVALIAÇÃO DE USABILIDADE APLICADOS AOS ALUNOS ............................. 161 ANEXO XIV – RESPOSTAS DOS QUESTIONÁRIOS DE AVALIAÇÃO DE USABILIDADE APLICADOS AOS DOCENTES .......................... 169 15 1.2 Identificação do Problema O SUAP contém módulos referentes às modalidades de práticas profissionais, como os módulos de Estágio, Aprendizagem, Gestão de Projetos de Extensão e Pesquisa, e de Atividade Profissional Efetiva. Nesse contexto, usuários (coordenadores de curso, orientadores e/ou gestores e os alunos) relatam dificuldades em realizar gerenciamento das informações por não haver integração entre os módulos existentes. Este problema leva-nos a questionar: Q1) Quais foram os critérios utilizados para o desenvolvimento dos módulos existentes? Q2) Que tipo de participação foi concedida aos coordenadores de curso, orientadores e alunos, para o desenvolvimento dos módulos existentes? Q3) Qual a visão dos usuários que utilizam os módulos integrados ao SUAP? Em razão disso, originou-se a motivação pela qual o autor se dispõe a analisar o acompanhamento da prática profissional discente dos cursos técnicos do IFRN - Campus Nova Cruz baseados na Organização Didática (Capítulo XII) e Resolução 13/2015-CONSUP e o papel dos módulos existentes no SUAP nesse acompanhamento. 1.3 Questão de Investigação Nesse sentido, o presente estudo tem como objetivo responder à seguinte questão de investigação: Em que medida os módulos existentes no SUAP contribuem no acompanhamento da prática profissional discente do IFRN? 1.4 Objetivos do estudo a) Avaliar a usabilidade dos módulos no SUAP no sentido de identificar as dificuldades encontradas pelos usuários no uso dos módulos na prática profissional. b) Analisar o nível de acompanhamento da prática profissional, mediado pelo professor-orientador, dos alunos que utilizam os módulos integrados ao SUAP. c) Identificar as percepções dos usuários no uso dos módulos no SUAP na prática profissional. d) Propor melhorias na usabilidade dos módulos no SUAP de forma a contribuírem no acompanhamento da prática profissional discente do IFRN. 16 1.5 Relevância do estudo Para o pesquisador, o desenvolvimento do estudo é extremamente valioso, pois possibilita um crescimento profissional e acadêmico, eleva o nível de usabilidade dos módulos auxiliando os interessados no gerenciamento da mesma, e contribui com a melhoria da educação através da TI, sua área de interesse e formação. No fim do estudo realizado e com todo o trabalho desenvolvido, espera-se que seja respondida à questão de investigação, que todos os objetivos planejados tenham êxito e as melhorias porventura identificadas sejam validadas e implantadas nos módulos contidos no SUAP, pela equipe da DIGTI do IFRN. 1.6 Estrutura da dissertação Na primeira seção da dissertação estão descritos esta introdução, que trata do estudo da avaliação da usabilidade dos módulos integrados ao SUAP referente às modalidades de prática profissional do IFRN. Dando continuidade à seção, são definidos a questão de investigação, os objetivos da pesquisa e, finalizando, com a relevância do estudo. Na segunda seção, será descrita a revisão de literatura, onde serão abordados a prática profissional no IFRN, o SUAP e a importância da TI na educação e, finalizando, com uma revisão sistemática de literatura, que seguirá os seguintes passos: metodologia utilizada na revisão sistemática, critérios de inclusão/exclusão, constituição do corpus documental, síntese dos resultados, avaliação da qualidade, extração dos dados, síntese dos dados, categorização dos dados e a discussão. Na terceira seção, será abordada a metodologia, onde se definirá a opção metodológica, a descrição do estudo, os participantes envolvidos, os métodos e técnicas de recolha dos dados, os métodos e técnicas de análise dos dados, as questões éticas de investigação e o design de investigação. Na quarta seção, será feita a apresentação e análise dos resultados obtidos. Na quinta seção serão feitas as conclusões que abordará as considerações finais, limitações de estudo e sugestões de pesquisas futuras. Na sexta seção, são citadas as referências bibliográficas. Por fim, são listados os anexos. 17 2 Revisão sistemática de Literatura Este capítulo visa descrever a revisão de literatura, onde serão abordados a prática profissional no IFRN, o SUAP e a importância da TI na educação e, finalizando, com uma revisão sistemática de literatura, que seguirá os seguintes passos: metodologia utilizada na revisão sistemática, critérios de inclusão/exclusão, constituição do corpus documental, síntese dos resultados, avaliação da qualidade, extração dos dados, síntese dos dados, categorização dos dados e a discussão. 2.1 A Prática Profissional no IFRN A Regulamentação da Prática Profissional Discente do IFRN (Resolução 13/2015-CONSUP), do Art. 3, dispõe que a prática profissional pode ser desenvolvida por meio das seguintes modalidades, combinadas ou não: I. Prática como componente curricular: a. Projeto integrador e/ou de pesquisa e/ou de extensão; b. Atividade de metodologia do ensino (aplicável apenas às licenciaturas); II. Estágio; III. Atividades acadêmico-científico-culturais (aplicável ao ensino superior); e IV. Atividade profissional efetiva. (BRASIL, 2015) Na prática, como componente curricular, os projetos dividem-se em três tipos: os integradores, os de pesquisa e os de extensão. Os projetos integradores além de possibilitar a integração dos conhecimentos e disciplinas, permitem a integração entre estudantes, estudantes-docentes, bem como atividades de ensino, pesquisa e extensão. Os projetos de pesquisa têm como finalidade disseminar o conhecimento, independentemente de qualquer eixo tecnológico, de acordo com o campo de atuação do pesquisador. Além disso, os projetos de pesquisa, segundo a Resolução 13/2015 do IFRN devem observar que "sempre devem ser orientados por um servidor docente ou técnico que tenha formação superior na área a ser desenvolvido o projeto." (BRASIL, 2015). Os projetos de extensão permitem socializar os conhecimentos dos diversos cursos ofertados além de ser elemento indispensável para unidade entre teoria e prática, que devem ser coordenados por servidores docentes ou 18 técnicos do IFRN. Outra modalidade de componente curricular é a prática como metodologia de ensino, que é centrada em conhecimentos específicos da docência relacionando a teoria e a prática do processo de ensino e aprendizagem. Outra prática profissional é o estágio, que segundo a Resolução 13/2015-CONSUP é definida como: Art. 10. O estágio é ato educativo escolar realizado por discentes com matricula ativa e frequência regular, que deve ser desenvolvido no ambiente de trabalho, orientado e supervisionado, possibilitando ao discente o exercício da prática profissional, aliando a teoria à prática, como parte integrante de sua formação. Parágrafo único. Em consonância com os termos da Lei n 11.788/2008 e em concordância com sua pertinência e abrangência, serão adotadas as nomenclaturas estágio obrigatório e estágio não obrigatório. (BRASIL, 2015) Nos estágios, obrigatório e não obrigatório, o estudante desenvolve atividades compatíveis com sua área de formação no IFRN. No obrigatório a carga horária é requisito para integralização do curso, aprovação do estudante e obtenção do certificado de conclusão ou diploma. Já no não obrigatório a carga horária deve ser registrada no histórico do estudante. Vale ressaltar a necessidade do cumprimento de determinadas exigências para realização do estágio nos cursos técnicos de nível médio e superior em tecnologia e engenharias, que estão expressos no Art. 13, da Resolução 13/2015. Segue a relação: I. Matrícula ativa e frequência regular, quando o aluno está cursando disciplinas; II. Estar cursando, pelo menos, a segunda metade do curso para o estágio obrigatório, observando o que define o PPC; III. Haver cursado ou estar cursando disciplinas do núcleo ou unidade tecnológica da matriz curricular para o estágio não obrigatório e concomitantemente estar no segundo ano do curso; IV. Ter idade mínima de 16 anos; V. Preenchimento do Plano de Atividades, deferido e assinado pelo professororientador e coordenador do curso, estudante e supervisor, conforme modelo da PROEX; VI. Celebração do Termo de Compromisso entre o educando, a parte concedente e o IFRN, conforme modelo da PROEX; VII. Compatibilidade entre as atividades desenvolvidas no estágio e aquelas previstas no Plano de Atividades e Termo de Compromisso, com atualização semestral do Plano; VIII. Contratação de apólice do seguro de vida contra acidentes pessoais, morte e invalidez, em nome do educando; IX. Acompanhamento pelo professor-orientador do IFRN, bem como das coordenações ou diretoria de extensão, ou ainda de outros setores vinculados a esses; X. Acompanhamento pelo supervisor da parte concedente; XI. No caso de estudante estrangeiro, para realizar o estágio, o educando 19 deverá estar regularmente matriculado em curso superior de tecnologia ou técnico e com visto temporário em dia. (BRASIL, 2015) A prática profissional relacionada às Atividades Acadêmico-Científico-Culturais (AACC) refere-se à vivências acadêmicas nas áreas de ensino, pesquisa e/ou extensão. São típicas dos cursos superiores de graduação (licenciaturas, superiores de tecnologias e engenharias), e o aluno deverá cumprir o mínimo de horas estabelecidas no projeto pedagógico de curso. (BRASIL, 2015) Por fim, podemos elencar a Atividade Profissional Efetiva como prática profissional, ela deve “... ser realizada por atividade laboral, empresarial, profissional técnico-especializada ou atividades realizadas em programas de aprendizagem ...” e apresentam quatro tipos por meio de atividade profissional efetiva, que são: “I. Emprego, cargo ou função; II. Atividade profissional autônoma; III. Atividade empresarial; e IV. Programa de Aprendizagem”. (BRASIL, 2015). Além disso, a Resolução 13/2015-CONSUP, em seu Art. 23, dispõe que são condições comuns para o aproveitamento da atividade profissional efetiva como prática profissional: I. Matrícula ativa e frequência regular do educando em curso dessa natureza no IFRN; II. Haver cursado ou estar cursando disciplinas do núcleo ou unidade tecnológica ou núcleo específico do curso; III. Ter idade mínima de 16 anos; IV. Preenchimento do Plano de Atividades, em pelo menos três vias, deferido e assinado pelo coordenador do curso ou professor orientador, estudante e coordenador de extensão ou gestor da prática profissional; V. Compatibilidade entre as atividades a serem desenvolvidas e aquelas previstas no Plano de Atividades; VI. Apresentação da documentação comprobatória da atividade profissional efetiva, conforme modelos apresentados pela PROEX; VII. Acompanhamento efetivo pelo servidor orientador do IFRN, bem como das coordenações ou diretoria de extensão, ou ainda de outros setores responsáveis pela prática profissional. (BRASIL, 2015) Com a nova Regulamentação da Prática Profissional Discente do IFRN (Resolução 25/2019CONSUP), a prática profissional pode ser desenvolvida por meio de novas modalidades além das mencionadas na antiga resolução que são: programa de Aprendizagem, atividades relacionadas ao Empreendedorismo, tutoria de Aprendizagem e Laboratório (TAL) ou Programa de Apoio à Formação Estudantil, programa de Residência Pedagógica, atividades teórico-práticas de aprofundamento – ATPAs e serviço voluntário, desenvolvido conforme lei no 9.608/1998 e suas alterações. 20 No programa de Aprendizagem é uma ação educativa que deve ser regido por um contrato especial de aprendizagem de no máximo dois anos, onde o aprendiz de idade compreendida entre 14 e 24 anos, “se compromete a executar, com zelo e diligência, as tarefas necessárias a sua formação” (BRASIL, 2019). Conforme a Resolução 25/2019-CONSUP, o “acompanhamento do programa de aprendizagem deve ser realizado pelo professororientador do IFRN, pelas coordenações de cursos bem como pelas coordenações ou diretoria de extensão (módulo de aprendizagem do Suap), ou ainda por outros setores vinculados a esses, assim como pelo empregado monitor da parte concedente.” (BRASIL, 2019). E a sua conclusão, deve ser feita em módulo próprio do Suap, com os registros das atividades desempenhadas e documentos exigidos. Nas atividades relacionadas ao Empreendedorismo, ocorrem por meio da participação do discente em empresa júnior, miniempresa, incubadora ou hotel de projeto. A Tutoria de Aprendizagem e Laboratório (TAL) ou Programa de Apoio à Formação Estudantil, segundo a Resolução 25/2019-CONSUP, “são atividades educativas e/ou de caráter formativo que complementam o ensino, conforme estabelecido em regulamentos aprovados pelo Conselho Superior do IFRN (Consup/IFRN).” (BRASIL, 2019). O programa de Residência Pedagógica consiste em uma “atividade de formação realizada pelo discente regularmente matriculado em curso de licenciatura e desenvolvida numa escola pública de educação básica, denominada escola-campo” (BRASIL, 2019). As atividades teórico-práticas de aprofundamento – ATPAs “são de aprofundamento em áreas especificas de interesse dos estudantes, e podem ser realizadas por meio de iniciação cientifica, de iniciação à docência, de extensão e de monitoria, entre outras descritas no projeto do curso” (BRASIL, 2019). O serviço voluntário, como prática profissional, “pode ser desenvolvido em entidade pública de qualquer natureza ou em instituição privada sem fins lucrativos que tenha objetivos cívicos, culturais, educacionais, recreativos ou de assistência à pessoa.” (BRASIL, 2019). 2.2 O SUAP e a importância da TI na educação O Sistema Unificado de Administração Pública (SUAP) foi desenvolvido pela Coordenação de Sistemas de Informação (COSINF) da Diretoria de Gestão de Tecnologia da Informação (DIGTI) do IFRN, para suprir as necessidades da instituição no que tange os seus trâmites administrativos e acadêmicos. 21 Construído na perspectiva multicampi, o SUAP iniciou seu funcionamento com apenas 2 (dois) módulos, ainda na era Centro Federal de Educação Tecnológica do Rio Grande do Norte (CEFET-RN), e atualmente possui uma estrutura superior a 40 (quarenta) módulos, com usuários com diferentes privilégios, que variam de acordo com sua hierarquia administrativa/acadêmica. Com a expansão da educação federal (a evolução de CEFET para Instituto Federal de Educação, Ciência e Tecnologia), surgiram concursos públicos no IFRN, novos servidores na área de TI (Analistas e Tecnólogos em TI) foram selecionados e o projeto SUAP foi ganhando importância dentro da instituição. Através de convênios firmados, o SUAP vem sendo utilizado por vários Institutos Federais no Brasil, e o mesmo se encontra em pleno desenvolvimento e em constantes atualizações para resoluções de “bugs”. Nesse contexto, dentre os mais de 40 (módulos) informados anteriormente, alguns destes são referentes às práticas profissionais, que são os módulos de Estágio (Objetivo de fazer o registro de acompanhamento dos estágios, a fim de atender as exigências da Lei 11.788/08), Aprendizagem (Objetivo de fazer o registro de acompanhamento das aprendizagens, que tenham o IFRN como instituição de ensino), Gestão de Projetos de Extensão (Objetivo de fazer o registro de acompanhamento e a emissão de relatórios de projetos de extensão) e Pesquisa (Objetivo de fazer o registro de acompanhamento e a emissão de relatórios de projetos de pesquisa), e de Atividade Profissional Efetiva (Objetivo de fazer o registro e acompanhamento das mesmas, principalmente pelo fato delas substituírem o estágio para o cumprimento de carga horária). É notório identificar que os usuários que acompanham a evolução dos projetos de prática profissional no IFRN, são beneficiados com as mudanças e inovações tecnológicas que o mesmo implantou com o desenvolvimento dos módulos do SUAP, pois as mesmas têm um poder transformador na educação. Nessa perspectiva, a utilização da TI no acompanhamento das atividades acadêmicas, em especial, dos trabalhos de prática profissional discente, torna-se muito importante e necessária, fazendo com que tenhamos um maior controle, gerenciamento e análise desses trabalhos de forma mais ágil. Para Albertin (2001, p. 45), "A utilização de TI significa uma mudança, muitas vezes profunda, na organização, que deve ser planejada e preparada para 22 que se garanta seu sucesso”. Na mesma ideia, Valente (1999, p.12) destaca que as "mudanças são necessárias para que a informática e outras soluções pedagógicas inovadoras possam efetivamente estar a serviço da formação de alunos preparados para viver na sociedade do conhecimento". Sendo assim, a proposta de mudança e de transformação da educação através da implantação de tecnologias, está alinhada ao Plano Diretor de Tecnologia da Informação do IFRN (anexado ao documento da Resolução 23/2014-CONSUP), pois corrobora com a Missão estabelecida para a TI, que é "Prover e integrar soluções em Tecnologia da Informação e Comunicação, apoiando o IFRN na execução da sua atividade de ensino, pesquisa, extensão e gestão" e está alinhado com uma das Necessidades da TI (a N2) descritas no plano, que trata da "Informatização, integração e melhoria da automatização de processos e atividades: acadêmicas e administrativas do IFRN". 2.3 Revisão Sistemática O presente tópico tem como objetivo definir e descrever as fases envolvidas no desenvolvimento da revisão sistemática da literatura na investigação. Sampaio e Mancini (2007) destacam que “uma revisão sistemática, assim como outros tipos de estudo de revisão, é uma forma de pesquisa que utiliza como fonte de dados a literatura sobre determinado tema.” (p. 84). E ainda complementa que esse tipo de investigação “... disponibiliza um resumo das evidências relacionadas a uma estratégia de intervenção específica, mediante a aplicação de métodos explícitos e sistematizados de busca, apreciação crítica e síntese da informação selecionada.” Coerente com a definição de Sampaio & Mancini, iremos detalhar as fontes de dados em que foram realizadas as pesquisas, os métodos de inclusão/exclusão estabelecidos e a síntese dos documentos selecionados, e para realização deste estudo/tema foi formulada a questão de pesquisa (questão de revisão): como avaliar a usabilidade de um sistema? A metodologia utilizada para a realização desta revisão sistemática encontra-se detalhada nos subitens seguintes. 23 2.3.1 Metodologia da Revisão Sistemática No método da pesquisa seguimos as orientações de Munzlinger, Narcizo e Queiroz (2012), para estudos primários, podendo fornecer ao pesquisador, uma alternativa para identificação e definição das palavras-chave relacionadas ao problema, auxiliando na contextualização da mesma, definindo objetivos e questões da pesquisa. Em contrapartida, não caracteriza a única maneira de realizar as revisões bibliográficas, passando a Revisão Sistemática ser um complemento para tal estudo. Para Munzlinger et al., (2012, s/p), a revisão sistemática trata de “um levantamento formal do estado da arte, de forma robusta e consistente, a partir de um planejamento e execução criteriosos” (Biolchini et al., 2005; Pai et al., 2004; Cochrane, 2003; Kan et al., 2001), ou seja, “... é conduzido segundo uma sequência metodologicamente bem definida de etapas, de acordo com um protocolo de estudo previamente planejado”. O processo de revisão sistemática foi dividido em 6 (seis) fases/etapas, nas quais, foram eliminados alguns artigos/dissertações de acordo com os seguintes critérios específicos estabelecidos: i. Pesquisa nas bases de dados a sequência por palavras-chaves definidas; ii. Exclusão dos artigos/dissertações que foram publicados/submetidos há mais de 5 anos (fora do período 2014-2018); iii. Exclusão dos artigos/dissertações pela filtragem por termos; iv. Exclusão dos artigos/dissertações através da análise de títulos; v. Exclusão dos artigos/dissertações através da análise dos resumos; vi. Exclusão de artigos/dissertações duplicados. A pesquisa foi conduzida identificando as fontes de pesquisa (busca manual, base de dados) e as estratégias de buscas (palavras-chave, operadores booleanos, strings). No entanto, a lista de fontes de pesquisas selecionadas foram as bases de dados digitais, relacionadas a seguir: ü Repositório CAPES (www.periodicos.capes.gov.br/); ü RCAAP (www.rcaap.pt); 24 ü IEEE Xplore (ieeexplore.ieee.org); ü BDTD (bdtd.ibict.br); ü RepositórIUM (repositorium.sdum.uminho.pt); ü Science Direct (www.sciencedirect.com). A escolha das fontes de dados está associada à relevância sobre o assunto a ser pesquisado e a expressiva quantidade de materiais disponíveis nas mesmas. Nesta pesquisa foram utilizadas as seguintes palavras-chave e seus respectivos sinônimos que consideramos relevantes, conforme apresentados na Quadro 1. Quadro 1 – Descrição das palavras-chave e seus respectivos sinônimos Palavra-chave Sinônimos Usabilidade Avaliação de Usabilidade / Facilidade de Uso / Praticidade / Usability / Usability Assessment / Ease of Use / Practicality SUAP Sistema Unificado de Administração Pública / Sistema / Plataforma / Serviço / Unified Public Administration System / System / Platform / Service Prática Profissional Procedimento didático-pedagógico / Professional Practice / Didaticpedagogical procedure Foram utilizadas combinações com estas palavras-chave e seus sinônimos, o que possibilitou realizar uma construção de uma sequência de strings para pesquisa sistemática. As palavraschave foram combinadas através do operador booleano AND (formando strings), no seguinte formato: palavra-chave/sinônimo AND palavra-chave/sinônimo. Conferir Anexo I com a sequência de todas as 76 (setenta e seis) combinações (strings) realizadas na pesquisa: C1: Usabilidade AND SUAP C2: Usabilidade AND "Sistema Unificado de Administração Pública" C3: Usabilidade AND Sistema C4: Usabilidade AND Plataforma C5: Usabilidade AND Serviço C6: Usabilidade AND "Prática Profissional" C7: Usabilidade AND "Procedimento didático-pedagógico" C8: "Avaliação de Usabilidade" AND SUAP C9: "Avaliação de Usabilidade" AND "Sistema Unificado de Administração Pública" C10: “Avaliação de Usabilidade” AND Sistema C11: "Avaliação de Usabilidade" AND Plataforma C12: "Avaliação de Usabilidade" AND Serviço C13: “Avaliação de Usabilidade” AND “Prática Profissional" C14: "Avaliação de Usabilidade" AND "Procedimento didático-pedagógico" C15: "Facilidade de Uso" AND SUAP C16: "Facilidade de Uso" AND "Sistema Unificado de Administração Pública" C17: "Facilidade de Uso" AND Sistema C18: "Facilidade de Uso" AND Plataforma C39: "Usability Assessment" AND Platform C40: "Usability Assessment" AND Service C41: "Usability Assessment" AND "Professional Practice" C42: "Usability Assessment" AND "Didatic-pedagogical procedure" C43: "Ease of Use" AND SUAP C44: "Ease of Use" AND "Unified Public Administration System" C45: "Ease of Use" AND System C46: "Ease of Use" AND Platform C47: "Ease of Use" AND Service C48: "Ease of Use" AND "Professional Practice" C49: "Ease of Use" AND "Didatic-pedagogical procedure" C50: Practicality AND SUAP C51: Practicality AND "Unified Public Administration System" C52: Practicality AND System C53: Practicality AND Platform C54: Practicality AND Service C55: Practicality AND "Professional Practice" C56: Practicality AND "Didatic-pedagogical procedure" C57: SUAP AND “Pratica Profissional” C58: SUAP AND “Procedimento didático-pedagógico" 31 que nessa análise foi utilizado os critérios citados anteriormente no tópico 2.1.3 – Constituição do corpus documental. Depois de feita a análise, foram excluídos 63 artigos/dissertações que destoavam do tema pretendido, muitos deles ligados à área de saúde (medicina, psicologia, farmácia, entre outros). Com isso, após a exclusão de cerca 73% dos documentos da fase anterior, criamos um gráfico relacional, na Figura 6, da quantidade de documentos obtidos x base de dados pesquisada. Figura 6 – Quantidade de artigos/dissertações após a 5ª Fase Para finalizar, chegando a fase final, que trata da exclusão dos artigos/dissertações duplicados e de documentos que não eram escritos em idiomas português ou inglês. Foram excluídos 9 documentos, chegando a fase final para a investigação da pesquisa 14 documentos (10 artigos e 4 dissertações). A seguir, é apresentado um diagrama na Figura 7, que mostra todas as fases (6 fases) utilizadas na revisão sistemática, com os seus respectivos fatores de inclusão/exclusão, e a quantidade de documentos obtidos, que na pesquisa inicial constavam 3209 artigos/dissertações permanecendo 14 no final. 8 4 3 3 3 2 0 2 4 6 8 10 Capes RCAAP IEEE Xplore BDTD RepositórIUM ScienceDirect 5ª Fase Resultados (Por resumo) 32 Figura 7 – Descrição das fases e a quantidade de documentos obtidos Depois da seleção final dos artigos/dissertações, que resultou em 14 documentos, podemos observar que o ano de 2014 foi o que nos retornou a maior quantidade de artigos/dissertações. Diante disso, expressamos em forma de gráfico a relação Ano da Publicação x Quantidade de Publicações, conforme Figura 8. 33 Figura 8 – Ano de Publicação x Quantidade de publicações No Quadro 2, a seguir, podemos observar a síntese dos artigos/dissertações selecionados na pesquisa, com o número do artigo/dissertação, os autore(s) envolvidos do artigo/dissertação, o ano de publicação/defesa, o título do documento, o tipo de estudo e a metodologia utilizada. 012345 2014 2015 2016 2017 2018 QUANTIDADE DE PUBLICAÇÕES ANO DA PUBLICAÇÃO Quantidade x Ano 34 Quadro 2 - Síntese dos artigos/dissertações selecionados Número do Artigo/Dissertação Autore(s) Ano Título Tipo de documento Metodologia P1 Luís Tiago Dias Mendes 2014 Avaliação de usabilidade em sistema web - desktop Dissertação de Mestrado Quantitativo e Qualitativo P2 Rolando Barradas & José Alberto Lencastre 2015 “Quem quer saber?” Avaliação de usabilidade de uma plataforma de jogos de escolha múltipla Artigo em atas de conferência internacional Quantitativo e Qualitativo P3 Giovanni Vincenti, Scott Hilberg, James Braman, Michael Satzinger e Lily Cao 2017 Assessing the Usability of a Novel System for Programming Education Artigo em atas de conferência internacional Quantitativo P4 Patrícia de Sousa Campos 2014 Avaliação da usabilidade de um sistema informatizado de controle acadêmico: um estudo com coordenadores e secretários de cursos stricto sensu da UFRN Dissertação de Mestrado Quantitativo e Qualitativo P5 Wei-Chen Hung, Thomas J. Smith e M Cecil Smith 2014 Design and Usability Assessment of a Dialogue-Based Cognitive Tutoring System to Model Expert Problem Solving in Research Design Artigo em Revista Quantitativo e Qualitativo P6 Marcelo Pereira Maia 2016 Estudo da usabilidade do portal do aluno do SIGAA Mobile Android da UFRN: identificando diretrizes de interface a serem utilizadas como recomendações no processo de desenvolvimento das funcionalidades deste sistema Dissertação de Mestrado Quantitativo e Qualitativo P7 Sharmistha Roy, Prasant Kumar Pattnaik, Rajib Mall 2017 Quality assurance of academic websites using usability testing: an experimental study with AHP Artigo em Revista Quantitativo P8 Rod D. Roscoe, Laura K. Allen, Jennifer L. Weston, Scott A. Crossley, Danielle S. McNamara 2014 The Writing Pal Intelligent Tutoring System: Usability Testing and Development, Computers and Composition Artigo em Revista Quantitativo e Qualitativo P9 Maria Aniolly Queiroz Maia 2015 Usabilidade da Interface do Sistema Eletrônico de Editoração de Revistas um estudo da revista BiblioCanto da UFRN Dissertação de Mestrado Quantitativo e Qualitativo 35 Quadro 2 - Síntese dos artigos/dissertações selecionados (continuação) Número do Artigo/Dissertação Autore(s) Ano Título Tipo de documento Metodologia P10 Luís Santos & José Alberto Lencastre 2017 Usabilidade em plataforma web: de mero repositório a ambiente colaborativo de aprendizagem Artigo em Revista Quantitativo P11 Ahmad Sobri Hashim & Wan Fatimah Wan Ahmad 2016 Usability factors that influence effectiveness of mobile learning management system (MLMS) for secondary schools in Malaysia Artigo em atas de conferência internacional Quantitativo P12 Ahmad Sobri Hashim, Wan Fatimah Wan Ahmad & Shahrina Md. Nordin 2014 Usability study of mobileschool system for secondary schools in Malaysia Artigo em atas de conferência internacional Quantitativo P13 Noriza Satam, Jamaliah Taslim, Wan Adilah Wan Adnan & Norehan Abdul Manaf 2016 Usability testing of e-learning system: A case study on CeL in TARUC, Johor Branch Campus Artigo em atas de conferência internacional Qualitativo P14 S.Kom. Hendra, S.Kom. Yulyani Arifin 2018 Web-based Usability Measurement for Student Grading Information System Artigo em Revista Quantitativo 2.3.5 Avaliação de Qualidade Para a avaliação da qualidade dos artigos/dissertações selecionados foi utilizado o seguinte instrumento: adaptado do Critical Apppraisal Skills Programme (CASP). O instrumento é composto por 10 questões, envolvendo: 1) objetivo de estudo; 2) metodologia de estudo; 3) apresentação dos procedimentos teóricos e metodológicos; 4) recrutamento dos participantes (seleção da amostra); 5) processo para a coleta de dados; 6) relação entre o pesquisador e participantes; 7) questões éticas da pesquisa; 8) rigorosidade dos dados; 9) resultados obtidos; 10) valorosidade da pesquisa. Os estudos foram classificados de acordo com respostas “Yes”, “No” ou “Can’t tell” (questões de 1 a 9) e “Very” ou “Moderate” (questão 10). As descrições informadas acima, podem ser observadas no Quadro 3 a seguir. 36 Quadro 3 – Avaliação da qualidade dos artigos/dissertações selecionados Mendes (2014) Barradas & Lencastre (2015) Vincenti et al. (2017) Campos (2014) Hung, Smith & Smith (2014) Maia (2016) Roy, Pattnaik & Mall (2017) Roscoe et al. (2014) Maia (2015) Santos & Lencastre (2017) Hashim & Ahmad (2016) Hashim et al. (2014) Satam et al. (2016) Hendra & Arifin (2018) Section A: Are the results valid? 1. Was there a clear statement of the aims of the research? Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes 2. Is a methodology appropriate? Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes 3. Was the research design appropriate to address the aims of the research? Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes 4. Was the recruitment strategy appropriate to the aims of the research? Yes Yes Yes Yes Yes Yes Yes Can’t tell Yes Yes Yes Yes Yes Yes 5. Was the data collected in a way that addressed the research issue? Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes 6. Has the relationship between researcher and participants been adequately considered? Yes Can’t tell Can’t tell Yes Yes Yes Can’t tell Can’t tell Yes Can’t tell Can’t tell Can’t tell Can’t tell Can’t tell Section B: What are the results? 7. Have ethical issues been taken into consideration? Can’t tell Yes Can’t tell Yes Yes Can’t tell Yes Can’t tell Yes Yes Can’t tell Yes Can’t tell Can’t tell 8. Was the data analysis sufficiently rigorous? Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes 9. Is there a clear statement of findings? Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Section C: Will the results help locally? 10. How valuable is the research? Very Very Very Very Very Very Moderat e Very Very Very Very Very Very Moderate Fonte: Critical Appraisal Skills Programme, 2018 (adaptado) 37 Considerando um total de 14 (catorze) artigos/dissertações selecionados, segue o detalhamento das avaliações de qualidade, como mostra o Quadro 3 supracitado. Na primeira questão envolvida na avaliação de qualidade dos artigos/dissertações, identificamos que em todos os 14 documentos (artigos/dissertações) os autores fizeram a exposição com clareza dos seus objetivos de estudos, alguns informando também seus objetivos específicos, a exemplo do P4 e P9. Na segunda questão, que trata a respeito da metodologia apropriada do estudo, percebemos que todos os artigos/dissertações buscam exprimir o motivo de participação e a experiência dos usuários (participantes) na pesquisa. Logo, reconhecemos que a metodologia apropriada em cada estudo, é adequada. Em nenhum dos artigos/dissertações do estudo, os autores deixaram de justificar o desenho da pesquisa, sempre explicando o porquê da utilização do método abordado. Logo, no terceiro quesito, em todos os materiais de estudo, marcamos a resposta como “Yes”. Na questão 4, que trata do recrutamento dos participantes, dentre todos os 14 estudos, apenas um dos pesquisadores, Roscoe et al. (2014) – P8, não explicitaram como os participantes foram selecionados nem foi abordado como algumas pessoas não participaram da pesquisa. Logo, marcamos a resposta como “Can’t tell”. Na quinta questão, que trata da forma como os dados foram coletados, os pesquisadores de todos os 14 estudos, tiveram a preocupação de deixar claro como aconteceu de fato a coleta desses dados (seja por entrevista individual ou focus group, por questionários, pesquisa documental, entre outros), também indicaram como as entrevistas ou questionários foram conduzidos (duração, lugar, estruturação) e informaram quais materiais foram utilizados, quando necessário, para a recolha dos dados. Logo, no quinto quesito também, marcamos a resposta como “Yes”. Na sexta questão, que envolve a relação entre o pesquisador e participantes, consideramos apenas 5 (cinco) estudos (P1, P4, P5, P6) como resposta “Yes” e os outros 9 (nove) estudos (P2, P3, P7, P8, P9, P10, P11, P12, P13, P14) definimos como “Can’t tell”. A recolha de dados, o recrutamento da amostra e a escolha da localização da pesquisa foram fatores analisados em cada artigo/dissertação que são determinantes para resposta do quesito. 38 Em relação as questões éticas da pesquisa (sétima questão), sete documentos (P1, P3, P6, P8, P11, P13, P14) avaliados não expressaram explicitamente às questões éticas na pesquisa, pois não identificamos questões referentes ao consentimento, à confidencialidade ou como os autores lidaram com os efeitos do estudo sobre os participantes durante e após o estudo, ou até mesmo se a aprovação foi solicitada ao comitê de ética. Logo, nesses casos marcamos como resposta “Can’t tell”. No quesito a rigorosidade dos dados (oitava questão), consideramos que todos os artigos/dissertações selecionados tiveram uma análise rigorosa pelo autor, logo foram marcados com a tag “Very”. Na nona questão, identificamos que em todos os 14 (catorze) documentos (artigos/dissertações) os autores fizeram a exposição com clareza dos resultados obtidos na pesquisa. Alguns estudos informaram resultados estatísticos explícitos (P2, P5, P9, P10, P12, P14), outros tiveram validação por peritos como também foram discutidos em alguns estudos a relação das descobertas à suas questões da pesquisa. A pergunta final está relacionada com a valorosidade da pesquisa, onde definimos em aproximadamente 85% do artigos/dissertação do estudo como “Very” e apenas 2 (dois) estudos (P7 e P14) como “Moderate”. Os critérios de valorosidade que consideramos nos documentos estão relacionados o quanto o pesquisador discutiu sobre a contribuição do estudo em novas áreas e a expansão para novas populações/participantes. 2.3.6 Extração dos Dados Durante a fase de extração dos dados, utilizamos um editor de planilhas (formato .xls) para organizar os dados obtidos. Para cada artigo/dissertação, extraímos informações gerais tais como autores, ano e título. Além dessas informações, os seguintes dados foram extraídos dos documentos: I. Tipo de estudo (artigo ou dissertação); II. Idioma; III. Nome do canal de publicação; IV. Participantes; V. Palavras-chave de cada estudo; 39 VI. Metodologia utilizada; VII. Técnicas de recolha de dados; VIII. Objetivos de estudo; IX. Resultados obtidos; A extração dos dados dos artigos/dissertações selecionados na pesquisa, com todos as informações gerais obtidas, estão descritas no Anexo II. Nesse sentido, de maneira mais detalhada, apresentaremos a extração das informações gerais de cada artigo/dissertação após a seleção e a avaliação de qualidade dos mesmos, conforme relação de ordem no Anexo II. [P1] Dissertação da autoria de Mendes (2014), é uma avaliação de usabilidade do sistema de informação da Universidade do Porto (SIGARRA). Teve como objetivo medir a usabilidade do sistema, contribuir para definição de boas práticas Web, expor debilidades e apresentar soluções para eventuais problemas de usabilidade do SIGARRA. Foram realizados estudos de trabalho de campo (qualitativos e quantitativos), que foi dividido em 2 (duas) fases. No primeiro momento, foi avaliado o estado em que o sistema se encontrava, com aplicação de entrevistas (53 estudantes da Universidade do Porto e Dra. Lígia Ribeiro – Pró-reitora e responsável pela Universidade Digital), testes de usabilidade aliados aos questionários SUS (55 estudantes de seis faculdades da Universidade do Porto), e concluindo com a análise heurística (em conformidade com a estrutura de Lavery). Na segunda fase, foram elaboradas e testadas medidas para solucionar problemas detectados na fase anterior, com novamente a aplicação de testes de usabilidade e questionário SUS, que permitiram avaliar a satisfação das medidas implantadas. Foram identificados alguns problemas em relação ao SIGARRA, como informações redundantes, opções pouco visíveis, páginas em branco ou com informação duplicada, excesso de banners, entre outros. Porém, o estudo conseguiu cumprir em grande parte os objetivos planejados. Para trabalhos futuros, Mendes (2014) sugere que a ideia é a construção de protótipos mais refinados, testando diferentes versões com estudantes da Universidade do Porto – UP. 40 [P2] Barradas e Lencastre (2015), realizaram um estudo em que descrevem o ciclo de desenvolvimento da plataforma de jogos de escolha múltipla intitulada “Quem quer saber?”, desenvolvida como ferramenta pedagógica para implementação de cenários de gamification em ambiente escolar, com públicos-alvo distintos: alunos e professores. Segundo os autores os principais objetivos de estudo foram “... avaliar em termos de usabilidade da interface, despistar potenciais bugs e recolher sugestões dos peritos para a resolução dos problemas encontrados ...” (p. 504). Barradas e Lencastre (2015) destacam ainda outros objetivos relacionados aos testes com utilizadores semelhantes ao público-alvo que são “... avaliar a satisfação na utilização da aplicação de manutenção da plataforma e a adequabilidade aos conteúdos de cada uma das áreas disciplinares ...” (p. 508). Na metodologia utilizada, seguiram o modelo o Instructional System Design (Clark, 2000), composto por 5 fases: Analisar, Desenhar, Desenvolver, Implementar e Avaliar. Na Fase Analisar, foi realizada a recolha pré-existente de caracterização, depois foi promovida uma atividade exploratória através da entrevista focus group. Cada entrevista focus group teve a participação de 12 alunos. Para finalizar essa fase, foi realizado o tratamento dos resultados, a inferência e a sua interpretação. A próxima fase é a DESENHAR, trata da realização de um teste exploratório com o público-alvo e a construção de uma versão alfa das aplicações, onde foram utilizados avaliações heurísticas por navegação e questionário, e a observação direta, por peritos. Na fase de DESENVOLVIMENTO, foram aplicados testes com utilizadores semelhantes ao públicoalvo, avaliados por um questionário SUS – System Usability Scale. Apesar de identificados pequenos problemas de usabilidade, obteve-se um valor médio de satisfação de 96 pontos, por parte dos professores, e de 92 pontos para o jogo, destinado aos alunos. As fases de IMPLEMENTAÇÃO e AVALIAÇÃO vão ser realizadas em trabalhos futuros, revelando-se promissores. [P3] Vicenti et al. (2017) fizeram um estudo que teve como objetivo analisar a usabilidade da ferramenta line_explorer, destinada a permitir que os alunos explorem a programação. A pesquisa foi realizada em duas fases (Modo Demo e Avaliação Demo). No fim de cada fase foi realizado um estudo quantitativo, aplicando questionários baseados na ferramenta System Usability Scale (SUS), para medir a confiabilidade do sistema. Participaram do estudo 129 estudantes, sendo que 100 (78%) estudantes são de cursos da área de tecnologia (Ciência da 47 visibilidade do sistema, controle e liberdade do aluno, flexibilidade e eficiência de uso, prevenção de erros, minimização de informações na tela e design de telas pequenas. Inicialmente um teste piloto foi feito, aplicando um questionário para 41 respondentes (27 alunos, 6 professores e 8 pais). O grande objetivo desse teste é avaliar a confiabilidade do questionário, na qual foi analisada pelo software SPSS (Statistic Package for Social Sciences). Depois de aprovado o questionário, o mesmo foi distribuído para 420 entrevistados (15 administradores escolares, 53 professores, 64 pais e 288 estudantes de três escolas do ensino secundário). Cada execução dos testes teve duração de aproximadamente 2 (duas) horas, e os dados coletados foram inseridos no SPSS. Os resultados obtidos informam que os respondentes que participaram do estudo aprovaram o sistema MobileSchool nos requisitos de usabilidade para o aspecto de qualidade. Para trabalhos futuros, os autores sugerem outros instrumentos de coleta de dados, a exemplo do método de observação quantitativa, onde as ações dos usuários na operação do sistema são registradas. [P13] Satam et al. (2016) fizeram um estudo que pretendeu identificar problemas de usabilidade do sistema e-learning (CeL – College e-Learning System) da instituição da Universidade Tunku Abdul Rahman – TARUC Johor Branch Campus. Foi realizado um teste de usabilidade com 5 (cinco) participantes, onde eles foram entrevistados e realizadas diversas tarefas cujo objetivo é a identificação do problema de usabilidade do CeL. A metodologia utilizada para o estudo foi conduzida por testes de usabilidade em 3 (três) estágios: pré-teste, teste e pós-teste. Na fase do pré-teste, foram feitas entrevistas para coleta de informações demográficas e a sua experiência em e-learning. Na fase de teste, os participantes passaram por 6 cenários de tarefas para coleta de dados relevantes ao sistema. Esses cenários foram divididos em 3 (três) categorias, que são: a interface com o usuário, navegação e informação. Na fase pós-teste, os participantes tiveram que responder 17 (dezessete) perguntas. Para trabalhos futuros, os autores sugerem que sejam realizados testes de usabilidade para outros campi da Universidade, para que um estudo comparativo seja feito. Outra sugestão que foi mencionada, é a realização dos testes com outros participantes, a exemplo dos palestrantes, para que tenhamos a usabilidade do CeL de outras perspectivas. 48 [P14] O estudo de Hendra e Arifin (2018) teve como objetivo avaliar a usabilidade do sistema de informação de classificação de alunos no ensino médio da Escola Atisa Dipamkara que é usado para auxiliar o processo de cálculo da nota dos relatórios dos alunos [...]” e medir a satisfação do usuário com utilidade, facilidade de uso, facilidade de aprendizagem e uma variável dependente de satisfação do usuário. Os participantes da pesquisa foram 25 (vinte e cinco) professores, que são usuários desse sistema de informação. O instrumento de coleta de dados da pesquisa foi através da aplicação do questionário, logo foi utilizada uma abordagem quantitativa. Foi utilizado como medida o USE Questionnarie (utilidade, satisfação e facilidade de uso). Os entrevistados receberam 5 (cinco) alternativas de respostas usando a escala Likert na pontuação de 1 para discordo totalmente com 5 para concordo totalmente. Foram realizados também os testes de validade e confiabilidade para medir definir o quão viável era o questionário. Os resultados obtidos na avaliação de usabilidade do sistema, resultaram em 75,23% de percentual de viabilidade, ou seja, significa que o sistema é “Feasible”. Os autores destacam que em trabalhos futuros, tais resultados podem ser utilizados para fornecer sugestões de melhoria da experiência do usuário no sistema de informação estudado. 2.3.7 Síntese dos Dados Nessa etapa final, foi realizada a síntese dos dados coletados, que para Munzlinger et al. (2012, s/p), “... sumarizam-se os dados coletados a partir da leitura e interpretação das publicações selecionadas para o estudo.”. A sumarização dos dados foi organizada quanto: ao ano de publicação/defesa, ao tipo de estudo, ao idioma dos artigos/publicações, ao canal de publicação, aos participantes da pesquisa, às palavras-chave, à metodologia utilizada, às técnicas de recolha de dados, aos objetivos de estudos e aos resultados obtidos. A seguir, temos o detalhamento de cada uma dessas etapas. 49 QUANTO AO ANO DE PUBLICAÇÃO/DEFESA A primeira informação a ser extraída dos artigos/dissertações depois da sua seleção e avaliação de qualidade foi o ano em que o mesmo foi publicado/defendido. O Quadro 4 abaixo, ilustra melhor a relação do ano de publicação/defesa com o artigo/dissertação estudado. Quadro 4 – Ano de publicação dos artigos/dissertações ANO DE PUBLICAÇÃO/DEFESA ESTUDO 2014 P1, P4, P5, P8, P12 2015 P2, P9 2016 P6, P11, P13 2017 P3, P7, P10 2018 P14 Podemos observar, de acordo com a seleção realizada dos artigos/dissertações nos últimos 5 (cinco) anos (2014-2018), que há cinco artigos do ano de 2014 P1, P4, P5, P8 e P12), dois do ano de 2015 (P2, P9), três de 2016 (P6, P11, P13), três de 2017 (P3, P7, P10) e um de 2018 (P14). QUANTO AO TIPO DE ESTUDO O segundo dado extraído foi o tipo de documento. O Quadro 5 abaixo, ilustra a lista de documentos selecionados, relacionando com o seu tipo de estudo. Quadro 5 – Tipo de estudo dos artigos/dissertações TIPO DE ESTUDO ESTUDO Artigo em Revista P5, P7, P8, P10, P14 Artigo em atas de conferência internacional P2, P3, P11, P12, P13 Dissertação de Mestrado P1, P4, P6, P9 Podemos observar que 4 (quatro) documentos são do tipo Dissertação de Mestrado (P1, P4, P6, P9), 5 (cinco) são do tipo Artigo em Revista (P5, P7, P8, P10, P14) e 5 (cinco) são publicações de Artigo em atas de conferência internacional (P2, P3, P11, P12, P13). 50 QUANTO AO IDIOMA DOS ARTIGOS/DISSERTAÇÕES O terceiro dado extraído dos artigos/dissertações foi o seu idioma. O Quadro 6 abaixo, explicita a lista dos artigos e dissertações, e os idiomas em que os mesmos foram escritos. Quadro 6 – Idiomas dos artigos/dissertações IDIOMA ESTUDO Português P1, P2, P4, P6, P9, P10 Inglês P3, P5, P7, P8, P11, P12, P13, P14 No Quadro 6, é notório que existem apenas documentos nos idiomas português e inglês. De fato, isso ocorreu devido os critérios inclusão/exclusão (tópico 2.1.2.) utilizados na pesquisa em que na 6ª Fase (última fase), excluímos todos os artigos/dissertações duplicados e somente documentos nos idiomas português e inglês foram mantidos. Diante disso, expressamos em forma de gráfico, na Figura 9, os percentuais de documentos selecionados nos idiomas inglês e português. Após a seleção, tivemos 2 documentos do idioma inglês a mais, representando, no geral, 57% dos documentos selecionados para estudo. Figura 9 – Idioma x Percentual Português 43% Inglês 57% Idioma x Percentual Português Inglês 51 QUANTO AO CANAL DE PUBLICAÇÃO O canal de publicação também foi uma das informações extraídas dos documento selecionados. No Quadro 7, explicitamos a lista dos artigos e dissertações, com os respetivos canais de publicação em que foram publicados. Quadro 7 – Canais de publicação dos artigos/dissertações CANAL DE PUBLICAÇÃO ESTUDO Universidade do Porto - UP P1 Conferência Internacional de TIC na Educação P2 SPLASH-E Conference P3 Universidade Federal do Rio Grande do Norte - UFRN P4, P6, P9 British Journal of Educational Technology P5 International Journal of System Assurance Engineering and Management P7 Computers and Composition P8 Revista de Estudios e Investigación en Psicología y Educación P10 IEEE Conference on e-Learning, eManagement and e-Services (IC3e) P11 International Conference on User Science and Engineering (i-USEr) P12, P13 Procedia Computer Science P14 Podemos observar no Quadro 7, que obtivemos 11 (onze) canais de publicação diferentes, dos 14 (catorze) artigos/dissertações para estudo. Além disso, é perceptível que 3 (três) documentos (P4, P6 e P9) publicados na Universidade Federal do Rio Grande do Norte – UFRN e o documento (P1) publicado na Universidade do Porto, são do tipo dissertação. O restante dos canais de publicação apresentados no Quadro 7, são do tipo artigo, pois tratam-se de revistas, jornais, congressos, próprios para publicação dos mesmos. Conforme Figura 10, estão expressos os canais de publicação com a referida porcentagem obtida dos documentos publicados. 52 Figura 10– Canal de publicação x Percentual QUANTO AOS PARTICIPANTES DA PESQUISA Outro dado importante extraído de cada estudo foi a identificação dos seus participantes. No Quadro 8 a seguir, explicitamos, de maneira bem sucinta, todos os participantes identificados nos 14 artigos/dissertações selecionados da revisão sistemática, que são: alunos, professores, coordenadores, secretários/administradores escolares, desenvolvedores, peritos, pais de alunos e usuários comuns. Quadro 8 – Participantes dos artigos/dissertações PARTICIPANTES ESTUDO Alunos P1, P2, P3, P5, P6, P8, P9, P10, P11, P12, P13 Professores P2, P8, P9, P12, P14 Coordenadores P4 Secretários/Administradores escolares P4, P12 Desenvolvedores P6 Peritos P10 Pais de alunos P12 Usuários variados P7 UP 7% Challenges 7% SPLASH-E 7% UFRN 22% BJET 7% International Journal of System … Computers and Composition 7% Revista de Estudios e Investigación en Psicología y Educación 7% IC3e 7% i-USEr 15% Procedia Computer Science 7% Canal de publicação x Percentual UP Challenges SPLASH-E UFRN BJET International Journal of System Assurance Engineering and Management Computers and Composition Revista de Estudios e Investigación en Psicología y Educación IC3e i-USEr 53 Conforme Quadro 8, identificamos os participantes de cada estudo (P1 a P14). Há artigos/dissertações que tiveram mais de um tipo de participante na pesquisa, a exemplo de P2 (alunos e professores), P4 (coordenadores e secretários/administradores escolares), P6 (alunos e desenvolvedores), P8 (alunos e professores), P9 (alunos e professores), P10 (alunos e peritos) e P12 (alunos e professores). Na Figura 11, fizemos um esboço de um gráfico com as pessoas que participaram da recolha dos dados relacionando a quantidade de estudos que foram integrantes. E observamos que os alunos foram integrantes da pesquisa em 11 (onze) dos estudos, representando mais do dobro da participação dos professores. Figura 11 – Participantes x Quantidade QUANTO ÀS PALAVRAS-CHAVE Outras informações importantes que extraímos dos 14 (catorze) artigos/dissertações selecionados foram as palavras-chave. Por se tratar, de ser uma variável que apresenta muita variação de ocorrências, utilizamos a nuvem de palavras, como mostra a Figura 12. 11 5 121 1 1 1 0 2 4 6 8 10 12 Alunos Professores Coordenadores Secretários/Adm Escolares Desenvolvedores Peritos Pais de alunos Usuários comuns Participantes x Quantidade Quantidade 54 Figura 12 – Palavras-chave Geralmente os trabalhos apresentam entre 3 e 5 palavras-chave, mas 3 (três) trabalhos não continham nenhuma palavra-chave. Em relação à análise, as palavras-chave com letramento maior são as de maior frequência no conjunto de palavras-chave totais. Em resultados percentuais detalhados, usability (29,41%), evaluation (9,80%) e system (7,24%) são as palavras mais frequentes na base de dados. QUANTO À METODOLOGIA UTILIZADA Outro dado extraído dos artigos/dissertações foi a metodologia utilizada em cada um deles. No Quadro 9, a seguir, separamos a metodologia em 3 (três) categorias: Quantitativo e Qualitativo; Somente Quantitativo; Somente Qualitativo. A partir daí, realizamos a associação de cada artigo/dissertação à sua metodologia. Quadro 9 – Metodologia utilizada nos artigos/dissertações METODOLOGIA ESTUDO Quantitativo e Qualitativo P1, P2, P4, P5, P6, P8, P9 Somente Quantitativo P3, P7, P10, P11, P12, P14 Somente Qualitativo P13 Conforme Figura 13, ilustrada abaixo, absolutamente 50% dos 14 artigos/dissertações selecionados para estudo utilizaram a metodologia de abordagem quantitativa e qualitativa, e apenas 1 (um) periódico utilizado para estudo usou a abordagem somente qualitativa. 55 Figura 13 – Metodologia utilizada x Percentual QUANTO ÀS TÉCNICAS DE RECOLHA DE DADOS A identificação das técnicas de recolha de dados utilizadas nos artigos/dissertações é um dado fundamental para o presente estudo. No Quadro 10, a seguir, identificamos todas as técnicas utilizadas nos materiais selecionados, que são: entrevista (individual e focus group), questionário (normal, WAMMI, SUS, USE, QUIS), pesquisa documental, análise observacional, avaliação heurística e experimento. A partir daí, realizamos a associação de cada artigo/dissertação à sua técnica utilizada. Quadro 10 – Técnicas de recolha de dados utilizadas nos artigos/dissertações TÉCNICAS UTILIZADAS ESTUDO Entrevista Individual P1, P8, P9, P13 Focus group P2, P4, P5, P8 Questionário Normal P4, P5, P11, P12 WAMMI P7 SUS P1, P2, P3, P10 USE P14 QUIS P6, P9 Pesquisa documental P4 Análise observacional P9, P10 Avaliação heurística P1, P2, P6, P10 Experimento P8 Quantitativo e Qualitativo 50% Somente Quantitativo 43% Somente Qualitativo 7% Metodologia x Percentual Quantitativo e Qualitativo Somente Quantitativo Somente Qualitativo 56 Conforme Quadro 10, expressamos as diferentes técnicas utilizadas para recolha de dados presentes nos artigos/dissertações. Há artigos/dissertações no estudo que utilizam mais de uma técnica para recolha dos dados, a exemplo de P1, P2, P4, P5, P6, P8, P9 e P10, caracterizando-se abordagens quantitativa e qualitativa. Na Figura 14 fizemos um esboço de um gráfico das técnicas utilizadas para recolha dos dados e a quantidade que foi utilizada. Observa-se que a aplicação de questionário (Normal, WAMMI, SUS, USE, QUIS) foi a técnica mais utilizada nos estudos, e as menos utilizadas foram o experimento e a pesquisa documental. Figura 14 – Técnicas utilizadas x Quantidade QUANTO AOS OBJETIVOS DE ESTUDO Relativamente aos objetivos de estudo (Quadro 11), identificamos o seguinte: avaliação da usabilidade, medição da satisfação do usuário, identificação de problemas, catalogação das sugestões e o estudo da sua viabilidade. A partir daí, associamos cada artigo/dissertação ao seu objetivo de estudo. 4 4 5 1 4 1 2 1 2 4 1 0 1 2 3 4 5 6 Entrevista individual Entrevista focus group Questionário normal Questionário WAMMI Questionário SUS USE Questionário Questionário QUIS Pesquisa documental Análise observacional Avaliação heurística Experimento Técnicas utilizadas x Quantidade Quantidade 63 Quadro 19 – Categoria Instrumentos de recolha de dados extraída dos artigos/dissertações CATEGORIA DEFINIÇÃO OPERACIONAL EVIDÊNCIAS (EXEMPLOS) Instrumentos de recolha de dados Métodos e técnicas utilizados para reunir as informações determinadas junto das pessoas ou das unidades de informação incluídas na amostra “... promoveu-se uma atividade exploratória do tipo entrevista coletiva por focus group.” (Barradas & Lencastre, 2015, p. 500) “Portions of the evaluation survey used to assess the usability of line explorer was based on the System Usability Scale (SUS) [4]” (Vicenti et al., 2017, p. 2) “... foi aplicado um questionário junto aos usuários para avaliar a sua opinião sobre a satisfação, ou insatisfação, como relação à usabilidade do sistema e sua operação.” (Campos, 2014, p. 62) Quanto à categoria Instrumentos de recolha de dados, descrita no Quadro 19, extraímos dos 14 artigos em estudo, todas as informações necessárias relacionadas aos métodos e técnicas de recolha dos dados utilizados. Os instrumentos identificados são os questionários, entrevistas, análise observacional, pesquisa documental e experimentos. Campos (2014), Hung et al. (2015), Hashim e Ahmad (2016) e Hashim et al. (2014), por exemplo, utilizaram o instrumento de coleta dos dados do tipo questionário adaptados com sua realidade do estudo. Mas em cada estudo muitas vezes é preciso utilizar mais de um instrumento de recolha dos dados, a exemplo do trabalho de Barradas e Lencastre (2015), onde foi promovida uma atividade exploratória através de entrevistas focus group, também foi realizada uma análise heurística por uma equipe de especialistas e por fim, foram aplicados questionários de avaliação da satisfação SUS. O SUS foi o método de avaliação da satisfação mais utilizado entre os periódicos em estudo, mas pesquisadores utilizaram também o WAMMI, o USE e o QUIS. A entrevista do tipo focus group foi um instrumento de recolha de dados bastante utilizado, por se tratar de um método que visa identificar a reação dos utilizadores em relação a determinado produto. Os autores que utilizaram tal instrumento foram Barradas e Lencastre (2015), Campos (2014), Hung et al. (2015) e Roscoe et al. (2014). 2.3.9 Discussão A usabilidade segundo Nielsen (2013) “é um atributo de qualidade que avalia quão fácil uma interface é de usar”, que para análise de algum produto (sistema, website, tecnologia móvel ou qualquer outro produto que seja operado por um utilizador) é necessário realizar uma 64 avaliação dos seguintes fatores: facilidade de aprendizagem, eficiência (produtividade do usuário), facilidade de memorização, segurança (gestão de erros) e a satisfação do usuário. Diante dos 14 (catorze) artigos/dissertações selecionados para avaliação e extração dos dados, criamos 8 (oito) categorias, nas quais extraímos diversas evidências (exemplos) contidas nos documentos que tinham relação com cada categoria. As categorias foram criadas de acordo com o grau de semelhança e afinidade de cada artigo/dissertação e foram definidas como: satisfação, problemas/fraquezas, facilidade de aprendizado, facilidade de memorização, produtividade, gestão de erros (proteção contra erros, mensagens de erro e correção de erros), melhorias/recomendações e instrumentos de recolha de dados. Observamos a utilização de diversos instrumentos padronizados para avaliar a satisfação do usuário, mas o questionário SUS (System Usability Scale), composto por 10 questões simples (questões relacionadas a facilidade de uso e facilidade de aprender), com respostas organizadas segundo a escala Likert, foi o mais utilizado entre eles. Percebemos que o SUS, muito utilizado para avaliação de sistemas, deve ser aplicado na sequência de um teste de usabilidade, a exemplo, dos periódicos P1, P2, P3 e P10 fizeram o uso do mesmo, pois consideram o método mais adequado para cada tipo de estudo. Para avaliação da satisfação em websites, percebemos que o questionário padronizado do tipo WAMMI é o mais utilizado, como no artigo P7, que faz um comparativo de avaliação de 3 sites diferentes baseados no mecanismo de feedback. Identificamos também nos periódicos em estudo, o uso de entrevistas, tanto individuais quanto em grupos (focus group). Nos dois estilos percebemos que é muito importante a escolha do local, sendo necessário o registro dos acontecimentos (gravações em áudio e/ou vídeo, fotos, anotações). É necessário e importante a solicitação da permissão formal (por escrito) do entrevistado para permissão da gravação, garantindo também o anonimato de cada entrevistado. P1, P8, e P13 utilizaram entrevistas individuais; P2, P4, P5 utilizaram entrevistas focais; e P8 utilizou ambos os métodos. Os resultados de ambos os tipos de entrevistas (individual e focus group) são dados qualitativos, onde o objetivo é obter de cada entrevistado as opiniões e percepções no uso do sistema, e a partir dos dados coletados, sugerir melhorias. Os usos corretos dos instrumentos de recolha de dados utilizados no estudo são importantes, neles extraímos dados que darão resposta à questão da pesquisa, e identificamos nos periódicos alguns fatores que são essenciais para 65 avaliação da usabilidade que são a facilidade de aprendizado, a facilidade de memorização, a produtividade, a gestão de erros e a satisfação (mencionada anteriormente). Após a análise dos documentos, percebemos que em todos, mas em especial nos P1, P2, P4, P6, P10, P12 e P13 os fatores supracitados foram inseridos em suas avaliações de usabilidade e abordados com clareza, após a apresentação dos resultados, revelando sucesso ou críticas quanto a cada item. Nota-se que das 8 (oito) categorias criadas, 5 (cinco) estão relacionadas com os critérios que Nielsen (2013) utiliza para avaliar a qualidade de um produto. Logo, com a categorização dos dados ilustrada e detalhada no Anexo III, conseguimos dar resposta à questão de pesquisa: “como avaliar a usabilidade de um sistema?”. Podemos observar, dentre os 14 (catorze) documentos, como cada autor tratou das categorias desde a avaliação do nível de satisfação por parte dos usuários até sugestões/recomendações que foram coletadas por cada um deles. 66 3 Metodologia Este capítulo apresenta o detalhamento da pesquisa realizada. São informadas a opção metodológica, a descrição do estudo, os participantes da pesquisa, os métodos e técnicas de recolha dos dados, a recolha de dados, os métodos e técnicas de análise, as questões éticas de investigação e o design de investigação. 3.1 Opção Metodológica A opção metodológica corresponde a um estudo descritivo e exploratório. De acordo Gil (2002), a pesquisa descritiva tem como objetivo primordial, “a descrição das características de determinada população ou fenômeno ..." e ainda acrescenta que as pesquisas deste grupo têm por objetivo "... levantar as opiniões, atitudes e crenças de uma população" (p. 42). Já a pesquisa exploratória “proporciona maior familiaridade com o problema, envolvendo levantamento bibliográfico, entrevistas com pessoas que tiveram experiências práticas com o problema e análise de exemplos que estimulem compreensão” (Selltiz et al., como citado em Gil, 2002, p. 41). Nesse sentido, coerente com os objetivos definidos na pesquisa, optou-se por recorrer à um estudo onde estão presentes dois tipos de investigação que são complementares, de natureza quantitativa e qualitativa. Em sintonia, o design é o Estudo de Caso, que Yin (2001) define como "... uma investigação empírica que investiga um fenómeno contemporâneo dentro do seu contexto de vida real ..." (p. 32) e Stake (1994) complementa que um estudo de caso não é só limitado a uma escolha procedimental e sim a um determinado objeto a ser estudado, a exemplo de um determinado grupo de pessoas que compartilham o mesmo ambiente e a mesma experiência. 3.2 Descrição do estudo A partir dos estudos realizados referentes aos documentos institucionais do IFRN, como por exemplo, a Organização Didática (Capítulo XII), a Resolução 13/2015-CONSUP, a Resolução 25/2019-CONSUP e a Resolução 23/2014-CONSUP e da completa revisão sistemática, 67 primeiramente decidiu-se elaborar e aplicar questionários de avaliação da usabilidade seguidos de um questionário de avaliação da satisfação SUS – System Usability Scale. O questionário de avaliação de usabilidade passou por três etapas que estão apresentadas mais adiante, no tópico 3.4.1.3 Validação do questionário de avaliação de usabilidade. A aplicação dos questionários (abordagem quantitativa) visa identificar os problemas enfrentados pelos usuários no uso dos módulos na prática profissional. Nesse sentido, para Marconi e Lakatos (2003), definem o questionário como “... um instrumento de coleta de dados, constituído por uma série ordenada de perguntas, que devem ser respondidas por escrito e sem a presença do entrevistador” (p. 201). E, complementam que essa técnica economiza tempo, atinge um grande número de pessoas, obtém respostas mais rápidas e mais precisas, há mais segurança por ser aplicado de forma anônima, há mais uniformidade na avaliação, dentre outras vantagens. Em seguida, realizada a análise dos resultados coletados pelos questionários (avaliação da usabilidade e SUS), foram elaboradas questões para as entrevistas coletivas do tipo focus group (grupo focal) e aplicadas aos mesmos participantes dos questionários. As entrevistas (abordagem qualitativa) visam saber a opinião dos atores sobre as possíveis deficiências nos módulos do SUAP que tratam das práticas profissionais. Nesse sentido, para Barbour (2009), a entrevista de grupo focal é designada como: ... um intrigante termo híbrido e sugere ao menos para mim, que o exercício visa entrevista um grupo, que é visto como detendo uma visão consensual, em vez de ser o processo de criar o consenso pela interação em uma "discussão de grupo focal. (Barbour, 2009, p. 21) (Gatti, 2005) acrescenta que: A pesquisa com grupos focais, além de ajudar na obtenção de perspectivas diferentes sobre uma mesma questão, permite também a compreensão de ideias partilhadas por pessoas no dia-a-dia e dos modos pelos quais os indivíduos são influenciados pelos outros. (Gatti, 2005, p. 11) Concluída a coleta dos resultados e realizada as análises das entrevistas coletivas (focus group), confrontamos tais análises com as categorias criadas na revisão sistemática para que os objetivos da pesquisa sejam alcançados. Por fim, a partir do levantamento das principais 68 deficiências e problemas detectados no Estudo de Caso, optou-se por elaborar um plano de melhorias a ser entregue à equipe de desenvolvimento da Coordenação de Sistemas de Informação (COSINF) da Diretoria de Gestão de Tecnologia da Informação (DIGTI) do IFRN, na qual, a posteriori será realizado uma validação e possível implantação. Nesse contexto, estão descritas as 3 fases do estudo, de acordo com o Quadro 20, a seguir: Quadro 20 – Fases e descrições da pesquisa Fase Descrição Revisão Bibliográfica Estudo sobre conteúdos relacionados aos documentos institucionais do IFRN (Organização Didática do IFRN, Resolução 13/2015-CONSUP, Resolução 25/2019-CONSUP (nova) e a Resolução 23/2014-CONSUP) Estudo de caso Análise quantitativa (Questionário de avaliação da usabilidade e questionário de satisfação SUS) e qualitativa (Entrevistas focus group) Proposta de Melhorias Elaboração de um Plano de Melhorias a ser entregue a COSINF/DIGTI/IFRN 3.3 Participantes Os participantes dessa pesquisa são constituídos pelos usuários que fazem uso dos módulos relacionados as modalidades de prática profissional do SUAP, sejam os alunos (estagiários, participantes do programa jovem aprendiz, participantes de projetos de extensão e pesquisa e os participantes da modalidade de atividade profissional efetiva) e docentes (coordenadores de projetos, coordenadores de curso e orientadores). O questionário de avaliação da usabilidade foi aplicado a cinco perfis de utilizadores, totalizando 26 participantes: 5 alunos participantes da modalidade estágio, 5 alunos participantes do programa jovem aprendiz, 5 alunos participantes de projeto de extensão, 5 alunos participantes de projeto de pesquisa, 1 aluno participante em atividade profissional efetiva (somente 1 aluno do IFRN – Campus Nova Cruz, no momento, utiliza o módulo referente a atividade profissional efetiva) e 5 docentes. Nielsen (2012) afirma que If you want a single number, the answer is simple: test 5 users in a usability study. This lets you find almost as many usability problems as you'd find using many more test participants. (…). Doesn't matter whether you test websites, intranets, 69 PC applications, or mobile apps. With 5 users, you almost always get close to user testing's maximum benefit-cost ratio. (Nielsen, 2012, s/p). O mesmo revela que na realização de testes de usabilidade para encontrar 75% dos potenciais erros, cinco utilizadores são suficientes e para encontrar 100% dos erros é necessário realizar testes com quinze utilizadores. Os mesmos participantes do questionário de avaliação da usabilidade foram submetidos ao preenchimento do questionário de satisfação SUS e à participação de entrevistas coletivas. 3.4 Métodos e técnicas de recolha de dados A recolha dos dados constitui um aspecto fundamental na pesquisa. Quivy (1998) destaca que "Num sentido mais lato e simplificado, a recolha de dados é uma operação que consiste em recolher ou reunir concretamente as informações determinadas junto das pessoas ou das unidades de informação incluídas na amostra". Para realização do estudo dessa dissertação, fez-se necessária a utilização dos seguintes instrumentos de recolha de dados: aplicação do questionário pré-sessão, questionário de avaliação de usabilidade, e do preenchimento do questionário de satisfação SUS, além de entrevistas em grupo (focus group), para poder explorar ou esclarecer questões que tenham surgido na análise dos resultados do método quantitativo. 3.4.1 Questionário de avaliação da usabilidade Para poder recolher a opinião dos usuários sobre a usabilidade dos módulos integrados ao SUAP relacionados à prática profissional discente do IFRN, foi efetuado um questionário, tendo como base a revisão da literatura. OBJETIVO DO QUESTIONÁRIO O principal objetivo do questionário é fazer a avaliação da usabilidade dos módulos existentes no SUAP no sentido de identificar as dificuldades encontradas pelos usuários no uso dos módulos na prática profissional. As perguntas destinavam-se a recolher opiniões de alunos e 70 professores sobre a sua experiência de uso no sistema, ao visual, a consistência do sistema, as mensagens de erro presentes, ao controle do usuário, ao conteúdo abordado, a facilidade de aprendizagem e as questões relacionadas ao feedback. ELABORAÇÃO DO QUESTIONÁRIO DE AVALIAÇÃO DA USABILIDADE A elaboração do questionário de avaliação da usabilidade foi uma adaptação do questionário utilizado por Lencastre e Chaves (2007). Iniciou-se com um texto introdutório, pedindo a colaboração dos participantes para o preenchimento do questionário, informando os objetivos e a razão do mesmo. O questionário é composto por 49 perguntas agrupadas em 9 categorias (1 – experiência do usuário, 2 – aspecto visual de interface, 3 – navegação, 4 – gestão de erros, 5 – consistência, 6 – controle, 7 – conteúdo, 8 – feedback e 9 – facilidade de aprendizado), sendo da categoria de 2 a 9, os participantes poderiam avaliar o grau de conformidade do sistema (sempre, às vezes, nunca), na qual tais perguntas classificam-se como avaliativas, que segundo Marconi e Lakatos (2003) “consistem em emitir um julgamento através de uma escala com vários graus de intensidade para um mesmo item. As respostas sugeridas são quantitativas e indicam um grau de intensidade crescente ou decrescente.” (p. 206). Dentre as 49 perguntas, 9 delas são classificadas como abertas, onde os usuários tiveram a oportunidade de informar seus comentários, problemas e sugestões referentes as categorias 2 a 9 avaliadas. Na categoria “experiência do usuário”, o participante da pesquisa teria que informar quais módulos relacionados a prática profissional utiliza, qual seria o tempo de acesso e quantas vezes na semana estar a frequentar tal ambiente. No questionário constam itens que dão a possibilidade do respondente opinar sobre a apreciação global do sistema, antes e depois de iniciar a avaliação de usabilidade, classificando entre “pobre” e “excelente”. Foi separado também um espaço para os participantes redigirem comentários iniciais e finais sobre o sistema e informar horário inicial e final da aplicação do questionário. Antes de proceder a aplicação da versão final do questionário (Anexo II) com os participantes, o mesmo passou por duas etapas de validação que estão descritas no tópico seguinte. 71 VALIDAÇÃO DO QUESTIONÁRIO DE AVALIAÇÃO DA USABILIDADE Elaborado o questionário, o mesmo precisa ser testado, antes de sua utilização definitiva com os participantes reais, aplicando-o a uma pequena quantidade de pessoas. Marconi e Lakatos (2003) evidenciam a importância da testagem onde se detectam possíveis falhas existentes: inconsistência ou complexidade das questões; ambiguidade ou linguagem inacessível; perguntas supérfluas ou que causam embaraço ao informante; se as questões obedecem a determinada ordem ou se são muito numerosas etc. Verificadas as falhas, reformula-se o questionário, conservando, modificando, ampliando ou eliminando itens; explicitando melhor alguns ou modificando a redação de outros. Perguntas abertas podem ser transformadas em fechadas se não houver variabilidade de respostas. (Marconi & Lakatos, 2003, p. 203) Ainda destacam que a fidelidade (qualquer sujeito que o aplique obterá sempre os mesmos resultados), a validade (dados recolhidos são necessários à pesquisa) e a operatividade (vocabulário acessível e significado claro) são elementos essenciais e importantes para o questionário. Nesse contexto, o questionário de avaliação de usabilidade foi submetido por processo de validação dividido em duas etapas primordiais: a primeira foi realizada uma validação por um professor perito e, em seguida, foi aplicado um pré-teste com dois sujeitos com características semelhantes aos usuários reais do sistema, resultando assim, na versão definitiva do questionário (Anexo II). No dia 30 de abril de 2019, foi realizado um convite, via e-mail, a um professor perito na área de usabilidade do IFRN – Campus Nova Cruz para participação da validação da primeira etapa do questionário, onde o mesmo aceitou e informou que estava prestes a contribuir na pesquisa. A data e local para realização da validação ficou agendada e decidida para o dia 02 de maio de 2019 no IFRN – Campus Nova Cruz. No referido dia, nos reunimos e vos foi entregue a primeira versão do questionário, de forma impressa. Nessa primeira etapa da validação, o professor sugeriu diversas mudanças, que foram manuscritas em um bloco de notas, que estão descritas a seguir: i. Melhorar o texto introdutório e de apresentação do questionário que trata da razão da pesquisa e seus objetivos, deixando-o mais apelativo; 72 ii. Enumerar perguntas; iii. Deixar mais clara algumas perguntas que apresentam termos subjetivos, colocando um parênteses explicativo; iv. União de perguntas semelhantes ou redundantes; v. Retirar perguntas desnecessárias; vi. Alterar ordem de algumas perguntas; vii. Mudança por palavras mais claras na pergunta (Exemplos: retroceder por voltar, pesquisa por busca). Diante do exposto pelo professor perito, as mudanças sugeridas foram aceitas e o questionário foi modificado e definido uma nova versão. No dia 03 de maio de 2019, foi realizado um convite pessoalmente, a 2 (dois) alunos do IFRN – Campus Nova Cruz, informando se desejariam participar da segunda etapa de validação do questionário, e os mesmos, se prontificaram em ajudar. No mesmo dia, no período vespertino, foi reservada uma sala no IFRN – Campus Nova Cruz para realização do pré-teste do questionário. Antes de dar início ao teste, foi explanado todos os objetivos da pesquisa e foram tratadas todas as questões éticas da investigação. Os testes foram realizados individualmente e foi solicitado que os mesmos realizassem login para ter acesso ao sistema, possibilitando um cenário mais próximo do real. Os dois participantes desse teste são semelhantes aos participantes reais da pesquisa. Foram colocadas as seguintes questões aos alunos na testagem (Bell, 2004): i. quanto tempo levou a completar o questionário? ii. as instruções eram claras? iii. achou alguma questão ambígua? Se sim, qual e porquê? iv. a lista de respostas às questões fechadas cobrem todas as opções? v. alguma questão pode influenciar a resposta? vi. opôs-se a responder a alguma questão? vii. na sua opinião foi omitido algum tópico importante? viii. considerou o formato do questionário claro/atraente? ix. tem algum comentário a fazer? 79 Figura 17 – Esquema detalhado das etapas da pesquisa 3.6 Questões éticas de investigação Quanto às questões éticas de investigação no campo da pesquisa, mantendo a integridade no seu desenvolvimento, tanto nas entrevistas quanto na aplicação dos questionários, foi esclarecido ao sujeito sobre o tema e o objeto de estudo a ser trabalhado, com as intenções do pesquisador sobre os dados que pretende coletar e resultados que espera conseguir. O participante da investigação teve o direito à autodeterminação, na qual decidia se participava ou não da investigação. O direito ao anonimato do entrevistado foi adotado, onde identificamos os mesmos através de códigos, conforme Quadro 21 a seguir. 80 Quadro 21 – Identificação por códigos dos participantes da pesquisa PARTICIPANTES (USUÁRIOS) CÓDIGO PARTICIPANTES (USUÁRIOS) CÓDIGO ESTAGIÁRIO E1 PROJETO DE PESQUISA PP1 E2 PP2 E3 PP3 E4 PP4 E5 PP5 JOVEM APRENDIZ A1 ATIVIDADE PROFISSIONAL EFETIVA EF1 A2 DOCENTES DO IFRN NOVA CRUZ D1 A3 D2 A4 D3 A5 D4 PROJETO DE EXTENSÃO PE1 D5 PE2 PE3 PE4 PE5 No tocante as gravações das entrevistas foram adotadas as seguintes medidas: transcrição literal da entrevista; apresentação do resultado da transcrição ao entrevistado para consonância; e por fim, um consentimento por escrito dos entrevistados para o uso do conteúdo das entrevistas. Nos questionários de avaliação da usabilidade, será garantida a integridade da informação, segurança e questões de ordem ética. 81 3.7 Design de investigação Com o intuito de uma melhor compreensão da proposta utilizada na investigação, segue no Quadro 22 abaixo, o design de investigação, relacionando a questão de investigação, os objetivos específicos, os instrumentos a serem utilizados na pesquisa para a recolha de dados e os métodos e técnicas utilizados no tratamento dos dados. Quadro 22 – Resumo geral sobre o design de investigação Questão Objetivos específicos Instrumentos da pesquisa Participantes Recolha dos dados Tratamento dos dados Em que medida os módulos existentes no SUAP contribuem no acompanhamento da prática profissional discente do IFRN? Avaliar a usabilidade dos módulos existentes no SUAP no sentido de identificar as dificuldades encontradas pelos usuários no uso dos módulos na prática profissional. Questionários de avaliação de usabilidade Alunos Docentes Recursos de texto Estatística descritiva Software IBM SPSS Statistic 25 Analisar o nível de acompanhamento da prática profissional, mediado pelo professor-orientador, dos alunos que utilizam os módulos integrados ao SUAP Focus group (5) alunos (4) docentes Gravação e transcrição da entrevista Análise de conteúdo Identificar as percepções dos usuários no uso dos módulos no SUAP na prática profissional. Focus group (5) alunos (4) docentes Gravação e transcrição da entrevista Análise de conteúdo Propor melhorias na usabilidade nos módulos existentes no SUAP de forma a contribuem no acompanhamento da prática profissional discente do IFRN. Focus group (5) alunos (4) docentes Gravação e transcrição da entrevista Análise de conteúdo 82 4 Apresentação e Análise de Resultados Este capítulo mostrará os principais resultados da pesquisa realizada junto aos alunos e professores que utilizam os módulos integrados ao SUAP relacionados à prática profissional, conforme os procedimentos metodológicos descritos no capítulo anterior. 4.1 Análise descritiva dos resultados do questionário de avaliação da usabilidade A análise realizada dos questionários respondidos de avaliação da usabilidade pelos usuários visa identificar as dificuldades encontradas no uso dos módulos na prática profissional. Para realização do tratamento dos dados obtidos da Categoria “Experiência do Usuário” (Categoria 1) elaborado para o questionário de avaliação da usabilidade, utilizamos o software IBM SPSS Statistic 25 e a planilha Excel como auxílio para construção das tabelas e tabulação dos dados, na qual vão ser explorados mais adiante nos itens “Sob a ótica dos alunos” e “Sob a ótica dos docentes”. Para realização do tratamento dos dados obtidos das categorias 2 a 9 elaboradas para o questionário de avaliação da usabilidade, utilizamos também o software IBM SPSS Statistic 25, onde fizemos a correspondência de cada resposta a um valor, de forma crescente, conforme Figura 18 a seguir: Figura 18 – Correspondência resposta x valor Fonte: IBM SPSS Statistic 25 83 Com a necessidade de certificar que todos as questões estavam elaboradas de forma que a escala ordinal tivesse o mesmo significado, para a análise dos dados obtidos, tivemos que reformular uma questão, pela maneira como estava redigida, onde a resposta “Nunca” significava a presença da característica que se desejava. Com isso, na questão "Há lentidão de acesso ao sistema", a resposta “Nunca” (valor 1), seria uma avaliação positiva. Como a resposta “Sempre” (valor 3) é a que identifica a presença da característica desejada, tivemos de reformular de maneira a manter a coerência da escala com as outras perguntas. Logo, redigimos a pergunta da seguinte forma: "Há rapidez de acesso ao sistema". Para a análise descritiva dessas categorias de 2 a 9, decidimos por utilizar a moda e a média como medidas descritivas. Por definição, segundo Muniz (2019) a moda ”é o elemento que ocorre com maior frequência, isto é, o elemento mais comum.” (p. 273). Já a média, é a razão da soma de todos elementos de um conjunto e o total de elementos. Nesse contexto, foi escolhido a moda para fazer a análise por cada quesito presente nas categorias e a média para fazer a análise por categoria e para a avaliação global do questionário. A seguir vamos explorar um pouco sobre os resultados obtidos de cada categoria e os seus itens, sob ótica dos alunos e professores, e realizar uma análise dessas informações. 4.1.1 Sob a ótica dos alunos Iniciando pela Categoria “Experiência do usuário” (Categoria 1), obtemos resultados do questionário aplicado aos alunos, em perguntas descritas como “1.1 Qual módulo referente a prática profissional você utiliza?”, “1.2 Há quanto tempo você usa o módulo?” e “1.3 Em média, quantas vezes você utiliza o módulo por semana?”. Para uma análise minuciosa dessa categoria, realizamos uma tabulação cruzada dos dados obtidos, através do software IBM SPSS Statistic 25, das questões 1.1 e 1.3, conforme Tabela 2. 84 Tabela 2 – Qual módulo? X Frequência de uso semanal Podemos observar na Tabela 2, que quase 50% dos alunos utilizam o módulo “Menos de 1 vez” por semana, isso significa que os módulos existentes relacionados à prática profissional são pouco utilizados semanalmente por parte dos alunos. E o perfil dos estagiários são os que apresentam menor frequência de utilização do módulo semanalmente. Também realizamos uma tabulação cruzada dos dados obtidos, através do software IBM SPSS Statistic 25, das questões 1.2 e 1.3, conforme Tabela 3 – Tempo em dias X Frequência de uso semanal. Tabela 3 – Tempo em dias X Frequência de uso semanal 85 Podemos observar na Tabela 3 uma informação considerada relevante, na qual o aluno com apenas 7 (sete) dias de acesso ao módulo, o mesmo utilizou-o “Mais de 7 vezes” na semana, tornando-se o único que utilizou com mais frequência semanalmente, dentre os alunos utilizadores. Comparando outro usuário que tem 2 (dois) anos de acesso ao módulo, o mesmo utiliza “Menos de 1 vez” semanalmente. Continuando com os dados colhidos, fruto das categorias 2 a 9, apresentamos os resumos das respostas dos questionários de avaliação de usabilidade aplicados aos alunos, contidos no Anexo XIII. No entanto, criamos uma tabela resumida e detalhada com informações da Moda e Média, gerados através do software IBM SPSS Statistic 25. Utilizamos esses dados estatísticos para facilitar a análise descritiva. Essas informações das oito categorias com os suas respectivas questões, estão detalhadas na Tabela 4, a seguir. Tabela 4 – Estatísticas das categorias 2 a 9 sob a ótica dos alunos Categorias ergonômicas Moda Média MPC1 2.1 Aspecto visual: layout 3 2,67 2,45 2.2 Aspecto visual: palavras-chave destacadas 3 2,33 2.3 Aspecto visual: organização dos elementos 2 2,43 2.4 Aspecto visual: organização da informação 3 2,38 3.1 Navegação: localização atual 3 2,57 2,42 3.2 Navegação: hierarquia de navegação 3 2,52 3.3 Navegação: navegação simples, sem níveis desnecessários 3 2,62 3.4 Navegação: dispensa o botão “voltar” 1 1,86 3.5 Navegação: campo de busca 3 2,29 3.6 Navegação: funcionalidades com nomes óbvios 3 2,62 3.7 Navegação: funcionalidade disponível 3 2,57 3.8 Navegação: links/abas ativos 3 2,71 3.9 Navegação: rapidez do sistema2 2 2,10 1 Cálculo da média por categoria 2 Item reformulado para facilitar a análise dos dados 86 Tabela 4 – Estatísticas das categorias 2 a 9 sob a ótica dos alunos (continuação) Categorias ergonômicas Moda Média MPC* 4.1 Gestão de erros: mensagens com linguagem clara 3 2,38 1,93 4.2 Gestão de erros: mensagens descrevem a ação correta 2 2,10 4.3 Gestão de erros: mensagens fornecem ponto de saída 1 1,95 4.4 Gestão de erros: contato de assistência 1 1,52 4.5 Gestão de erros: prevenção de erros 1 1,71 5.1 Consistência: informações de maneira consistente 3 2,76 2,65 5.2 Consistência: menus e botões padronizados 3 2,76 5.3 Consistência: navegação consistente 2 e 3 2,43 6.1 Controle: cancelar ações 2 2,00 2,27 6.2 Controle: modificar cores 3 2,29 6.3 Controle: uso de atalhos 2 1,90 6.4 Controle: suporta principais navegadores 3 2,90 7.1 Conteúdo: linguagem simples/adequada 3 2,67 2,61 7.2 Conteúdo: texto correto gramaticalmente 3 2,90 7.3 Conteúdo: detalhamento de conteúdo 2 e 3 2,43 7.4 Conteúdo: campos obrigatórios diferenciados 3 2,43 8.1 Feedback: sistema mantém informado 3 2,43 2,03 8.2 Feedback: todo feedback é imediato 2 2,14 8.3 Feedback: ajuda via chat 1 1,19 8.4 Feedback: contato para informações 3 2,38 9.1 Facilidade de aprendizado: operar o sistema 3 2,52 2,46 9.2 Facilidade de aprendizado: relembrar nomes e comandos 3 2,57 9.3 Facilidade de aprendizado: tempo de aprendizado rápido 3 2,62 9.4 Facilidade de aprendizado: novas funcionalidades descobertas 2 2,14 Analisando a Tabela 4, as categorias Aspecto Visual, Navegação, Consistência e Conteúdo estão todas em conformidade com os critérios ergonômicos de avaliação usabilidade, na opinião dos alunos, pois apresentaram boas médias. Merecendo destaque as categorias 87 Consistência e Conteúdo, onde apresentaram médias de 2,65 e 2,61, respectivamente. Já as categorias que foram avaliadas em médias mais baixas foram: Gestão de erros (Média=1,93), Controle (Média=2,27) e Feedback (Média=2,03). Nessas categorias com médias mais baixas, foram identificados também alguns itens que apresentam modas igual a 1 (“Nunca” = 1), o que vai de desacordo com os critérios de usabilidade definidos. Logo, vamos priorizar o detalhamento dos resultados que tiveram maiores níveis de discordância nas respostas, sob a ótica dos alunos. Iniciando pelo item 4.3 Gestão de erros, aproximadamente 43% dos alunos discordam que o módulo ao qual utilizam, não dispõe de mensagens de erro que fornecem ponto de saída, superando aos 38,1% que concordaram, e grande parte dessa porcentagem, são alunos que utilizam os módulos de extensão e pesquisa. As informações estão descritas na Tabela 5 abaixo. Tabela 5 – Qual módulo? X Mensagens fornecem um ponto de saída No item 4.4 Gestão de erros, aproximadamente 62% dos alunos participantes opinaram que as mensagens de erros do módulo utilizado não informam contatos de assistência, e novamente, a maioria dos alunos que participam de projetos de extensão e pesquisa atribuíram valor igual “Nunca”, conforme Tabela 6. 88 Tabela 6 – Qual módulo? X Informação de contato de assistência Finalizando a categoria Gestão de erros, o item 4.5 também está em discordância segundo os alunos, que trata da prevenção dos erros. De acordo com as opiniões dos mesmos, mais de 50% informam que o sistema nunca se previne contra os erros. Mais uma vez, quase 100% dos alunos utilizadores do módulo de extensão e pesquisa, discordaram do item supracitado. Na Tabela 7, estão descritos os dados, com a tabulação cruzada Qual módulo? X Gestão de erros: prevenção de erros. Tabela 7 – Qual módulo? X Prevenção de erros Verificando esses problemas da categoria Gestão de erros, algumas evidências são informadas pelos alunos no espaço de comentários e sugestões, conforme Quadro 23 a seguir. 95 Tabela 13 – Estatísticas das categorias sob a ótica dos docentes Categorias ergonômicas Moda Média MPC 2.1 Aspecto visual: layout 3 2,60 2,45 2.2 Aspecto visual: palavras-chave destacadas 1 e 3 2,00 2.3 Aspecto visual: organização dos elementos 3 2,60 2.4 Aspecto visual: organização da informação 3 2,60 3.1 Navegação: localização atual 3 2,60 2,42 3.2 Navegação: hierarquia de navegação 3 2,60 3.3 Navegação: navegação simples, sem níveis desnecessários 2 2,20 3.4 Navegação: dispensa o botão “voltar” 2 2,40 3.5 Navegação: campo de busca 1 1,80 3.6 Navegação: funcionalidades com nomes óbvios 3 2,60 3.7 Navegação: funcionalidade disponível 3 2,60 3.8 Navegação: links/abas ativos 3 2,80 3.9 Navegação: rapidez do sistema 2 2,20 4.1 Gestão de erros: mensagens com linguagem clara 3 2,40 1,92 4.2 Gestão de erros: mensagens descrevem a ação correta 2 2,20 4.3 Gestão de erros: mensagens fornecem ponto de saída 2 2,00 4.4 Gestão de erros: contato de assistência 2 1,80 4.5 Gestão de erros: prevenção de erros 1 1,20 5.1 Consistência: informações de maneira consistente 2 2,40 2,67 5.2 Consistência: menus e botões padronizados 3 2,80 5.3 Consistência: navegação consistente 3 2,80 6.1 Controle: cancelar ações 2 1,60 1,75 6.2 Controle: modificar cores 1 1,60 6.3 Controle: uso de atalhos 2 1,80 6.4 Controle: suporta principais navegadores 3 3,00 96 Tabela 13 – Estatísticas das categorias sob a ótica dos docentes (continuação) Categorias ergonômicas Moda Média MPC* 7.1 Conteúdo: linguagem simples/adequada 3 2,60 2,65 7.2 Conteúdo: texto correto gramaticalmente 3 2,80 7.3 Conteúdo: detalhamento de conteúdo 2 2,40 7.4 Conteúdo: campos obrigatórios diferenciados 3 2,80 8.1 Feedback: sistema mantém informado 2 2,40 1,90 8.2 Feedback: todo feedback é imediato 2 2,20 8.3 Feedback: ajuda via chat 1 1,00 8.4 Feedback: contato para informações 1 e 3 2,00 9.1 Facilidade de aprendizado: operar o sistema 2 2,40 2,35 9.2 Facilidade de aprendizado: relembrar nomes e comandos 2 2,20 9.3 Facilidade de aprendizado: tempo de aprendizado rápido 3 2,60 9.4 Facilidade de aprendizado: novas funcionalidades descobertas 2 2,20 Analisando a Tabela 13, as categorias Aspecto Visual, Navegação, Consistência, Conteúdo e Facilidade de Aprendizado estão todas em conformidade com os critérios ergonômicos de avaliação usabilidade, na opinião dos docentes. Merecendo destaque as categorias Consistência e Conteúdo onde apresentaram médias de 2,67 e 2,65, respectivamente. Já as categorias que foram avaliadas em médias mais baixas foram: Gestão de erros (Média=1,92), Controle (Média=1,75) e Feedback (Média=1,90). Nessas categorias com médias mais baixas, foram identificados também alguns itens que apresentam modas igual a 1 (“Nunca” = 1), o que vai de desacordo com os critérios de usabilidade definidos. Logo, vamos priorizar o detalhamento dos resultados que tiveram maiores níveis de discordância nas respostas, sob a ótica dos docentes. Iniciando pela categoria Gestão de erros (Média=1,92), nas opiniões coletadas pelos cinco docentes, um informou que o sistema não dispõe de mensagens de erro que informam contatos de assistência e quatro informaram que só às vezes, esses dados obtidos refletem no score da moda obtida que foi de 2. Em relação a prevenção de erros, os resultados foram mais preocupantes, onde 80% dos respondentes informaram que os módulos não utilizam 97 meios para prevenção de erros e apenas um docente diz que às vezes isso acontece. A moda obtida nesse quesito foi de 1. Logo, podemos verificar que na opinião dos docentes, os módulos apresentam também problemas de usabilidade relacionados à categoria Gestão de Erros, extraída da revisão sistemática, e também ao critério Erros, que é uma das diretrizes propostas por Nielsen (1993). Outra categoria que foi avaliada em média baixa na visão dos docentes foi a de Controle (Média=1,75). Com a obtenção dos resultados pelos docentes, três quesitos dessa categoria merecem atenção. No item 6.1, relacionado a permissão do usuário meios para cancelar ações que não são desejadas (Moda=2), nenhum dos participantes da pesquisa informaram como resposta “Sempre”. Já no item 6.2 (Moda=1), três dos cinco docentes opinaram que o módulo não há permissão de modificar as cores do layout, um informou que as vezes é possível e outro usuário informou que sempre tem essa possiblidade de mudar as cores. E no item 6.3, 80% dos respondentes que às vezes existe a possibilidade do uso de atalhos. Todos esses itens da categoria, quando comprometidos, dificultam na flexibilidade, eficiência e no controle do usuário. Logo, podemos observar também que esta categoria está enfrentando problemas de avaliação de usabilidade, e a mesma, é diretamente alinhada com a categoria Produtividade criada e extraída dos 14 (catorze) periódicos obtidos da revisão sistemática e com a Eficiência/ Flexibilidade de uso, que é um dos critérios propostos por Nielsen (1993). A terceira categoria que obtemos média baixa com os resultados obtidos foi a de Feedback (Média=1,90). No item 8.3, todos os docentes participantes informaram que não existe uma ajuda via chat nos módulos, ou seja, todos avaliaram como “Nunca”, resultando em moda igual a 1. E No item 8.4, dois dos cinco respondentes afirmaram que “Nunca” existiu contato para informações nos módulos. Entretanto, os módulos apresentam contato para informações, mas talvez poderia está mais bem localizado para visualização do usuário. Apesar da categoria Facilidade de Aprendizado não apresentar média baixa nas opiniões dos docentes, o usuário D4 informou no espaço de comentários/sugestões que “O sistema é fácil de usar, mas acontece muitas implementações", ou seja, apesar da facilidade de aprendizado existem inúmeras atualizações nos módulos que é preciso que o usuário esteja em um constante aprendizado. Todavia tal informação não torna-se tão preocupante, pois 60% dos respondentes informaram que o tempo de aprendizado do sistema é rápido. 98 Categorias do Aspecto Visual e Navegação resultaram boas médias de acordo com as opiniões dos docentes, mas as mesmas apresentaram alguns itens com moda baixa. O item “2.2 Aspecto Visual – Há palavras-chave destacadas”, teve avaliações divididas, com duas modas 1 e 3, chamada também de bimodal. Dois avaliadores responderam como “Nunca” e dois como “Sempre”. Já o item “3.4 Navegação – Existe um campo de busca”, a avaliação mais frequente foi “Nunca” (moda=1). Temos que a média geral, referente às categorias de 2 a 9, obtida pelas respostas dos docentes, corresponde aproximadamente a 2,26 (média muito aproximada da avaliação dos alunos, que foi de 2,24). Como o valor máximo é igual a 3, este valor revela uma avaliação de usabilidade global boa dos módulos. Esta informação pode ser confirmada pelos dados relativos à “Impressão inicial” e “Impressão final”, medida na escala de Likert com os cincos referenciados (Pobre, Razoável, Indiferente, Bom e Excelente), em que a maioria dos respondentes consideraram os módulos que utilizam “Bom” e houve um que o considerou “Excelente”. Ninguém dos docentes avaliou os módulos com nenhum outro valor. Outra informação interessante é que a impressão global sobre o sistema não se modifica ao longo do questionário, ou seja, na impressão inicial é em todas os questionários igual a impressão final. Foi solicitado também aos voluntários docentes que participaram da pesquisa, a inserção do horário de início e fim para preenchimento do questionário de avaliação da usabilidade. O tempo médio gasto foi de 14min10seg (tempo muito próximo do tempo gasto dos alunos, que foi de 13min46seg). No Quadro 27, é apresentado o registro dos comentários realizados sobre os módulos pelos docentes. Quadro 27 – Registro de comentários realizados pelos docentes Comentários iniciais Comentários finais “A complexidade dos módulos de pesquisa/extensão é derivada de política institucional, não de desenvolvimento do sistema” – Usuário D3 “O sistema é muito bom, de fácil manuseio, mas muito burocrático” – Usuário D4 “O sistema merece um maior número de manutenções para garantir o seu uso de maneira fluido para o usuário final” – Usuário D5 “O sistema/módulo é bom, porém precisa de ajustes em muitos pontos, o que vem sendo feito quase que diariamente” – Usuário D5 99 4.2 Análise dos resultados do questionário de avaliação de satisfação SUS Para complementação dos questionários de avaliação da usabilidade, 21 alunos (5 estagiários, 5 do programa jovem aprendiz, 5 participantes de projeto de pesquisa, 5 participantes de projeto de extensão e 1 aluno participante da atividade profissional efetiva) preencheram questionários SUS obtendo como resultado dos mesmos uma média de score de aproximadamente 71,3 pontos, com um intervalo [45, 87,7], conforme Figura 19 abaixo. Figura 19 – SUS – Resultados individual e global dos alunos Cinco docentes (orientadores e coordenadores), do IFRN Campus Nova Cruz, também preencheram questionários SUS obtendo como resultado dos mesmos uma média de score de aproximadamente 62,5, com um intervalo [35, 77,5], exibido na Figura 20 a seguir. 0 10 20 30 40 50 60 70 80 90 100 E1 E2 E3 E4 E5 A1 A2 A3 A4 A5 PE1 PE2 PE3 PE4 PE5 PP1 PP2 PP3 PP4 PP5 APE INDICE DE SATISFACAO SUS USUÁRIOS SUS -Resultados Individual e Global dos alunos SUS score Média Global SUS 100 Figura 20 – SUS – Resultados individual e global dos docentes Na opinião dos alunos que preencheram o questionário, em nível de satisfação, os módulos avaliados são considerados bons, mas na opinião dos docentes são considerados aceitáveis, de acordo com a Figura 16 supracitada, onde é apresentada uma escala SUS que foi elaborada por Bangor et al. (2009). 4.3 Análise dos resultados das entrevistas em grupo Os dados coletados das entrevistas em grupo visam analisar o nível de acompanhamento da prática profissional, mediado pelo professor-orientador, dos alunos que utilizam os módulos integrados ao SUAP, identificar as percepções dos usuários no uso dos módulos no SUAP na prática profissional e propor melhorias na usabilidade nos módulos existentes no SUAP de forma a contribuírem no acompanhamento da prática profissional discente do IFRN. Optou-se por realizar a análise dos resultados através do método da análise de conteúdo que, segundo Bardin (1977, p. 95), é organizada em três fases fundamentais cronológicas, conforme esquema na Figura 21: a pré-análise, a exploração do material e o tratamento dos resultados, a inferência e a interpretação. 0 10 20 30 40 50 60 70 80 90 D1 D2 D3 D4 D5 ÍNDICE DE SATISFAÇAO SUS USUÁRIOS -DOCENTES SUS -Resultados Individual e Global dos docentes SUS Score Média Global SUS 101 Figura 21 – As três fases da análise de conteúdo Fonte: adaptado de Bardin (1977) A primeira fase, chamada de pré-análise, corresponde a fase de organização que tem por objetivo tornar operacionais e sistematizar as ideias iniciais de maneira a conduzir a um esquema preciso do desenvolvimento da pesquisa (Bardin, 1977). Geralmente, segundo Bardin (1977), a fase de pré-análise é composta por atividades não estruturadas que envolve a leitura “flutuante”, que consiste no primeiro contato com os documentos a analisar, a escolha deles, a formulação das hipóteses e dos objetivos, a referência dos índices e elaboração dos indicadores e, por fim, a preparação do material. O desenvolvimento do trabalho inicia-se escolhendo os documentos a serem submetidos aos procedimentos analíticos. No caso da entrevista de grupo focal, é realizada a transcrição na íntegra, e o seu conjunto formará o corpus da pesquisa. Para isso, é preciso seguir as 4 (quatro) regras definidas por Bardin (1997), que são: a regra da exaustividade (não se pode deixar de fora por qualquer razão que não possa ser justificável no plano de rigor), a regra a representatividade (a amostra deve representar o todo, o universo), a regra da homogeneidade (as informações recolhidas devem referir-se todas a esse tema, ter sido obtidas de técnicas idênticas e serem realizadas por indivíduos semelhantes) e a regra da pertinência (os documentos devem ser adequados à fonte de informação e objetivos da pesquisa). A preparação do material coletado se faz pelo recorte (edição) das entrevistas de grupo focal transcritas. Realizamos o recorte do primeiro encontro de grupo focal na qual tivemos a 102 participação dos alunos. Os cinco alunos que participaram do encontro eram três do sexo feminino e três do sexo masculino, sendo dois alunos estagiários, um aluno do jovem aprendiz, um aluno participante do projeto de pesquisa e um aluno participante do projeto de extensão, todos do IFRN – Campus Nova Cruz. No segundo encontro de grupo focal também realizamos o recorte, onde tivemos a participação dos docentes. Os quatro docentes que participaram do encontro eram três do sexo masculino e uma do sexo feminino, sendo três docentes da área de Administração e um docente da área de Informática, todos do IFRN – Campus Nova Cruz. As perguntas norteadoras das entrevistas de grupo focal realizadas com os alunos e docentes foram divididas em três tópicos: i) Questões previamente estabelecidas no problema no início do estudo; ii) Questões provenientes da análise dos questionários de usabilidade; e, iii) Questões referentes aos objetivos restantes da pesquisa. Todas elas estão detalhadas no Anexo VI. Depois da transcrição dos dados, damos início a seguinte sequência: a leitura “flutuante”; passando pelas escolhas das categorias (índices), que são definidas a partir das hipóteses ou das questões norteadoras; e, finalizando com a organização dos temas (indicadores). Segundo Bardin (1977), os indicadores que aparecem com mais frequência no texto são recortados “em unidades comparáveis de categorização para análise temática e de modalidade de codificação para o registro dos dados” (p.100). A segunda fase, chamada de exploração do material, trata-se de uma fase segundo Bardin (1977) que “consiste essencialmente de operações de codificação, desconto ou enumeração, em função de regras previamente formuladas” (p. 101). Nessa fase definimos as unidades de codificação, onde é necessário seguir procedimentos de codificação que são organizadas em três etapas: a escolha das unidades (recorte), escolha das regras de contagem (enumeração) e a escolha das categorias (a classificação e a agregação); e, em seguida, passar por procedimentos de categorização, que pode ser caracterizado como semântico (categorias temáticas), sintático (verbos, adjetivos), léxico (classificação por palavras) e expressivos (categorias que classificam as diversas perturbações da linguagem) (Bardin, 1977). De acordo com Bardin (1977), um conjunto de boas categorias, deve possuir as seguintes qualidades: exclusão mútua (cada elemento não pode existir em mais de uma divisão), homogeneidade (Num mesmo conjunto categorial, só se pode funcionar com uma dimensão 103 da análise), pertinência (quando está adaptada ao material de análise escolhido, e quando pertence ao quadro teórico definido), objetividade e fidelidade (as distorções devidas à subjetividade dos codificadores e à variação dos juízos não se produzem se a escolha e a definição das categorias forem bem definidas) e produtividade (se fornece resultados férteis em índices de inferências, em hipóteses novas e em dados exatos). Nesse contexto, elaboradas as categorias, o passo seguinte será destinado à construção do título de cada categoria, que pode ser definida a partir das falas dos entrevistados ou via referencial teórico. No nosso caso, utilizamos os dois métodos, as categorias partiram tanto da revisão sistemática que realizamos na pesquisa quanto das evidências dos entrevistados. As questões das entrevistas de grupo focal, Anexo VI, foram agrupadas conforme sua relação com cada categoria: • Critérios e envolvimento: Q1 e Q2; • Problemas/Fraquezas: Q3, Q5, Q6, Q7 e Q8; • Facilidade de aprendizado: Q9; • Gestão de erros: Q3; • Melhorias/Recomendações: Q10. A terceira fase, consiste na fase de tratamento dos resultados obtidos, inferência e interpretação. Nela, os resultados brutos são tratados de maneira a serem significativos e válidos, que segundo Bardin (1977) tem a finalidade de “propor inferências e adiantar interpretações a propósito dos objetivos previstos, ou que digam respeito a outras descobertas inesperadas.” (p. 101). Nesse caso, vamos explorar um pouco sobre os resultados obtidos a partir das entrevistas de grupo focal realizadas, sob ótica dos alunos e professores, e fazer o tratamento dessas informações. 4.3.1 Sob a ótica dos alunos Apresentaremos no Quadro 28, as categorias, as suas respectivas definições, os temas e o recorte das evidências retiradas das entrevistas de grupo focal com os cinco alunos participantes, sempre preservando na íntegra a fala dos entrevistados. 104 Quadro 28 – Categorias, definições, temas e o recorte de evidências referente as entrevistas dos alunos Categorias Temas Evidências (exemplos de verbalizações) Critérios e envolvimento Definição: Conhecimento dos critérios utilizados e da participação dos envolvidos na especificação de requisitos no desenvolvimento dos módulos. Especificação dos requisitos À pergunta “tem conhecimento dos envolvidos que participaram da especificação dos requisitos?”, todos responderam “Não ...” Todos Participação À pergunta “que tipo de participação foi concedida a vocês?”, todos responderam “Nenhuma ...” Todos “A gente não sabe quem desenvolveu, quanto mais participou” Aluno 2 Facilidade de aprendizado Definição: Tempo e esforço gasto para aprender as funcionalidades do sistema. - “Com relação ao jovem aprendiz é bem fácil, todos são o mesmo jeito. Só a questão de anexar os documentos que é um pouco complicado” Aluno 4 - “Por exemplo, pra anexar o relatório, eu não tive como anexar sozinho, tive que pedir ajuda ao orientador para anexar, pois é um processo complicado” Aluno 4 - “Se esse módulo fosse mais fácil” Aluno 1 Gestão de erros Definição: Representa o quanto o sistema está preparado em situações de erros. - “no caso do módulo de extensão, para causar uma mensagem de erro só se fosse, o orientador anexando, a gente mexendo, acho que nunca deu erro” respondido pelo Aluno 1, e Todos concordaram. 111 Quadro 29 – Categorias, definições, temas e o recorte de evidências referente as entrevistas dos docentes Categorias Temas Evidências (exemplos das verbalizações) Critérios e envolvimento Definição: Conhecimento dos critérios utilizados e da participação dos envolvidos na especificação de requisitos no desenvolvimento dos módulos. Especificação dos requisitos À pergunta “tem conhecimento dos envolvidos que participaram da especificação dos requisitos?” “Só posso ter ideia quem tenha desenvolvido, mas certeza não sei não” Docente 1 “Imagino que tenha sido consultado, mas não tenho essa informação” Docente 2 Participação À pergunta “que tipo de participação foi concedida a vocês?” “A minha participação? Zero! A minha? Zero! Participei nenhuma vez desse desenvolvimento” Docente 1 “A gente pode sugerir algumas coisas pelo SUAP” Docente 3 “Hoje tem um espaço no SUAP, para sugestões” Docente 4 “É algo espontâneo, mas para construir um módulo, não. Zero!” Docente 1 À pergunta “não foi consultado?”, o Docente 1 respondeu “Não, em nenhum momento” Facilidade de aprendizado Definição: Tempo e esforço gasto para aprender as funcionalidades do sistema. - “eu acho bem fácil usar, acho bom, bom visualmente, melhor que o SIGAA” respondido pelo Docente 1, e Todos concordaram. Gestão de erros Definição: Representa o quanto o sistema está preparado em situações de erros. Mensagem de erro “Quando você precisa fazer alguma coisa, ai começa aparecer as mensagens de erro” comentário feito pelo Docente 3, e Todos concordaram. 112 Quadro 29 – Categorias, definições, temas e o recorte de evidências referente as entrevistas dos docentes (continuação) Categorias Temas Evidências (exemplos das verbalizações) Problemas/ Fraquezas Definição: Identificação de dificuldades no uso do sistema, por parte dos usuários. Orientação/Manual de utilização “o SUAP não tem um manual de usuário.” comentário pelo Docente 1, e Todos concordaram. Suporte “Eu sinto essa dificuldade do sistema dar suporte prévio.” comentário pelo Docente 3, e Todos concordaram. RPP3 “O registro da prática profissional é horrível, não tem o registro claro.” Docente 1 “Espaço de registro, espaço integração, já que ele permite várias essas coisas chegam como práticas profissionais, devia ter como conectar isso” Docente 2 Integralização À pergunta “E não é integralizado, né isso?”, foi respondido por Docente 1 “Não! ...” e Todos confirmaram. Acompanhamento À pergunta “Como se dá o acompanhamento hoje da prática profissional na utilização dos módulos existentes no SUAP?”, todos responderam “Não existe, ...” Todos “Ai vamos dizer, eu tenho um aluno que tá no estágio e esse aluno quer usar como prática profissional, como é esse acompanhamento com ele? Pelo sistema? Não existe!” Docente 1 “É isso que estava falando mais cedo, você não tem o acompanhamento claro de RPP no SUAP” Docente 1 “Mas o SUAP não está adaptado ainda, porque o problema é você ter o acompanhamento da prática profissional. Não tem!” Docente 1 ”Para relatório de prática profissional, não tem, mas relatório de prática de estágio tem.” Docente 3 À pergunta “Vocês consideram que os módulos facilitam efetivamente o acompanhamento?”, Docente 1 respondeu “Da prática profissional? Não. Da prática profissional não, que não tem, nem faz” “Hoje não tem como fazer esse acompanhamento que é o mais grave” Docente 3 3 Registro da prática profissional 113 Quadro 29 – Categorias, definições, temas e o recorte de evidências referente as entrevistas dos docentes (continuação) Categorias Temas Evidências (exemplos das verbalizações) Problemas/ Fraquezas Definição: Identificação de dificuldades no uso do sistema, por parte dos usuários. Permissão “Eu realizei uma visita de estágio, depois do prazo de três meses, foi tipo um dia depois, e daí não consegui lançar, registrar o relatório referente aquele período. (...) a gente não consegue fazer isso. Tentei, perguntei e disseram que a gente não consegue fazer isso” comentário feito pelo Docente 2, e Todos concordaram. Melhorias/ Recomendações Definição: Sugestão de melhorias e recomendações para problemas de usabilidade detectados no sistema. - “... precisa criar um campo específico para a prática profissional, depois fazer uma vinculação desse campo com as outras possibilidades de registros que hoje já existem.” comentário feito pelo Docente 1, e Todos concordaram. “Desenvolvendo um espaço só para a prática profissional, integração, onde você pode acompanhar as etapas do projeto” respondido pelo Docente 1, e Todos concordaram. 114 No Quadro 29, apresentamos a categoria Critérios e envolvimento, onde os dados extraídos permitiram verificar que também todos não tem conhecimento dos envolvidos que participaram da especificação dos requisitos para o desenvolvimento dos módulos existentes, porém informaram que podem ter até a ideia de quem foi consultado, mas não tem a certeza. E que também nenhuma participação foi concedida a eles, conforme trecho da entrevista de um dos docentes que quando questionado, respondeu “A minha participação? Zero! A minha? Zero!”. Na categoria Facilidade de aprendizado, o docente informa que o módulo tem o visual bonito, de fácil utilização e considera que o sistema é melhor que o SIGAA (Sistema Integrado de Gestão de Atividades Acadêmicas), desenvolvido pela Superintendência de Informática da Universidade Federal do Rio Grande do Norte – UFRN, e restante dos entrevistados concordaram com o comentário exposto pelo docente. Segundo Ferreira e Nunes (2014), a apresentação visual é uma das orientações que assegura a consistência do sistema, e numa interface consistente, os menus, os comandos de entrada, as exibições de informação e funções apresentam o visual e comportamentos idênticos. Com a consistência do sistema assegurada, a interface tende a ser amigável, deixando os usuários à vontade e estimulados a utilizá-lo. Na categoria Gestão de erros, o docente considera que o sistema lida muitas vezes com situações de erro, expresso no trecho da entrevista a seguir: “Quando você precisa fazer alguma coisa, ai começa aparecer as mensagens de erro”, e destaca a importância da prevenção, que muitas vezes não ocorre no sistema, onde Nielsen (1993) afirma que um design cuidadoso que possa prevenir os erros, torna-se mais importante do que uma boa mensagem de erro. Na categoria Problemas/Fraquezas, que consiste na identificação de dificuldades no uso do sistema por parte dos usuários, foi dividida em seis temas de acordo com as verbalizações os entrevistados: Orientação/Manual de utilização, Suporte, RPP, Integralização, Acompanhamento e Permissão. Em se tratando dos problemas destacados pelos usuários docentes, enquadramos o tema Orientação/Manual de utilização, onde um dos entrevistados destaca que o módulo, e até mesmo o SUAP como um todo, precisaria urgentemente de um manual de utilização, necessitando a maioria das vezes de um suporte pessoal para indicar de 115 como funciona o sistema. No trecho da entrevista a seguir, o docente expõe a insatisfação esclarecendo “Então acho assim, eu acho que o SUAP fosse mais utilizado, se ele fosse mais explicado, entendeu? Como se fazer. Tem coisas que surgem e ninguém sabe. Muitas vezes os processos são muito parecidos, na prática profissional, por exemplo, processos muito parecidos, como estágio como pesquisa e outros”. No tema Suporte, um dos docentes diz que sente a necessidade do sistema dar um suporte prévio, e o restante do grupo confirmou o problema enfrentado. No tema RPP (Registro da prática profissional), dois dos docentes entrevistados demonstraram dificuldades em realizar o registro da prática profissional, na qual dizem que “o registro da prática profissional é horrível, não tem o registro claro.”, faltando um espaço para esse intuito. No tema Integralização, foi salientado por um dos docentes, que se tem um módulo que é emergencial para o SUAP é resolver a prática profissional, pois não é integralizado e citou um exemplo onde “O aluno faz um estágio e ele quer usar aquele estágio como prática profissional, não tem a opção de usar esse estágio para prática profissional. Ai ele vai ter que fazer outro registro, outro relatório. É mais trabalho. E o sistema vem para lhe ajudar a você conseguir facilitar a operação e controle. Ai um sistema que dar mais operação, você vai gastar mais tempo para fazer as coisas, não faz sentido. O SUAP hoje tem que focar diretamente nessa questão da prática profissional. E ajeitar isso, resolver isso”. No tema Acompanhamento, os docentes informaram que o acompanhamento da prática profissional é falho e não existe o vínculo pelo SUAP, onde tá bem explicitado pelo trecho a seguir “Ai vamos dizer, eu tenho um aluno que tá no estágio e esse aluno quer usar como prática profissional, como é esse acompanhamento com ele? Pelo sistema? Não existe!” e ainda relata que “o SUAP não está adaptado ainda, porque o problema é você ter o acompanhamento da prática profissional. Não tem!”, onde é exigido aval do coordenador, plano de trabalho com acompanhamento, relatórios, e declara que no SUAP ainda não permite realizar tais ações, onde todos esses procedimentos são realizados fora do SUAP, às vezes utilizando meios alternativos, como e-mail ou outras ferramentas, como por exemplo, o Google Sala de Aula. Outro tema relacionado a problemas enfrentados é a chamada Permissão, onde o docente expõe sua insatisfação na seguinte fala da entrevista: “Eu realizei uma visita de estágio, depois do prazo de três meses, foi tipo um dia depois, e daí não consegui 116 lançar, registrar o relatório referente aquele período. (...) a gente não consegue fazer isso. Tentei, perguntei e disseram que a gente não consegue fazer isso”. Na categoria Melhorias/Recomendações, um dos docentes participantes sugeriu, seguido da aceitação dos restantes, a criação de um campo específico para prática profissional, depois fazer a vinculação desse campo com as outras possibilidades de registros que já existem, adequando-se a resolução e as normas da instituição. E ainda recomenda o desenvolvimento de um “espaço só para a prática profissional, integração, onde você pode acompanhar as etapas do projeto”. 117 5 Conclusão Este capítulo se propõe a apresentar as conclusões, as considerações finais da pesquisa, apresentar a elaboração do plano de melhorias e por último mostrar as limitações de estudo e trabalhos futuro. Segundo Nielsen (1993), a usabilidade é o fator que assegura ao usuário facilidade de uso, mas que estão ligados a condições eficazes de trabalho e eficiência na execução de tarefas, sendo associada aos seguintes fatores: facilidade de aprender, eficiência de uso, facilidade de relembrar, apresentar poucos erros e a satisfação do usuário. Desta forma, uma interface agradável e de fácil utilização para os usuários ajudarão nas suas atividades desempenhadas. No nosso estudo realizamos uma avaliação da usabilidade dos módulos integrados ao SUAP relacionados às modalidades de prática profissional do IFRN. Desse modo, realizamos a associação de cada objetivo específico com os resultados obtidos. O primeiro objetivo específico proposto por esta pesquisa buscou avaliar a usabilidade dos módulos no SUAP no sentido de identificar as dificuldades encontradas pelos usuários no uso dos módulos na prática profissional. Nessa avaliação, através dos resultados obtidos pelos testes de usabilidade, pelos questionários de avaliação da usabilidade e questionários SUS, obtivemos bons indicadores para constante melhoria da eficiência, eficácia e da satisfação dos usuários dos módulos, mas que podem ser melhorados em alguns aspectos, de acordo com os resultados obtidos do questionário de avaliação da usabilidade: na categoria gestão de erros, onde as mensagens sejam mais claras e de fácil compreensão e onde os usuários possam se prevenir dos seus erros; na categoria controle, onde os usuários possam cancelar ações que não são mais desejadas, onde haja possibilidade de modificação de temas e uso de atalhos; e, na categoria feedback, em que o sistema mantém sempre o usuário sempre informado. Do questionário de avaliação SUS, por parte dos alunos, os resultados conduziram a um valor médio de 71,3 pontos, com um intervalo [45, 87,7]. Por parte dos docentes, a média foi mais baixa, resultando em um valor aproximadamente 62,5 pontos, com um intervalo [35, 77,5]. De acordo com Bangor et al. (2009), um resultado acima dos 70 pontos 118 seria aceitável, e, dentro do sistema letter grade anglo-saxónico, 62,5 equivaleria a um D (marginal – high), e 71,3 equivaleria a um C, good. No segundo objetivo específico, esta pesquisa almejou analisar o nível de acompanhamento da prática profissional, mediado pelo professor-orientador, dos alunos que utilizam os módulos integrados ao SUAP. Nessa análise, resultados obtidos pelas entrevistas de grupo focal, percebeu-se que o acompanhamento da prática profissional via SUAP não é realizado de forma desejada pelos usuários, tendo que utilizar meios alternativos para fazer esse acompanhamento, a exemplo de troca de e-mails ou Google Sala de Aula. No terceiro objetivo específico esta pesquisa pretendeu identificar as percepções dos usuários no uso dos módulos no SUAP na prática profissional. Desse modo, resultados obtidos pelas entrevistas de grupo focal, identificou-se, em resposta também a questão inicial (Q3), que os usuários consideram o sistema com bom visual e de fácil utilização, mas que alguns pontos foram criticados de acordo com os relatos dos usuários: divulgação do módulo (uma divulgação mais valorizada, desconhecimento da existência do módulo por parte de alguns usuários), acompanhamento (consideram que os módulos não faz o acompanhamento da prática profissional adequado e dessa maneira não facilitam efetivamente o acompanhamento), controle de usuário (usuários de projeto de pesquisa e extensão não tem controle para anexar documentos), orientação (eles informam que o SUAP não tem um manual de usuário e não existe treinamento quanto ao uso do sistema), suporte (eles sentem a necessidade do sistema dar um suporte prévio), registro da prática profissional (informam que não existe o registro claro da prática profissional), integralização (informam que os módulos relacionados à prática profissional não são integralizados) e permissão (problemas com permissões, que somente o coordenador tem acesso). Quanto ao quarto e último objetivo específico, qual seja, propor melhorias na usabilidade dos módulos no SUAP de forma a contribuírem no acompanhamento da prática profissional discente do IFRN, percebeu-se uma variedade de propostas de melhorias para os módulos do SUAP, durante relatos dos entrevistados (alunos e professores), que estão descritas a seguir: • Construir um comunicador interno, no intuito de facilitar a comunicação entre aluno e professor (como exemplo, um chat); 119 • Construir um campo relacionado a supervisão, onde fosse permitido inserir versões dos relatórios finais para o acompanhamento frequente do orientador; • Desenvolver um espaço só para a prática profissional, com a integração, onde os responsáveis possam acompanhar as etapas do projeto; • Disponibilizar um manual de usuário, não somente para os módulos avaliados, mas para todo o SUAP; • Realizar treinamentos para uso dos módulos, tanto para alunos quanto para os servidores. Vale salientar que a implantação dessas recomendações descritas acima não garante completamente o êxito dos módulos avaliados do SUAP, mas ajudarão a melhorar o desenvolvimento das atividades desempenhadas e a satisfação dos usuários envolvidos. 5.1 Considerações finais Os resultados obtidos pelas entrevistas, em resposta à algumas questões iniciais no início da pesquisa, permitiram verificar que todos os participantes, usuários reais dos módulos, não tem conhecimento dos envolvidos que participaram da especificação dos requisitos para o desenvolvimento dos módulos existentes, porém informaram que podem ter até a ideia de quem foi consultado, mas não tem a certeza, consequentemente não tem conhecimento dos critérios utilizados para o desenvolvimento dos mesmos (Q1) e que também nenhuma participação foi concedida à eles (Q2). Assim, o presente trabalho conseguiu atender os objetivos de estudo levantados inicialmente. Com os objetivos atendidos, conseguimos responder a questão investigação Em que medida os módulos existentes no SUAP contribuem no acompanhamento da prática profissional discente do IFRN?, e elaborar um plano de melhorias a ser entregue à equipe de desenvolvimento da Coordenação de Sistemas de Informação (COSINF) da Diretoria de Gestão de Tecnologia da Informação (DIGTI) do IFRN. 120 5.2 Limitações de estudo Há limitações no estudo que decorrem de circunstâncias específicas, como a da impossibilidade de aplicar os testes de usabilidade, demais preenchimentos dos questionários e aplicação de entrevistas com utilizadores dos outros vinte campi do IFRN, devido a dimensão geográfica do estado do Rio Grande do Norte, já que foram aplicados somente a usuários do IFRN – Campus Nova Cruz e de forma presencial e impressa. Outra limitação, no andamento da pesquisa, refere-se à atualização da Regulamentação da Prática Profissional Discente do IFRN, mediante Resolução 25/2019-CONSUP, onde ocorreu o surgimento de algumas alterações, adicionando algumas modalidades que não faziam parte da Resolução 13/2015-CONSUP, o que só foi possível realizar o trabalho com usuários apenas das modalidades do programa de Estágio, Projeto de Extensão, Projeto de Pesquisa, Atividade Profissional Efetiva e programa de Aprendizagem (modalidade pertencente a nova Resolução), pois somente estas modalidades continham usuários em atividade para o estudo. Além disso, o SUAP só contempla atualmente módulos referentes às estas modalidades listadas, o que impossibilitaria o estudo de avaliação da usabilidade das novas modalidades não elencadas. 5.3 Sugestão de futuras pesquisas Como sugestão para futuras pesquisas, recomenda-se realizar um estudo de avaliação de usabilidade em todos os módulos do SUAP, onde a partir dos erros descobertos pelos usuários, propor soluções e melhorias na interface afim de torna-la mais adequada. Outra sugestão é uma avaliação de usabilidade com os gestores e desenvolvedores, adicionando outras metodologias de avaliação, a exemplo da avaliação heurística, em que especialistas realizam uma comparação da interface de um produto a uma lista de heurísticas, que objetiva identificar quais princípios estão sendo seguidos ou não. 127 C6 0 0 0 0 0 0 0 C7 0 0 0 0 1 0 1 C8 0 0 0 0 0 0 0 C9 0 0 0 0 0 0 0 C10 0 0 0 7 0 0 7 C11 0 1 0 0 1 0 2 C12 0 1 0 0 0 0 1 C13 0 0 0 0 0 0 0 C14 0 0 0 0 1 0 1 C15 0 0 0 0 0 0 0 C16 0 0 0 0 0 0 0 C17 0 0 0 0 0 0 0 C18 0 0 0 0 0 0 0 C19 0 0 0 0 0 0 0 C20 0 0 0 0 0 0 0 C21 0 0 0 0 0 0 0 C22 0 0 0 0 0 0 0 C23 0 0 0 0 0 0 0 C24 0 0 0 192 0 0 192 C25 0 0 0 9 0 0 9 C26 0 0 0 163 0 0 163 C27 0 0 0 111 0 0 111 C28 0 0 0 0 0 0 0 C29 0 0 0 0 0 0 0 C30 0 0 0 0 0 0 0 C31 994 2 240 0 0 370 1606 C32 84 2 34 0 1 13 134 C33 179 2 62 0 0 61 304 C34 0 0 0 0 0 0 0 C35 0 0 0 0 0 0 0 C36 0 0 0 0 0 0 0 C37 0 0 0 0 0 0 0 C38 19 0 4 3 0 3 29 C39 0 0 0 0 0 0 0 C40 1 0 1 0 0 0 2 C41 0 0 0 0 0 0 0 C42 0 0 0 0 1 0 1 C43 0 0 0 0 0 0 0 C44 0 0 0 0 0 0 0 C45 120 0 7 0 0 53 180 C46 11 0 0 0 0 0 11 C47 43 0 3 0 0 9 55 C48 0 0 0 0 0 0 0 C49 0 0 0 0 0 0 0 C50 0 0 0 0 0 0 0 C51 0 0 0 0 0 0 0 C52 70 0 10 0 8 15 103 C53 1 0 0 0 1 0 2 C54 15 0 1 0 6 1 23 C55 0 0 0 0 0 0 0 C56 0 0 0 0 0 0 0 C57 0 0 0 0 0 0 0 128 C58 0 0 0 0 0 0 0 C59 0 0 0 0 0 0 0 C60 0 0 0 0 0 0 0 C61 0 0 0 0 0 0 0 C62 0 0 0 0 0 0 0 C63 2 0 0 1 0 0 3 C64 0 0 0 0 0 0 0 C65 0 2 0 0 0 0 2 C66 0 0 0 0 0 0 0 C67 11 8 0 8 0 0 27 C68 0 0 0 0 0 0 0 C69 0 0 0 0 0 0 0 C70 0 0 0 0 0 0 0 C71 79 0 0 0 0 8 87 C72 0 0 0 0 0 0 0 C73 4 0 0 0 0 0 4 C74 0 0 0 0 0 0 0 C75 78 0 0 0 0 4 82 C76 0 0 0 0 0 0 0 Total 1721 33 363 530 25 537 3209 129 Anexo II – Extração dos dados dos artigos/dissertações Extração dos dados dos artigos/dissertações # Título Idioma Canal de Publicação Participantes Palavras-chave Metodologia Técnicas Objetivos de Estudo Resultados obtidos P1 Avaliação de usabilidade em sistema web - desktop Português Universidade do Porto Estudantes da Universidade do Porto Não continha palavras-chave no abstract. Quantitativo e Qualitativo Entrevista; Questionário (SUS); Avaliação heurística. Usabilidade do SIGARRA; Contribuição para definição de boas práticas Web; Expor debilidades e apresentar soluções para eventuais problemas de usabilidade do SIGARRA. O estudo conseguiu cumprir boa parte dos objetivos. Foi feita uma extensa e cuidadosa análise dos métodos para melhorar a Usabilidade Web. Como também foram expostos diversos problemas relacionados a interface do sistema, que podem ser visualizados nos apêndices 1 e 3 da dissertação. P2 “Quem quer saber?” Avaliação de usabilidade de uma plataforma de jogos de escolha múltipla Português IX Conferência Internacional de TIC na Educação Alunos e professores gamification; game; usability; heurístics; evaluation. Quantitativo e Qualitativo Entrevista focus group; Questionário (SUS). Avaliar em termos de usabilidade da interface, despistar potenciais bugs e recolher sugestões dos peritos para a resolução dos problemas encontrados; Avaliar a satisfação na utilização da aplicação de Identificado pequenos problemas de usabilidade; Resultados de satisfação: 96 pontos destinados aos professores e 92 pontos destinado aos alunos. Revelando uma plataforma bastante agradável e satisfatória. 130 manutenção da plataforma e a adequabilidade aos conteúdos de cada uma das áreas disciplinares. P3 Assessing the Usability of a Novel System for Programming Education Inglês Systems, Programming, Languages and Applications: Software for Humanity - Education (SPLASH-E) Alunos em Tecnologia da Informação, Ciência da Computação e Sistemas de Informação Não continha palavras-chave no abstract. Quantitativo Questionário (SUS). Realizar um estudo de usabilidade na ferramenta line_explorer, destinada a permitir que alunos explorem a programação. Alunos tem interesse na ferramenta, mas mudanças significativas são necessárias. P4 Avaliação da usabilidade de um sistema informatizado de controle acadêmico: um estudo com coordenadores e secretários de cursos stricto sensu da UFRN Português Universidade Federal do Rio Grande do Norte - UFRN Coordenadores e secretários das pós-graduações Stricto Sensu. Evaluation; Usability; Ergonomic Criteria; Academic System; Sensu Stricto. Quantitativo e Qualitativo Questionário; Entrevista focus group; Pesquisa documental (chamados). Avaliar a usabilidade do sistema automatizado de controle das atividades acadêmicas (SIGAA) voltados para a Pósgraduações Stricto Sensu da Universidade Federal do Rio Grande do Norte. O SIGAA é bem aceito na comunidade acadêmica pesquisada, mas foram identificados problemas ergonômicos de condução, gestão de erros e carga de trabalho. P5 Design and Usability Assessment of a Dialogue-Based Cognitive Tutoring System to Model Expert Problem Solving Inglês British Journal of Educational Technology 15 alunos de graduação; 24 alunos de pósgraduação; 14 alunos do curso de estatística de pesquisa Não continha palavras-chave no abstract. Quantitativo e Qualitativo Questionário; Entrevista focus group. Realizar uma série de testes de usabilidade de uma estrutura de design baseada em diálogo para a apresentação do conhecimento Os resultados revelaram que a metáfora do diálogo possibilitou interações naturais e participativas entre o sistema e os usuários. As 131 in Research Design educacional em uma grande universidade pública do MeioOeste. de domínio e avaliar como ele pode ser usado para envolver ativamente os alunos no aprendizado sobre métodos de pesquisa. sugestões de feedback e os recursos de suporte proporcionaram oportunidades de aprendizado durante o processo de solução de problemas. P6 Estudo da usabilidade do portal do aluno do SIGAA Mobile Android da UFRN: identificando diretrizes de interface a serem utilizadas como recomendações no processo de desenvolvimento das funcionalidades deste sistema Português Universidade Federal do Rio Grande do Norte - UFRN Desenvolvedores do sistema, equipe de controle de qualidade da SINFO e alunos da UFRN que utilizam o aplicativo. Usability Testing; Mobile devices; Interface Standards; HumanComputer Interaction - HCI. Quantitativo e Qualitativo Avaliação heurística; Questionário online (QUIS). Realizar um estudo de usabilidade no Portal do Aluno do SIGAA Mobile Android; Catalogar diretrizes de interface que poderão servir como recomendações para o desenvolvimento de novas funcionalidades para os sistemas mobile da UFRN. O sistema SIGAA Mobile Android, na visão dos seus usuários possui uma boa usabilidade; Grau de insatisfação devido ao baixo número de funcionalidades disponíveis para seus usuários. P7 Quality assurance of academic websites using usability testing: an experimental study with AHP Inglês International Journal of System Assurance Engineering and Management Usuários dos sites do Instituto KGP, Instituto K e Instituto D. Usability; Websites; AHP; Usability score. Quantitativo Questionário Avaliar a satisfação do usuário para três sites diferentes (Instituto KGP, Instituto K e Instituto D) com base na técnica de avaliação de usabilidade baseada em AHP. O resultado obtido pelo modelo AHP mostra que a pontuação geral de usabilidade do Instituto KGP é a mais alta entre os três sites; é pelo menos para o Instituto K. Além disso, o trabalho proposto não apenas 132 mede a usabilidade do site, mas também identifica o atributo que reduz o nível de satisfação do usuário. P8 The Writing Pal Intelligent Tutoring System: Usability Testing and Development, Computers and Composition Inglês Computers and Composition 2 (dois) professores de inglês do ensino médio e 141 alunos da décima série durante seis meses (novembro de 2010 a maio de 2011). Writing instruction; Writing strategies; Intelligent tutoring systems; Automated writing evaluation; Formative feedback; Educational games; Usability testing. Quantitativo e Qualitativo Entrevista individual; Entrevista focus group; Experimento; Testes internos; Testes in vivo. Estabelecer a viabilidade do WPal; Discutir questões-chaves no projeto de tal tecnologia; Identificar possíveis ameaças e barreiras à implantação efetiva que poderiam ser abordadas nos estágios finais de desenvolvimento de sistemas. Os resultados deste estudo mostraram que os alunos perceberam o sistema como informativo, valioso e agradável, e os resultados também destacaram maneiras específicas pelas quais esses aspectos do sistema poderiam ser melhorados. Com base nessas descobertas, uma versão significativamente atualizada do W-Pal foi desenvolvida. P9 Usabilidade da Interface do Sistema Eletrônico de Editoração de Revistas um estudo da revista BiblioCanto da UFRN Português Universidade Federal do Rio Grande do Norte - UFRN Discentes de graduação, discentes de pósgraduação, docentes e bibliotecário da UFRN. Usability Test; Cooperative Evaluation; Scientific magazines; Electronic Journals Portal from UFRN. Quantitativo e Qualitativo Questionário (QUIS); Entrevista; Análise observacional. Analisar a usabilidade do processo de cadastro de autor e de submissão de artigos no SEER por meio da revista BiblioCanto, que integra o Portal de Periódicos Eletrônicos da Resultados apontaram que o sistema atende parcialmente às necessidades dos seus usuários no tocante à usabilidade, mas precisa ser realizado algumas melhorias no processo de cadastro e 133 Universidade Federal do Rio Grande do Norte (UFRN). submissão de artigos. P10 Usabilidade em plataforma web: de mero repositório a ambiente colaborativo de aprendizagem Português Revista de Estudios e Investigación en Psicología y Educación 16 alunos com idades entre os 16 e 19 anos (médias de 17 anos); 3 peritos; 6 sujeitos (com características do público-alvo). blended learning; usability; instructional design; heuristic evaluation; Moodle. Quantitativo Avaliação heurística; Análise observacional; Questionário (SUS). Avaliar a usabilidade no desenvolvimento de uma proposta de estruturação das seções de uma plataforma web centrada no aluno, com vista à sua utilização no suporte a trabalho de projeto e práticas colaborativas com alunos do ensino secundário. Os resultados obtidos revelam-se bons indicadores para a continuada melhoria da eficiência, da eficácia e da satisfação dos utilizadores, como evidenciam as melhorias propostas pelos peritos, os testes com alunos e os resultados do questionário SUS. P11 Usability factors that influence effectiveness of mobile learning management system (MLMS) for secondary schools in Malaysia Inglês IEEE Conference on e-Learning, eManagement and e-Services (IC3e) 30 alunos do ensino médio, para o teste piloto. 257 alunos do ensino médio para três escolas secundárias em Perak, nomeadamente SMK Gunung Rapat, SMK Raja Perempuan Kelsom e Maktab Rendah Sains MARA (MRSM) Lenggong. usability; mobile learning management system; teaching and learning tool; device usability; mobile web usability. Quantitativo Questionário Identificar os fatores de usabilidade que influenciam a eficácia da implementação do MLMS em escolas secundárias. Cinco importantes fatores de usabilidade foram identificados, incluindo a tecnologia da web móvel, Software como Serviço (SaaS) de computação em nuvem, conteúdo, navegação e layout. 134 P12 Usability study of mobileschool system for secondary schools in Malaysia Inglês 3rd International Conference on User Science and Engineering (iUSEr) 420 usuários como os entrevistados que consistem em administradores escolares, professores, alunos e pais de três escolas secundárias no estado de Perak, na Malásia. usability; secondary school; usability elements; descriptive statistics. Quantitativo Questionário Realizar o estudo de usabilidade do sistema MobileSchool que foi desenvolvido. O sistema passou nos requisitos de usabilidade, pois os escores médios dos elementos de usabilidade medidos foram superiores à média da escala Likert (3,0) e a maioria dos usuários concordou com a implementação das diretrizes de usabilidade na produção do sistema de alta qualidade, ensino e aprendizagem nas escolas secundárias. P13 Usability testing of e-learning system: A case study on CeL in TARUC, Johor Branch Campus Inglês 4th International Conference on User Science and Engineering (iUSEr) 5 alunos da Faculdade de Ciências Aplicadas e Computação (FASC), Faculdade de Contabilidade, Finanças e Negócios (FAFB). e Faculdade de Ciências Sociais, Artes e Humanidades (FSAH). usability testing; e-learning; CeL. Qualitativo Entrevista Identificar os problemas de usabilidade do CeL e fornecer recomendações para melhorar a usabilidade do CeL, que se concentra especificamente no TARUC Johor Branch Campus. P01, P02 e P03 sugerem mudar o tema de cor do CeL para tornar o sistema mais interessante. Além disso, P02 e P05 sugerem modificações no layout para mostrar apenas informações importantes na página principal. P04 acrescenta que deve usar mais gráficos e ícones em vez de texto simples com cores sem brilho. 135 P14 Web-based Usability Measurement for Student Grading Information System Inglês Procedia Computer Science 23 professores (definido aleatoriamente pela fórmula de Slovin) Usability; User Experience; USE Questionnaire; Website; Information System. Quantitativo Questionário (USE Questionnarie). Examinar a avaliação do sistema de informação de classificação de alunos no ensino médio de Atisa Dipamkara que é usado para auxiliar o processo de cálculo da nota dos relatórios dos alunos. Medir a satisfação do usuário com utilidade, facilidade de uso, facilidade de aprendizagem e uma variável dependente de satisfação do usuário. A medição de usabilidade resultou em 75,23%, tendo o valor "Feasible". Conclui-se também que variáveis de utilidade e variáveis de facilidade de uso influenciam significativamente a variável satisfação. 136 Anexo III – Categorização dos dados Categorização dos dados CATEGORIAS DEFINIÇÃO OPERACIONAL EVIDÊNCIAS (EXEMPLOS) Satisfação Sentimentos que os usuários tiveram a usar o sistema “... 55 estudantes de seis faculdades da UP preencheram questionários SUS sendo o resultado dos mesmos uma média de 57,9 valores.” (Mendes, 2014, p. 102) “Os resultados de satisfação de 96 pontos para a aplicação destinada aos professores e de 92 pontos para o jogo destinado aos alunos ...” (Barradas & Lencastre, 2015, p. 511) “Overall IT students found line explorer most usable for both the narrated demonstration as well as the evaluation systems. IS students found the tools the least usable.” (Vicenti et al., 2017, p. 8) “Ferramenta bastante fácil de utilizar, que não impõe grandes dificuldades.” (Campos, 2014, p. 90) “... os resultados conduziram a um valor médio de 87,9 pontos ...” (Santos & Lencastre, 2017, p. 190) “The Global Usability Score (GUS) obtained for the three websites using WAMMI report shows that Institute KGP (48.5) is having the highest GUS, followed by Institute D (39.4) and Institute K (34.7) is having the least GUS.” (Roy et al., 2016, n/p) “The result obtained by AHP model shows that overall usability score for Institute KGP is the highest among the three websites whereas; it is least for Institute K.” (Roy et al., 2016, n/p) “Todas as palavras e textos usados no sistema me satisfazem” (Maia, 2016, p. 67) “... podemos perceber que os usuários, que utilizam o Portal do Aluno no aplicativo SIGAA Mobile Android, estão satisfeitos, principalmente, no quesito tempo de aprendizado e organização de informação na tela. Nos demais temas analisados, mesmo com percentuais relativamente positivos, é observado diversos comentários de insatisfação com determinados pontos ...” (Maia, 2016, p. 71) “The result showed that the system passed the usability requirements as the mean scores of the measured usability elements were higher than the mean of Likert scale (3.0) and most of the users agreed with the implementation of the usability guidelines in producing the high quality system for teaching and learning in secondary schools.” (Hashim et al., 2014, p. 202) “I am satisfied with it; R Value: 0,566; Valid”; “I would recommend it to a friend; R Value: 0,165; Invalid”; “It is fun to use; R Value: 0,606; Valid”; “It works the way I want it to work; R Value: 0,66; Valid” “It is wonderful; R Value: 0,29; Invalid”; “I feel I need to have it; R Value: 0,792; Valid”; “It is pleasant to use; R Value: 0,594; Valid” (Hendra & Arifin, 2018, p. 243-244) Problemas/Fraquezas Identificação de dificuldades no uso do sistema, por parte dos usuários “O sistema é desnecessariamente complexo, existem várias funcionalidades, botões, menus e informações cuja utilização é 143 CATEGORIAS DEFINIÇÃO OPERACIONAL EVIDÊNCIAS (EXEMPLOS) “An additional usability assessment was conducted by a group of faculty members (n = 5) who were identified as instructors who could potentially implement REsearchMentor in their classes.” “Each faculty participant was asked to review the functions and research scenarios of REsearchMentor and then complete a rating worksheet related to adoption of REsearchMentor as a support tool in his/her research method courses.” (Hung et al., 2014, pp. 88-89) “O questionário foi aplicado com dez desenvolvedores da Superintendência de Informática da UFRN, os mesmos precisaram informar o grau de concordância referente a cinco afirmações e ao final foi solicitado aos desenvolvedores que estes respondessem de forma livre sobre a importância do uso de padrões de interface no fluxo de desenvolvimento.” (Maia, 2016, pp. 32-33) “No momento da realização deste questionário, a equipe de controle de qualidade da Superintendência de Informática da UFRN són possuía quatro funcionários, os quais todos responderam. Os mesmos precisaram informar o grau de concordância referente a quatro afirmações e no final foi pedido que respondessem de forma livre sobre a importância do uso de padrões de interface no fluxo de desenvolvimento.” (Maia, 2016, p. 37) “Neste trabalho serán utilizada, inicialmente, uma avaliação analítica, conhecida também como avaliação heurística.” “Essa avaliação serán realizada no Portal do Aluno do SIGAA Mobile Android, sempre buscando confrontar a interface atual do sistema com o que orienta a literatura no que tange a uma boa usabilidade de um sistema.” “Serán feita uma inspeção para mensurar o grau de existência das heurísticas de Nielsen, das regras de ouro de Shneiderman e das diretrizes relatadas por Cybis, Betiol e Faust (2010, pp.271-275), que são especificas para dispositivos móveis. Posteriormente, serão listados os pontos positivos e negativos encontrados durante esta inspeção.” (Maia, 2016, p. 46) “...foi realizado um questionário com os usuários do SIGAA Mobile Android.” (Maia, 2016, p. 55) .”.. foi utilizado o QUIS como base na montagem do questionário aplicado com os usuários do SIGAA Mobile Android, pois o mesmo consegue suprir o maior número das variáveis a serem analisadas e permite a coleta de dados importantes sobre a usabilidade do sistema avaliado.” (Maia, 2016, p. 56) “Questionnaire-based evaluation involved responding to a standardized questionnaire prepared by experts through pilot study to measure the perceived usability of the three websites. The pilot study is conducted in order to bring valuable insights to the evaluation process. It helps in finding out the attributes and suitable questionnaires that suits best for carrying out the usability evaluation. The questionnaires are prepared based on five usability attributes namely Attractiveness, Controllability, Efficiency, Helpfulness and Learnability.” (Roy et al., 2016, n/p) “Initial W-Pal prototypes, informed by strategy research and writing pedagogy, were presented to two focus groups of high school English educators (Kim et al., 2012): a group of eight teachers from Memphis, TN and a second group of six teachers from the Washington, DC area.” (Roscoe et al., 2014, p. 41) 144 CATEGORIAS DEFINIÇÃO OPERACIONAL EVIDÊNCIAS (EXEMPLOS) “Participating teachers were also interviewed individually.” (Roscoe et al., 2014, p. 41) “These questions were investigated in an experiment with 51 college students …” “Participants were taught to freewrite by viewing the W-Pal lesson or a control condition video.” (Roscoe et al., 2014, p. 42) “Two high school English teachers and 141 tenth-grade students participated in a feasibility study over six months …” (Roscoe et al., 2014, p. 45) “In this paper, we focus on students’ responses to the open-ended items, which helped to identify specific usability issues in W-Pal.” (Roscoe et al., 2014, p. 46) “Para a realização do estudo desta dissertação, fez-se necessária a utilização de instrumentos para a coleta de dados, como é o caso da aplicação de questionário pré-sessão, do Teste de Usabilidade e do preenchimento de um questionário de satisfação baseado no QUIS, além de uma Avaliação Cooperativa, por meio de entrevistas e análise observacional.” (Maia, 2015, p. 56) “Para o teste piloto com o publico alvo os dados foram recolhidos usando os métodos de observação (técnicas de recolha de dados logging e talk-aloud) e inquérito (por questionário). Para a avaliação heurística, as técnicas de navegação e questionário.” (Santos & Lencastre, 2017, p. 187) “No final, estes sujeitos preencheram um questionário de satisfação SUS – System Usability Scale ... “ (Santos & Lencastre, 2017, p. 187) “... foi solicitado o preenchimento do questionário (anónimo), previamente validado por peritos, salvaguardando os aspetos éticos.” (Santos & Lencastre, 2017, p. 189) “A recolha de dados foi feita observando a atuação do perito, do registo escrito pelo investigador do que aquele foi dizendo em voz alta (talk-aloud), da elaboração de relatório, da comparação dos aspetos comuns das observações dos peritos e da respetiva apreciação crítica.” (Santos & Lencastre, 2017, p. 189) “Foi preparado um bloco em disciplina Moodle, com os respetivos recursos e atividades, bem como um questionário SUS em papel. Foram salvaguardados os aspetos éticos: os utilizadores foram informados dos objetivos e do contexto, garantido o anonimato e confidencialidade, e foi obtido o consentimento informado (e a participação foi voluntária); foi esclarecido que o objeto de avaliação era o protótipo e não os alunos. Foram dadas instruções sobre o teste e os alunos questionados sobre eventuais dúvidas.” (Santos & Lencastre, 2017, p. 190) “Questionnaire instrument has been applied to validate those usability factors that can influence the effectiveness of MLMS. The questionnaire has been distributed to 257 secondary school students.” (Hashim & Ahmad, 2016, p. 6) 145 CATEGORIAS DEFINIÇÃO OPERACIONAL EVIDÊNCIAS (EXEMPLOS) “Framework validation phase started with pilot study to evaluate on internal consistency. For pilot test, questionnaire has been distributed randomly to 30 secondary school students.” (Hashim & Ahmad, 2016, p. 8) “The respondents’ age is between 13 to 17 years old.” (Hashim & Ahmad, 2016, p. 8) “This study involves 420 users as the respondents that consist of school administrators, teachers, students and parents from three secondary schools in Perak state of Malaysia. This study also involves the questionnaire instrument where the questions have been asked to measure seven usability elements including visibility of system practice, learner control and freedom, consistency and loyalty to standard, error prevention, flexibility and efficiency of use, minimize information on screen and design for small screen.” (Hashim et al., 2014, p. 198) “Before distributing the questionnaire to the larger number of respondents, a pilot test has been conducted to 41 random respondents involving 27 secondary school students, 6 teachers and 8 parents.” (Hashim et al., 2014, p. 200) “The questionnaire then has been distributed to 420 respondents involving 15 school administrators, 53 teachers, 64 parents and 288 secondary school students from three schools in Perak namely SMK Gunung Rapat, SMK Raja Perempuan Kelsom and Maktab Rendah Sains MARA (MRSM) Lenggong.” (Hashim et al., 2014, p. 200) “All respondents were given 10 minutes to read and understand the content of the questionnaire; The respondents were given 40 minutes to use/observe/access/operate/assess the system based on the questions asked in the questionnaire; Finally, all respondents were given 30 minutes to complete the questionnaire. The respondents were allowed to ask the researcher if there are any inquiries.” (Hashim et al., 2014, p. 200) “For this study, usability testing had been conducted in three different stages: pre-test, test, and post-test [15] which involves five participants.” (Satam et al., 2016, p. 63) “The pre-test interview questions for this project is divided into two parts which are demographic information and e-learning experience.” (Satam et al., 2016, p. 64) “For the testing session, 6 task-scenarios had been designed to collect relevant data based on three categories which are user interface [18], navigation [19], [20] and information [21], [22] as depicted in Table I. All tasks for the usability testing session were developed based on a feature list namely "Web Usability Evaluation Model" (WUEM) by Manzoor and Hussain [23].” (Satam et al., 2016, p. 64) “To end the testing session, participants had to go through a posttest stage where they have to answer 17 questions. A posttest session is crucial as usability testers may ask the participants to elaborate on some particular areas to help the testers to understand the issues better [24].” (Satam et al., 2016, p. 64) 146 CATEGORIAS DEFINIÇÃO OPERACIONAL EVIDÊNCIAS (EXEMPLOS) “The instrument used for this research is a USE Questionnaire to obtain user satisfaction data.” (Hendra & Arifin, 2018, p. 239) “Measurement of usability is done by using a series of questionnaires that can process data related to effectiveness, efficiency, and satisfaction in the use of the information system.” (Hendra & Arifin, 2018, p. 240) “The population in this research is all 25 teachers who use the information system. From that population, multiple samples were taken to be respondents.” (Hendra & Arifin, 2018, p. 243) “The feasibility test of the USE Questionnaire needs to be done to ensure that the results of the questionnaire data collection are feasible to be used for analysis.” (Hendra & Arifin, 2018, p. 244) “The feasibility test of the questionnaire was conducted using two methods, namely Validity Test and Reliability Test.” (Hendra & Arifin, 2018, p. 244) 147 Anexo IV – Questionário de avaliação da usabilidade Caro Colega: no âmbito de um projeto de investigação em educação, cujo um dos objetivos é avaliar a usabilidade dos módulos existentes no SUAP no sentido de identificar as dificuldades encontradas pelos usuários no uso dos módulos na prática profissional, para a formação de pós-graduação, ouso tomar-lhe algum tempo solicitando a sua resposta junto ao questionário. As suas opiniões são muito importantes para uma reflexão criteriosa que poderão ser utilizadas em um futuro aprimoramento dos módulos avaliados. Agradecendo a sua prestimosa colaboração, envio as mais cordiais saudações. Roberto Ramos de Lima Instituto de Educação da Universidade do Minho As informações recolhidas são confidenciais e de acesso restrito à equipa de investigação. Assinale as suas respostas de acordo com as instruções fornecidas em cada questão. 148 QUESTIONÁRIO DE AVALIAÇÃO DE USABILIDADE Nome do sistema: Sistema Unificado de Administração Pública (SUAP) Módulos a serem avaliados: Estágio, Aprendizagem, Gestão de Projetos de Extensão e Pesquisa, e de Atividade Profissional Efetiva. Data: Hora de início: Hora de conclusão: Primeira impressão: Excelente Bom Indiferente Razoável Pobre Comentário geral: 149 1. EXPERIÊNCIA DO USUÁRIO 1.1 Qual módulo referente à prática profissional você utiliza? ( ) Estágio ( ) Aprendizagem ( ) Gestão de Projetos de Extensão ( ) Gestão de Projetos de Pesquisa ( ) Atividade Profissional Efetiva 1.2 Há quanto tempo você usa o módulo? 1.3 Em média, quantas vezes você acessa o módulo por semana? ( ) Menos de 1 vez ( ) 1 a 3 vezes ( ) 4 a 7 vezes  ( ) Mais de 7 vezes 2. ASPECTO VISUAL DA INTERFACE DO SISTEMA Sempre Às vezes Nunca 2.1 O layout é claro (utilização de espaços em branco, simplicidade na informação, objetividade, alinhamento de diferentes elementos do texto, contraste com o fundo) 2.2 Há palavras-chave destacadas 2.3 A organização dos elementos me permitem realizar a tarefa que eu gostaria em tempo hábil 2.4 A organização da informação na tela é clara e agradável (a fonte é adequada; o tamanho da fonte é adequado; as cores utilizadas são adequadas) Por favor, escreva seu comentário e sugestões sobre o aspecto visual na utilização do módulo. 3. NAVEGAÇÃO Sempre Às vezes Nunca 3.1 Há indicação clara da localização atual 3.2 Há uma hierarquia de navegação 3.3 A navegação é simples, sem níveis desnecessários 3.4 A navegação dispensa o botão “Voltar” do browser 3.5 Existe um campo de busca 3.6 Todas as funcionalidades tem nomes óbvios 3.7 Toda funcionalidade está disponível sem ser necessário sair do sistema 3.8 Os links/abas estão todos ativos 3.9 Há lentidão de acesso ao sistema Por favor, escreva seu comentário e sugestões sobre a navegação na utilização do módulo. 4. GESTÃO DE ERROS Sempre Às vezes Nunca 4.1 As mensagens de erro são expressas em linguagem clara e fácil compreensão 4.2 As mensagens de erro descrevem a ação correta necessária 4.3 As mensagens de erro fornecem um ponto de saída 4.4 As mensagens de erro dão informação de contatos de assistência 4.5 O sistema informa como se prevenir dos erros Por favor, escreva seu comentário e sugestões sobre os textos (palavras e termos) usados na utilização do módulo. 5. CONSISTÊNCIA Sempre Às vezes Nunca 5.1 Todas as telas do sistema exibem as informações de maneira consistente 5.2 Menus e botões são usados e aparecem de forma padronizada (mesma cor, tamanho e fonte) 5.3 A navegação é consistente ao longo de todo o sistema (Para ser consistente, é necessário que os menus, os comandos de entrada, as exibições de informação e 150 Impressão final: Excelente Bom Indiferente Razoável Pobre Comentário geral: Muito obrigado! todas as funções de uma interface possuam a mesma apresentação visual e o comportamento idênticos) Por favor, escreva seu comentário e sugestões em relação a consistência e padrões referente à utilização do módulo. 6. CONTROLE Sempre Às vezes Nunca 6.1 O sistema permite aos usuários meios para cancelar ações que não são mais desejadas 6.2 Há possibilidade de você modificar as cores do sistema 6.3 Há possibilidade de uso de atalhos 6.4 O sistema suporta os principais navegadores (Mozilla Firefox, Internet Explorer, Google Chrome) Por favor, escreva seu comentário e sugestões em relação a liberdade e controle do usuário referente à utilização do módulo. 7. CONTEÚDO Sempre Às vezes Nunca 7.1 A linguagem utilizada é simples/adequada 7.2 O texto é gramaticalmente correto 7.3 O conteúdo é suficientemente detalhado 7.4 Nos formulários, os campos obrigatórios são diferenciados dos não obrigatórios Por favor, escreva seu comentário e sugestões em relação ao conteúdo referente à utilização do módulo. 8. FEEDBACK Sempre Às vezes Nunca 8.1 O sistema mantém você informado sobre o que está fazendo 8.2 Todo feedback é imediato 8.3 Existe ajuda via chat 8.4 Existe um contato para informações Por favor, escreva seu comentário e sugestões em relação ao feedback referente à utilização do módulo. 9. FACILIDADE DE APRENDIZADO Sempre Às vezes Nunca 9.1 Há facilidade de aprender a operar o sistema 9.2 Há facilidade de relembrar nomes e comandos do sistema 9.3 O tempo de aprendizado do sistema é rápido 9.4 Novas funcionalidades do sistema são descobertas com facilidade Por favor, escreva sobre sua experiência no aprendizado na utilização do módulo. 151 Anexo V – Questionário de avaliação da satisfação SUS As informações recolhidas são confidenciais e de acesso restrito à equipa de investigação. Assinale as suas respostas de acordo com as instruções fornecidas em cada questão. QUESTIONÁRIO SUS (System Usability Scale) Nome do sistema: Sistema Unificado de Administração Pública (SUAP) Módulos a serem avaliados: Estágio, Aprendizagem, Gestão de Projetos de Extensão e Pesquisa, e de Atividade Profissional Efetiva. Data: Hora de início: Hora de conclusão: Qual módulo utiliza? Estágio Aprendizagem Extensão Pesquisa Atividade Profissional 152 Discordo completamente Discordo Neutro Concordo Concordo completamente 1 2 3 4 5 1. Eu penso que gostaria de usar este sistema frequentemente. 2. Achei este sistema desnecessariamente complexo. 3. Achei este sistema fácil de usar. 4. Eu penso que precisaria de ajuda para poder usar este sistema. 5. Achei que as várias funções deste sistema estavam bem integradas. 6. Achei que havia muita inconsistência neste sistema. 7. Eu imagino que a maioria das pessoas aprenderia a usar este sistema rapidamente. 8. Achei este sistema muito complicado de usar. 9. Eu me senti muito seguro(a) utilizando este sistema. 10. Eu precisei aprender muitas coisas antes de utilizar este sistema. Muito obrigado!