Priorização de indicadores pró-ativos operacionais em segurança e saúde ocupacionais

Cristian dos Santos Castillo Priorização de indicadores pró-ativos operacionais em segurança e saúde ocupacionais outubro 2021 Priorização de indicadores pró-ativos operacionais em segurança e saúde ocupacionais UMinho | outubro 2021 Cristian dos Santos Castillo Cristian dos Santos Castillo Priorização de indicadores próativos operacionais em segurança e saúde ocupacionais Tese de Doutoramento Programa Doutoral em Engenharia Industrial e de Sistemas Trabalho realizado sob a orientação dos Professores Doutores Pedro Miguel Martins Arezes, Mohammed Shahriari e Fabricio Casarejos outubro 2021 DIREITOSDEAUTORECONDIÇÕESDEUTILIZAÇÃODOTRABALHOPORTERCEIROS Esteéumtrabalhoacadémicoquepodeserutilizadoporterceirosdesdequerespeitadasasregrase boaspráticasinternacionalmenteaceites,noqueconcerneaosdireitosdeautoredireitosconexos. Assim, o presente trabalho pode ser utilizado nos termos previstos na licença abaixo indicada. Casooutilizadornecessitedepermissãoparapoderfazerumusodotrabalhoemcondiçõesnãoprevistas nolicenciamentoindicado,deverácontactaroautor,atravésdoRepositóriUMdaUniversidadedoMinho. Licença concedida aos utilizadores deste trabalho Atribuição CC BY ii DEDICATÓRIA Para minha mãe Rita de Cássia dos Santos Castillo, meu pai Ubirajara Silva e minha irmã Cristiane dos Santos Castillo, por serem os alicerces da minha vida e do meu doutoramento. Para meu pai Cristian Enrique Castillo Zúñiga (In memorian), por ser meu grande anjo protetor. Para os familiares brasileiros e guatemaltecos, por todo o amor de seus corações. Para os amigos brasileiros e portugueses, pelo apoio fraternal. AGRADECIMENTOS Ao orientador Prof. Pedro Arezes pelos imprescindíveis contributos científicos em todos os momentos do doutoramento e pelo seu lado humano. Ao Prof. Fabricio Casarejos por aceitar o desafio de me co-orientar com grande dedicação. Ao Prof. Pedro Domingues pelo apoio providencial no desenvolvimento da tese. Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) do governo brasileiro por financiar os meus estudos no exterior. Ao Prof. Maurício Frota por confiar na minha capacidade de realizar o doutoramento no exterior. Ao amigo Fernando Oliveira (In memorian) pela indicação da Universidade do Minho e do orientador Prof. Pedro Arezes. Ao Prof. José Gerpe por tornar o texto da tese mais compreensível ao leitor. Ao Prof. Fabricio Biazotto pelas sugestões de cunho estatístico. Ao Cristiano Tavares e Daniel Villote pelo suporte profissional quanto à diagramação e formatação da tese. Aos professores do grupo de pesquisa em Ergonomia & Fatores Humanos e demais trabalhadores da Universidade do Minho pela formação de excelência e por viabilizar os serviços acadêmicos. iii DECLARAÇÃO DE INTEGRIDADE Declaro ter atuado com integridade na elaboração da presente tese. Confirmo que em todo o trabalho conducente à sua elaboração não recorri à prática de plágio ou a qualquer forma de falsificação de resultados. Mais declaro que tomei conhecimento integral do Código de Conduta Ética da Universidade do Minho. Universidade do Minho, Cristian dos Santos Castillo Assinatura: iv RESUMO Enquanto stakeholders ainda têm expectativas sobre uma melhor prevenção de lesões e doenças, e sobre a melhoria das condições de trabalho, sugere-se que novas abordagens sejam agora necessárias para garantir a efetividade de sistemas de gestão de segurança e saúde ocupacionais. Estas abordagens incluem o desenvolvimento de novos métodos que facilitariam a medição do estado pró-ativo operacional do sistema de gestão de segurança e saúde ocupacionais destinada à genuína melhoria das práticas em segurança e saúde ocupacionais. Este estudo trata da construção e verificação de uma ferramenta contendo indicadores pró-ativos operacionais em segurança e saúde ocupacionais, com o objetivo principal de priorizar tais indicadores em função da opinião consensual de grupos de peritos em segurança e saúde ocupacionais. O estudo incluiu uma identificação destes indicadores na literatura especializada, e com uma lista reduzida destes indicadores, realizou-se um estudo focado na análise dos principais indicadores que possuam comprovada aplicabilidade empresarial. O método Delphi foi aplicado para esta lista gerenciável a fim de priorizar os indicadores através de 3 rondas, um consenso foi obtido sobre quais indicadores são mais pertinentes para os grupos individuais de peritos e os que são importantes para todos os grupos. Esta ferramenta permite que cada empresa possa personalizar os indicadores que sejam mais apropriados para sua própria realidade ao considerar o relatório destes indicadores. Esta ferramenta pode ser parte de um modelo de safety dashboard que é baseado no princípio do balanced scorecard e considera apenas os indicadores mais importantes, isto é, os que resultam de um consenso alargado através dos peritos. v ABSTRACT While stakeholders still have expectations concerning better prevention of injuries and diseases and the improvement of working conditions, it is suggested that new approaches are now necessary to ensure the effectiveness of an occupational safety and health management system. These approaches include the development of new methods that would facilitate the measurement of the proactive operational status of the occupational safety and health management system aimed at the genuine improvement of occupational safety and health practices. This study addresses the development of a tool that contains leading operational indicators in occupational safety and health, with the main objective of prioritizing these indicators according to the consensual opinion of groups of experts in the occupational safety and health field. The study included an identification of these indicators in the specialized literature, and with a short list of these indicators, a study was performed focused on the analysis of the main indicators that have proven to be applicable in companies. The Delphi method was applied to this manageable list to prioritize the indicators through three rounds, and a consensus was obtained on which indicators are most relevant, both for each individual group of experts and for all experts. This tool allows each company to customize the indicators that are most appropriate for its own reality by considering the report of these indicators. This tool can be a part of a safety dashboard model that is based on the balanced scorecard principle and considers only the most relevant indicators, that is, those resulting from a broad consensus among experts. vi ÍNDICE GERAL DEDICATÓRIA.......................................................................................................................III AGRADECIMENTOS.............................................................................................................III RESUMO.................................................................................................................................V ABSTRACT............................................................................................................................VI LISTA DE SIGLAS..................................................................................................................IX ÍNDICE DE FIGURAS............................................................................................................XI ÍNDICE DE TABELAS...........................................................................................................XII 1 INTRODUÇÃO E OBJETIVOS............................................................................................1 1.1 INTRODUÇÃO AO TEMA DE PESQUISA...........................................................................1 1.2 PROBLEMA DE PESQUISA E OBJETIVOS.........................................................................4 1.3 ESTRUTURA DA TESE.....................................................................................................8 PARTE I - REVISÃO BIBLIOGRÁFICA...................................................................................9 2 INDICADORES PRÓ-ATIVOS DE DESEMPENHO EM SEGURANÇA E SAÚDE OCUPACIONAIS...................................................................................................................10 2.1 CULTURA DE SEGURANÇA...........................................................................................10 2.2 ESTRUTURA DE GOVERNANÇA EM FATORES HUMANOS E ORGANIZACIONAIS.............15 2.3 MEDIÇÃO DE SEGURANÇA OU DE RISCO.....................................................................25 3 DESEMPENHO ACEITÁVEL MÍNIMO EM SEGURANÇA E SAÚDE OCUPACIONAIS..28 3.1 COMPARAÇÃO ENTRE ESTRUTURAS INTERNAS DAS ORGANIZAÇÕES..........................28 3.1.1 Fatores humanos ou ergonômicos.........................................................................28 3.1.2 Segurança, saúde e ambiente................................................................................33 3.1.3 Saúde, segurança, ambiente e ergonomia..............................................................37 3.2 DIAGNÓSTICO DE MELHORES PRÁTICAS......................................................................39 3.3 CONCEITOS SIMILARES ENTRE AS POSSÍVEIS COMBINAÇÕES DAS ESTRUTURAS INTERNAS..........................................................................................................................40 4 SELEÇÃO DE INDICADORES PRÓ-ATIVOS OPERACIONAIS EM SEGURANÇA E SAÚDE OCUPACIONAIS......................................................................................................42 vii ÍNDICE DE ANEXOS ANEXO 1................................................................................................................................a1 ANEXO 2................................................................................................................................a3 ANEXO 3................................................................................................................................a8 ANEXO 4..............................................................................................................................a18 xiv 1 INTRODUÇÃO E OBJETIVOS 1.1 INTRODUÇÃO AO TEMA DE PESQUISA Esta tese de doutoramento e o projeto que lhe esteve associado tratam da construção e verificação de uma ferramenta contendo indicadores pró-ativos operacionais em Segurança e Saúde Ocupacionais (SSO), à luz da literatura especializada e de sua aplicabilidade empresarial, com o objetivo principal de priorizar tais indicadores em função da opinião consensual de grupos de peritos em SSO. O termo cultura será utilizado inúmeras vezes ao longo deste trabalho, em vista disso, torna-se imprescindível situá-lo ao longo da existência humana. Na antiguidade, esta noção foi inicialmente usada como um sistema de cultivo. Cicero (103 - 43 AC) a usou como uma nomenclatura para filosofia - cultura amini - cultivo cerebral. Mais tarde, cultura significava cultivar, aperfeiçoar atividades ou obras do tipo humanas. No século XVIII, a noção de cultura fazia referência à vida mental de um homem e ao desenvolvimento de arte e conhecimento. No século XIX, o termo cultura foi usado com o mesmo sentido da palavra civilização. No século XX, houve uma generalização de conceitos em que cultura poderia ser um sistema de valores, normas e ideais (Gabryelewicz et al., 2015a). Atualmente, cultura é entendida de uma maneira mais complexa, ou seja, ela é tanto um sistema de valores, normas e ideais quanto processos de produção científica, artística ou técnica e de produtos civilizacionais, o que significa que cultura é vista como todo o trabalho material e / ou espiritual do tipo humano na história (Gabryelewicz et al., 2015a). Outro termo constante neste trabalho é segurança, sendo definida como um estado psicológico contrário à ameaça e ansiedade, não esquecendo que a percepção de risco é sempre um julgamento subjetivo. Ela é também a ausência do sentimento de estar sendo ameaçado, não apenas em termos de um indivíduo, mas da sociedade como um todo, nação, ou um grupo social, família. Segurança fornece a confiança de que a ameaça não irá ocorrer como um resultado de eventos randômicos, tanto daqueles que podem ser previstos quanto dos que não podem. O homem que se sente seguro é mentalmente calmo. Segurança é uma das necessidades mais cruciais do homem e satisfazer essas necessidades permite o crescimento pessoal, emocional e mental apropriado (Gabryelewicz et al., 2015a). 1 Entre os anos de 1980 e 1990, a Europa enfrentou uma recessão. Embora as empresas tivessem investido em novas tecnologias, em melhorias na linha de produção e em modernização, não houve efeitos perceptíveis. Entretanto, os gestores não perceberam tais obstáculos nas empresas japonesas, o que conduziu à análise dos sucessos fora da Europa. O primeiro fato observado foi a diferença cultural, por exemplo, a abordagem visando a atmosfera no trabalho, a forte ligação de unidade e uma filosofia diferente de trabalho. Sem dúvida, um dos fatores cruciais foi a adoção da filosofia de Deming pelas empresas japonesas. Deming anunciou que 94% de todos os problemas que ocorrem no trabalho se devem a uma falha do conselho de gestão. Aqueles que fazem as organizações funcionarem devem ter em mente que as decisões devem ser tomadas em conjunto com os trabalhadores. O autor foi fortemente contrário ao controle e a gestão baseada em objetivos e resultados; e a sua abordagem visando a qualidade total foi definida em 14 pontos (Gabryelewicz et al., 2015a). Nas regras de Deming (1986) existe uma clara ênfase sobre a atmosfera no trabalho, em criar o sentido de unidade, em justiça, em necessidade de cooperação em todos os níveis da estrutura da empresa, em nivelar em um mesmo plano a estrutura organizacional e eliminar os medos. Estas regras podem ser percebidas como as fundamentações da cultura de segurança, os dois termos inicialmente abordados no presente estudo. Considera-se que o primeiro uso desta noção de cultura de segurança ocorreu após a catástrofe na planta de energia nuclear de Chernobyl, em 1986 (Ucrânia) (Gabryelewicz et al., 2015a; Shahriari, 2013). A comissão nomeada para encontrar a causa deste acidente declarou como a primeira causa uma baixa cultura de segurança na planta. A partir deste momento, termos como baixa e elevada cultura de segurança têm sido usados com bastante frequência. Além disso, na análise de catástrofes ou acidentes no trabalho, a cultura de segurança tem sido usada como a causa de discrepâncias que conduzem a acidentes. Desde então, a literatura especializada tem usado várias definições de cultura de segurança, em que se destaca aquela utilizada como “estrutura da organização” (Gabryelewicz et al., 2015a). As Estruturas Internas das Organizações em Segurança e Saúde Ocupacionais (EIOSSO) adotadas em tese são: Fatores Humanos ou Ergonômicos; Segurança, Saúde e Ambiente; e Saúde, Segurança, Ambiente e Ergonomia. Segundo Guldenmund (2010), esta abordagem mais recente sobre cultura de segurança é baseada em um dos aspectos principais da cultura como ser usada para interpretar experiências 2 e gerar comportamentos. O objetivo da abordagem de Guldenmund é entender as interações entre as características psicológicas compartilhadas de um grupo (cultura) e outros elementos do sistema de trabalho; no intuito de projetar sistemas (incluindo a gestão) ou estruturas organizacionais, as quais otimizam o desempenho em segurança (Edwards et al., 2013; Edwards et al., 2015; International Ergonomics Association [IEA], 2003). É desejado e esperado que a cultura de segurança atribua elevado valor à segurança (plenitude de vida) e à saúde. Formar tal cultura em uma empresa requer novas atitudes e valores, além da cooperação de todos os membros do grupo. Tais ações visam conscientizar trabalhadores a eliminar o excesso de risco no trabalho e a serem mais focados em segurança e saúde. Além de convencê-los a se tornarem intimamente motivados a operar elementos dos sistemas de gestão, caso contrário, tais elementos são apenas uma mera formalidade. Deve-se buscar esta motivação com o intuito de satisfazer, sustentavelmente, as demandas de melhoria dinâmica e contínua destes sistemas de gestão. Uma forte cultura de segurança é definida pelo sentido de auto responsabilidade de cada funcionário com relação a ocorrência de assuntos de segurança em todos os momentos do trabalho (Geller, 1996; Jasiulewicz-Kaczmarek & Drozyner, 2013; Shahriari, 2013). Para alcançar um controle de segurança holístico dentro de uma organização as abordagens tecnológicas (até 1940), comportamental / erro humano (entre 1940 e 1960), e sócio-técnica (entre 1960 e 1980) precisam ser consideradas, incluindo cultura (Pillay, 2014). Em uma atuação holística, quando um sistema sociotécnico detecta que uma situação de risco está em desenvolvimento, este muda rapidamente para um modo mais flexível e resiliente visando lidar com o inesperado (Abraha & Liyanage, 2014). Do ano 2000 em diante, a redução destes índices só pode ser obtida através da abordagem sofisticada sobre resiliência (Pillay, 2014), a qual será incorporada aos aspectos culturais neste estudo. Uma estratégia para evitar acidentes é estar continuamente vigilante através do uso de indicadores. Frequentemente, retrospectivas mostraram que se sinais ou alertas precoces tivessem sido detectados e gerenciados de forma antecipada, o evento indesejado poderia ter sido evitado. Indicador pró-ativo envolve atividades implementadas antes que um mau funcionamento ocorra e fatores que criam segurança, ou seja, indica falhas no sistema de controle de risco durante verificações de rotina. Reconhecer sinais / alertas precoces por intermédio do uso de indicadores de segurança pró-ativos reduz, por isso, o risco de ocorrência 3 dos principais acidentes (Abraha & Liyanage, 2014; Øien et al., 2011a; Øien et al., 2011b; Reason, 1997). Os indicadores de desempenho não substituem um programa de auditoria. São uma atividade complementar que contribui para uma informação mais frequente e suplementar sobre o desempenho do sistema, em que todo o desenvolvimento de indicadores ocorre em um contexto específico. Como não há um modelo ou método universal para o desenvolvimento de indicadores de risco ou segurança, capazes de representar os fatores humano-técnico-organizacional, o uso de diversos métodos diferentes fornecerá o conjunto mais apropriado dos indicadores pró-ativos de segurança a serem propostos nesta pesquisa (HSE & Chemical Industries Association [CIA], 2006; Øien et al., 2011a). Sistemas de Gestão em Segurança e Saúde Ocupacionais (SGSSO) foram implementados em numerosas empresas no mundo desde 1980. Enquanto stakeholders ainda têm expectativas sobre uma melhor prevenção de lesões e doenças, e sobre a melhoria das condições de trabalho, sugere-se que novas abordagens sejam agora necessárias para garantir a efetividade de SGSSO. Incluindo o desenvolvimento de novos métodos que facilitariam a medição do estado operacional do SGSSO destinada à genuína melhoria das práticas em SSO (Podgórski, 2015). 1.2 PROBLEMA DE PESQUISA E OBJETIVOS A estrutura de governança em fatores humanos e organizacionais envolve os aspectos do regime regulatório, sistema de gestão de segurança, comunicação e conformidade. Segurança e produção são dois dos principais outputs da combinação entre a estrutura de governança mencionada e o modelo de desvio prático, ou “ Practical Drift Model ” (Snook, 2000). A fronteira de desempenho aceitável (seguro e efetivo) em segurança e produção deve enfatizar as atividades internas das organizações / sistemas em que estão compreendidos os fatores humano-técnico-organizacional. Apesar desta fronteira ser permeável à influência dos fatores contextuais externos complexos e dinâmicos (Abraha & Liyanage, 2014). Métricas baseadas no histórico de lesões ou doenças nas empresas devem ser adotadas como critério para diagnosticar a efetividade de programas de Segurança e Saúde Ocupacionais (SSO), permitindo avaliar o sucesso dos mesmos (Asadzadeh et al., 2013; Rasmussen, 2000; Wurzelbacher & Jin, 2011). A efetividade de tais programas deve ser avaliada em um contexto mais amplo (Kleiner, 2006; Rasmussen, 2000), pois estes influenciam outros indicadores de desempenho relativos aos trabalhadores, tais como: satisfação no trabalho (Azadeh et al., 2011); 4 estresse no trabalho (Azadeh et al., 2013c); carga de trabalho mental (Azadeh et al., 2013b); produtividade do trabalhador, taxa de acidente e satisfação geral no trabalho (Asadzadeh et al.,2013); estresse ocupacional causado pelas demandas no trabalho (García-Herrero et al., 2013); e atendimento aos requisitos das normas dos sistemas de gestão. Tais normas são o Occupational Health and Safety Assessment Series (OHSAS) 18001: 2007 e publicada oficialmente pela British Standards Institution (BSI); esta norma foi retirada e substiuída pela ISO 45001: 2018, dispondo as organizações certificadas de um período de migração para uso da ISO (previsto até março de 2021); compatível com a International Organization for Standardization (ISO) 14001: 2015 que é a norma sobre o sistema de gestão ambiental e a ISO 9001: 2015 que trata-se da norma do sistema de gestão da qualidade (Azadeh et al., 2013a; Medeiros, 2019). Ao considerar os fatores estreitamente relacionados com a Segurança, Saúde, Ambiente e Ergonomia (SSAE), uma organização gerencia para regular, padronizar e otimizar suas operações visando colocar em primeiro lugar a SSO em relação aos demais fatores (Asadzadeh et al., 2013; Azadeh et al., 2008a; Changchit & Holsapple, 2001; Chen & Yang, 2004); seja para todos os trabalhadores, seja para o público em geral. As avaliações de desempenho de trabalhadores sobre SSAE são fundamentais para o planejamento da gestão e o controle das atividades. Sendo assim, têm recebido significativa atenção por parte dos praticantes de gestão e teóricos (Azadeh et al., 2015). SSO são artefatos que constituem o núcleo da cultura de segurança. Portanto, definidos como conceitos genéricos que podem ser adequadamente representados, de forma inédita neste estudo, pelos indicadores de desempenho pró-ativos (ou elementos-chave) da cultura de segurança como uma forma de Fatores Humanos ou Ergonômicos (FHE) em nível de grupo (Edwards et al., 2013). A capacidade de interpretar a experiência em SSO é demonstrada mais fortemente pelos trabalhadores nas lógicas operacionais de ação baseadas em tarefas adaptadas aos contextos específicos, ao invés de baseadas em regras formais, atendendo ao modelo de desvio prático (Snook, 2000). Programas convencionais em Segurança, Saúde e Ambiente (SSA) procuram diminuir lesões no local de trabalho, problemas de saúde e efeitos danosos ao ambiente. Adicionalmente, a aplicação efetiva de fatores ergonômicos no trabalho pode criar um equilíbrio entre operadores humanos e projeto de trabalho. Tais fatores devem conduzir a um aumento da produtividade do 5 trabalhador e à criação da segurança melhorada (física e mental) do mesmo (Azadeh et al., 2015). Acredita-se que defeitos ergonômicos na indústria são a principal causa de riscos para a saúde em locais de trabalho, baixos níveis de segurança e redução da produtividade dos trabalhadores (Champoux & Brun, 2003). Embora as aplicações ergonômicas tenham alcançado um ímpeto significativo em países desenvolvidos, o conhecimento se mantém baixo em países em desenvolvimento (Azadeh et al., 2008a). Além de existir um baixo nível de aceitação e poucas utilizações industriais (Azadeh et al., 2015), o que justifica a aplicação desta tese em profissionais que estejam relacionados ao ambiente industrial em Portugal (como um exemplo de país desenvolvido) e Brasil (como um exemplo de país em desenvolvimento). O sistema integrado SSAE introduz um mecanismo sistemático, o qual integra a estrutura dos sistemas humano e organizacional (relativa à Fatores Humanos ou Ergonômicos - FHE) com um convencional sistema SSA. Utilizado para: melhorar trabalho em equipe, aumentar a confiabilidade e disponibilidade, facilitar a manutenção e segurança (Azadeh et al., 2008b; Azadeh et al., 2009; Azadeh et al., 2010); encorajar trabalhadores a adotarem um estilo de vida seguro e saudável; contribuir para a ecoeficiência ao reduzir continuamente o consumo de energia e o desperdício; projetar e desenvolver produtos para ter influência adversa mínima sobre o ambiente ao longo do ciclo de vida destes; e otimizar a relação entre operador e máquina de modo que o operador se depare com menos fadiga e tenha o máximo de eficiência (Azadeh et al., 2008a, Changchit & Holsapple, 2001; Chen & Yang, 2004). O projeto de sistemas ocupacionais complexos e dinâmicos inclui processos de interação entre os usuários e as interfaces do sistema, abrangendo as atividades internas das organizações. Este projeto requer um melhor entendimento de como as pessoas realizam suas tarefas visando reduzir o gap entre o modelo teórico de sistemas e o modelo de uso, ou seja, com o intuito de aumentar a usabilidade (facilidade de utilização) por intermédio da sinergia entre FHE e Engenharia Cognitiva (EC) (Dul et al., 2012; Norman & Draper, 1986; Preece et al., 2002; Wilson et al., 2013). Nesse sentido, o estudo de Castillo & Arezes (2013) indica que a complementaridade teórica bem-sucedida entre FHE e EC tem grande potencial, ainda pouco explorado, para garantir um ambiente que seja apropriado para o humano e para o projeto / operação de sistemas homemmáquina. 6 Neste contexto, este trabalho de pesquisa busca responder à seguinte questão central: “Como focar na análise dos principais indicadores pró-ativos operacionais ligados à SSO?”. Para responder a essa questão, formularam-se as seguintes questões específicas: i Como fundamentar o desenvolvimento de indicadores pró-ativos em SSO que exibam um desempenho aceitável nas empresas? ii Como utilizar os indicadores comuns entre as EIOSSO como base para desenvolver os itens de um questionário sobre cultura de segurança? iii Como construir e verificar um instrumento de medição que possua indicadores próativos operacionais em SSO nas seguintes seções: política, organização, planeamento e implementação, avaliação, ações para melhoria, desempenho organizacional e cultura de segurança? iv Como priorizar os indicadores pró-ativos operacionais em SSO, ou itens de um questionário, a ser utilizado pelas empresas? v Qual o intuito da priorização supracitada em termos de aplicabilidade empresarial? Em resumo, o objetivo geral deste trabalho é identificar os indicadores pró-ativos operacionais em SSO à luz da literatura especializada e de sua aplicabilidade empresarial. Como estratégia de consolidação desse objetivo geral, os seguintes objetivos específicos foram definidos: Identificar na literatura os números de referência e suas definições citadas nos conceitos similares entre as combinações das EIOSSO e questionários validados sobre indicadores pró-ativos em SSO; Selecionar indicadores para medir o grau de desempenho de especialistas sobre a cultura de segurança como uma forma de Fatores Humanos ou Ergonômicos em nível de grupo; Combinar indicadores listados a partir dos questionários validados na literatura com aqueles que foram selecionados no estudo sobre a cultura de segurança desenvolvido nos dois primeiros objetivos específicos, enquadrando seções aos respectivos itens próativos operacionais em SSO de um questionário verificado nesta tese; Fazer um estudo com o método Delphi, com vários grupos de especialistas em SSO, identificando as maneiras de obtenção de um consenso sobre quais os itens do 7 questionário elaborado são mais pertinentes para estes grupos e os que são importantes para todos; Demonstrar como os itens priorizados do questionário elaborado podem ser utilizados para o desenvolvimento de um modelo de “ safety dashboard ”, que parta do princípio do “ Balanced Scorecard ”. 1.3 ESTRUTURA DA TESE A tese é dividida em duas partes, em que a primeira parte trata da revisão bibliográfica e a segunda parte aborda o trabalho efetivamente desenvolvido. Os capítulos 2, 3, 4 e 5 descrevem os fundamentos básicos e os principais referenciais teóricos sobre: indicadores pró-ativos de desempenho em SSO; desempenho aceitável mínimo em SSO; seleção de indicadores pró-ativos chave em SSO referente à obtenção de 20 indicadores operacionais principais (redução de 109 indicadores originais); e SSO e o Balanced Scorecard . O capítulo 6 versa sobre metodologia, apresenta o conteúdo relativo à revisão da literatura especializada; o procedimento da pesquisa; o desenvolvimento do questionário “Importância dos Indicadores Pró-ativos em SSO”, sendo este concebido para fundamentar o desenvolvimento da pesquisa, cujos 6 indicadores selecionados sobre cultura de segurança serão adicionados aos 28 indicadores pró-ativos chave ligados à SSO encontrados na literatura e que resultarão em uma lista mais gerenciável de 34 indicadores próativos operacionais; justificativa para aplicação do método Delphi; e tratamento e análise dos dados. O capítulo 7 apresenta os dados, a análise e a discussão dos resultados da pesquisa. Ao término do capítulo, e partindo da lista gerenciável de 34 indicadores, faz-se a análise dos principais indicadores a serem utilizados pelas empresas. O que permite que as mesmas realizem uma personalização dos indicadores que são mais apropriados para todos os grupos de especialistas e cada grupo individual em SSO. Demonstrando como os itens priorizados do questionário elaborado podem ser utilizados para o desenvolvimento de um modelo de “ safety dashboard ”, que parta do princípio do balanced scorecard . Por fim, o capítulo 8 apresenta as conclusões e encaminha propostas para desdobramentos futuros da pesquisa. 8 PARTE I - REVISÃO BIBLIOGRÁFICA 9 gestão desenvolvem ao longo do tempo traços que podem conduzir a sérios incidentes e acidentes. O MDP enfatiza primeiramente como diferentes graus de “atenção plena” variam de situação para situação, e como sistemas organizacionais desenvolvem tanto acoplamentos justos quanto folgados ao longo do tempo. O principal objetivo do modelo é capturar tanto os fatores contextuais quanto os temporais em explanações da razão para os incidentes e acidentes ocorrerem. Conforme mostrado na figura 3, Snook (2000) captura três dimensões em seu MDP: acoplamento situacional, lógicas de ação e tempo. Acoplamento situacional (eixo vertical) indica organizações que alternam entre acoplamentos justos e folgados como uma relação de dependência entre diferentes unidades que variam em força. Observa-se que estes são os mesmos conceitos que Perrow usa na sua análise de TAN (Perrow, 1984). Entretanto, diferentemente de Perrow, Snook foca sobre a natureza dinâmica do acoplamento. A interdependência de unidades muda ao longo do tempo, assim como, a organização tem de manusear diferentes situações. A segunda dimensão no MDP é a lógica de ação, a qual é descrita como sendo “lógicas baseadas em regras” ou “lógicas baseadas em tarefas”. As “lógicas de ação” são os roteiros, as normas e as rotinas através das quais as pessoas mudam de acordo com os fatores contextuais. Pessoas se movem para trás e adiante a partir das lógicas de ação baseadas em regra e em tarefa dependendo do contexto em que elas mesmas se encontram. Quando organizações desenvolvem seus próprios traços culturais, a independência é reforçada por uma adaptação local adicional de padrões. Tal liberação pode conduzir a uma melhoria da expertise e conhecimento tácito local, mas este conhecimento pode não harmonizar necessariamente com a estrutura de governança e o propósito do sistema de segurança. Conformidade é um conceito chave aqui. Ausência de conformidade não é devida a discrepâncias, mas é uma consequência de interpretação local de documentação vigente e lógica de ação baseada em tarefa (ou seja, conformidade deve ser entendida contextualmente). A terceira dimensão é o tempo. As setas através dos quatro quadrantes implicam em um ciclo de tempo. Cada quadrante representa um diferente estado de estabilidade da organização que é baseado na pressão do acoplamento situacional atual e nas lógicas de ação que estão se posicionando. 16 Quadrantes 1 e 3 indicam um estado de estabilidade, ou seja, a lógica de ação corresponde à situação. Quadrantes 2 e 4 representam instabilidade, em que a lógica baseada em regra não corresponde a um acoplamento folgado, e a ação baseada em tarefa não corresponde a um acoplamento justo. Cada quadrante descreve um ponto no tempo onde a organização pausa (algumas vezes por anos) no fluxo natural de transição de um quadrante ao outro e transporta um rótulo (Snook, 2000). 17 Figura 3 - Modelo de Desvio Prático (MDP) (adaptado de Abraha & Liyanage, 2014) Quadrante 1 é rotulado como “Projetado” indicando, por exemplo, que a organização está no estágio de planejamento. Membros seguem as regras em um ambiente de acoplamento justo. Quadrante 2 descreve uma organização “Engenherada” na qual a organização está operando como projetado (ou seja, seguindo as regras), apesar da situação ser de acoplamento folgado. No quadrante 3, rotulado “Aplicado”, membros da organização consideram uma abordagem pragmática ao aplicar as regras e tornar-se mais baseada em tarefa. Finalmente, no quadrante 4, rotulado “Falhado”, as operações baseadas em tarefas não se alinham com uma organização de acoplamento justo. É neste ponto no ciclo que uma organização tem mais chance de experimentar um evento significativo. A representação na figura 4 conecta o MDP aos aspectos dos Fatores Humanos e Organizacionais (FHO) de comunicação, gestão, conformidade e regime regulatório. A lógica do modelo é a seguinte: nos estágios iniciais, a organização será caracterizada pela estrutura de gestão top-down , onde a comunicação e conformidade com regras / procedimentos e o projeto organizacional implementado para as várias unidades subordinadas estão em foco. Quando a organização entra no “modo de operação prática”, tanto comunicação quanto conformidade pioram. As unidades locais se adaptarão e desenvolverão variedades específicas de locação dos procedimentos de gestão gerais, e a comunicação deles se dará numa base mais informal entre colegas e unidades subordinadas. Informação importante da gestão pode então ser suficientemente enfatizada, e importantes rotinas podem ser modificadas ou eliminadas, as quais terão implicações para a produção e segurança. 18 Equipes operacionais e organizações são dinâmicas, isto é, elas são influenciadas por fatores de desempenho internos e externos. Adquirir nova tecnologia, uma nova liderança, novos procedimentos, novas regulamentações, pressões econômicas, interação com várias outras organizações, e assim por diante, tem alguns efeitos sobre cada um dos FHO das organizações a fim de ajustar o comportamento destes fatores. Tal dinamismo pode aumentar ou diminuir a complexidade e / ou os acoplamentos justos ou folgados. Isto é importante manter em mente ao estudar os FHO com relação ao risco e segurança. Lições que podem ser extraídas do estudo de Abraha & Liyanage (2014) é que, falhas no sistema se desenvolvem no decorrer de longos períodos de tempo, envolvem muitas pessoas e organizações, e resultam de uma sequência de múltiplos mau funcionamentos que se combinam para resultar em falhas de elevada consequência. Quando operando em uma indústria de elevado risco, como a indústria do petróleo, comunicação é a essência para garantir que todos têm o mesmo entendimento sobre as questões de segurança crítica. A lógica de ação deve ser consistente com a situação, e deve ser alta e clara para todas as partes na operação. 19 Figura 4 - Estrutura de governança em fatores humanos e organizacionais e modelo de desvio prático (adaptado de Abraha & Liyanage, 2014) Sem comunicação, a qual Champoux (1999) estabeleceu que envolve compartilhamento de informação, feedback , integração, persuasão, emoção e inovação, organizações não tem nenhum indício se elas têm a mesma visão e conhecimento de uma situação ou operação. Todos os acidentes mencionados em Abraha & Liyanage (2014) mostram que a comunicação falhou, seja dentro da organização ou na interface entre as organizações. Existe uma necessidade de focar em sistemas de comunicação para garantir que todos os envolvidos têm a mesma informação disponível em todos os momentos. Aplicar o conceito de “atenção plena” como interpretado em estudos de OAC (Thorogood, 2012), com suas cinco características (isto é, preocupação com falha, relutância para simplificar, sensibilidade para operações, comprometimento com resiliência e deferência ao expertise ) ajuda a melhorar a comunicação formal entre subunidades na organização, outras organizações, com a gestão e o regulador, e outros fatores externos. Operações avançadas em indústrias de Petróleo e Gás são caracterizadas como de elevado risco, dinâmicas e de sistemas complexos onde os resultados não são necessariamente preditos a partir de simples relações de causa e efeito. Acidentes nestas indústrias envolvem processos complexos, onde a avaliação de risco não tem sido sistematicamente explorada em uma base ampla e envolvendo stakeholders relevantes. Então, o caminho a seguir é desenvolver abordagens sistêmicas tais como as apresentadas na figura 5, no intuito de visualizar os fatores de influência de desempenho externos e internos. Essa representação na figura 5 inclui fatores internos (tecnologia relacionada, processos de trabalho, aspectos humanos relacionados, cultura de segurança, estrutura organizacional) e fatores externos (fatores econômicos e de mercado, conhecimento científico, regulamentações e sociedade civil). Com esta abordagem pode-se impulsionar o conhecimento sobre a natureza dinâmica dos riscos e os fatores de influência de risco. Esta abordagem holística deve cobrir três aspectos: (i) um processo contínuo de monitoramento para identificar perigos e oportunidades; (ii) predizer cenários de risco usando uma variedade de técnicas em um amplo sentido; e (iii) usar aprendizagem organizacional para lucrar a partir de lições passadas (sucessos e falhas). 20 Nesta abordagem, quando um sistema sociotécnico detecta que uma situação de demanda está em desenvolvimento, este muda rapidamente para um modo mais flexível e resiliente visando lidar com o inesperado. As duas deficiências usuais, ou seja, falha de previsão e falha de aprendizagem poderiam ser evitadas. Entendimento completo de perigos e riscos é possível pela integração de diferentes e interrelacionados elementos humano-técnico-organizacional (LindØe & Signe, 2011), como um processo contínuo que contempla os fatores contextuais externos complexos e dinâmicos. Um número crescente de investigações sobre acidentes envolvendo sistemas sociotécnicos complexos de segurança crítica agora se concentram em melhorar a “geração de relatórios sobre cultura” das organizações para aumentar ainda mais a segurança. Um relatório sobre cultura é um subconjunto da cultura de segurança, onde todos os trabalhadores são abertamente e honestamente dispostos a relatar quase acidentes, tais como precursores de 21 Figura 5 - Perspectiva de sistema aberto: fatores de desempenho internos e externos que influenciam segurança e desempenho (adaptado de Abraha & Liyanage, 2014) acidentes ou predeterminados indicadores pró-ativos (Reason, 1997). Para organizações que gerenciam sistemas complexos, relatórios de quase acidentes podem fornecer uma oportunidade valiosa para aprender e melhorar a segurança, especialmente para sistemas complexos ultraseguros como aviação, nuclear, médico, ferrovia de alta velocidade, ou canteiros de obras com excelentes registros de segurança, onde as ocorrências de acidentes/incidentes são relativamente raras (Bugalia et al., 2019). No entanto, as discussões acadêmicas sobre os fatores que influenciam os quase acidentes relatam que o comportamento e a cultura dos funcionários em uma organização estão longe de serem resolvidos. Um crescente corpo de literatura tem enfatizado os efeitos positivos da liderança da gestão na promoção do comportamento seguro de funcionários, incluindo relatórios comportamentais. No entanto, para esses estudos, deve-se orientar adequadamente a tomada de decisão organizacional, em que os mecanismos específicos e contextos que levam ao desenvolvimento e sustentação de tais comportamentos, ainda precisam ser melhor compreendidos (Aburumman et al., 2019; Bamel et al., 2020). Consequentemente, vários estudos garantiram a adoção de uma perspectiva do pensamento sistêmico que considera as interações entre os fatores para entender a cultura de relatórios. Por exemplo, com base em uma abrangente revisão de modelos teóricos para cultura de segurança (e como um subconjunto generalizável para a cultura de relato), Vierendeels et al. (2018) enfatizaram a importância da interação e dinamismo entre os fatores técnico (procedimento, treinamento e comportamentos), organizacional (liderança, compromisso de gestão e comunicação), e o domínio humano (atitudes, habilidades e percepções do indivíduo) para descrever adequadamente a cultura de segurança de uma organização e subseqüentes atividades de relatório. Da mesma forma, Hasanspahić et al. (2020) destacaram a importância de tais interações dinâmicas entre vários fatores que governam o comportamento de relatórios de quase acidentes. Enquanto o consenso está emergindo sobre estruturas teóricas que enfatizam as interações essenciais entre os fatores para descrever as culturas de segurança, os desafios permanecem para traduzir esses modelos teóricos em ferramentas práticas (Vierendeels et al., 2018). Vários estudos baseiam-se em abordagens quantitativas utilizando dados primários de questionários tipo survey para capturar as interações entre vários fatores que afetam os relatórios comportamentais. No entanto, muitas vezes esses estudos são limitados pelos preconceitos e erros inerentes na coleta de dados e sua incapacidade de capturar os efeitos de fatores contextuais subjacentes. Além disso, tais abordagens quantitativas, muitas vezes fornecem um 22 instantâneo estático das decisões de gestão ou organizacionais sobre cultura de segurança e, portanto, são limitados em sua capacidade de considerar a dinâmica subjacente de interações. Por outro lado, em profundidade, estudos qualitativos sobre o tema destacam uma série de fatores contextuais, consomem muitos recursos e são difíceis de generalizar no sistema, portanto, muitas vezes resultando em conhecimento fragmentado e com falta de implicações práticas (Duryan et al., 2020; Hopkins, 2019). Portanto, a necessidade do momento atual é assimilar o qualitativo e o quantitativo, com observações informando modelos teóricos sobre cultura de segurança (ou seja, relatórios de quase acidentes) para desenvolver ferramentas que possam apoiar a tomada de decisões práticas (Vierendeels et al., 2018). Sistemas Dinâmicos (SD) é um método bem estabelecido para analisar comportamentos de sistemas complexos devido a interações dinâmicas entre vários componentes do sistema que combinam informações qualitativas e quantitativas para simular padrões de comportamento. Enquanto SD tem sido usado para modelar uma variedade de sistemas complexos e seus comportamentos diversos, suas aplicações no domínio da segurança, apenas recentemente estão ganhando impulso (Ibrahim Shire et al., 2018). Estudos recentes demonstraram que o SD é uma abordagem valiosa para fornecer implicações práticas em vários contextos relacionados à segurança em todos os sistemas ultra-seguros (Bugalia et al., 2020; Ibrahim Shire et al., 2018; Mohammadi & Tavakolan, 2020). No entanto, com base em uma revisão de última geração de aplicativos SD no domínio da segurança, é claro que apenas alguns estudos focaram na questão da cultura do relatório de incidentes, e nenhum se concentrou na questão do relatório de quase acidentes para sistemas ultra-seguros (Ibrahim Shire et al., 2018). 23 Figura 6 - Operação segura e eficiente (adaptado de Abraha & Liyanage, 2014) Gestão e avaliação de risco abrangente utilizam três abordagens e estratégias (barreiras) complementares para englobar tanto probabilidades quanto consequências de falhas, conforme mostrado na figura 6: pró-ativo (atividades implementadas antes que um mau funcionamento ocorra), reativo (atividades implementadas após a ocorrência de um mau funcionamento) e interativo ou tempo-real (atividades implementadas durante a ocorrência do mau funcionamento). No contexto destas três abordagens, as estratégias primárias a serem implementadas são: reduzir incidência de mau funcionamento, aumento da detecção e correção de mau funcionamento, e reduzir efeitos de mau funcionamento. Gestão e avaliação de risco efetiva deve ser um processo contínuo e holístico que é conduzido ao longo do ciclo de vida de um sistema moderno. O sistema deve ser preparado para lidar com as consequências potenciais das falhas potenciais. Gestores de risco em todos os níveis devem ter atenção plena e saber que na prática, falhas no sistema causaram muito mais danos do que falhas aleatórias em hardware . Isto ocorre com esta perspectiva sistêmica, onde segurança e risco são tratados como uma propriedade dinâmica (ou seja, segurança e risco como um processo de aprendizagem através dos níveis do sistema). Sistemas de gestão em SSO estão se tornando cada vez mais difundidos nas organizações. Os resultados do estudo de Mohammadfam et al. (2017) indicam que o desempenho de empresas certificadas com relação a práticas de gestão em SSO é significativamente melhor do que o de empresas não certificadas. Os resultados do estudo de Sheehan et al. (2016) confirmam uma associação entre indicadores pró-ativos e reativos de SSO, assim como, o impacto moderador da gestão da liderança em segurança sobre a associação direta entre tais indicadores. A associação entre indicadores próativos e reativos fornece aos praticantes de SSO informação útil para esforços substanciais dentro das organizações, promovendo a mudança de um foco tradicional sobre indicadores reativos visando um foco preventivo sobre indicadores pró-ativos. Há um interesse crescente em avançar no conhecimento e prática sobre o uso de indicadores pró-ativos para medir desempenho em SSO nas organizações. Um forte exemplo deste interesse é a escala Organizational Performance Metric - Monash University (OPM-MU), a qual poderia ser usada como uma bandeira inicial dos indicadores de SSO e tem um potencial para ser uma ferramenta de benchmarking para locais de trabalho, tanto dentro como entre organizações. 24 O estudo de Shea et al. (2016) representa um importante avanço no campo de indicadores de desempenho em SSO e demonstra que o OPM-MU é uma promissora nova ferramenta com confiabilidade e validade evidenciadas. Esse foi o motivo para a escolha de 8 indicadores pró-ativos em SSO, referentes ao OPM-MU, dos 34 a serem priorizados através do método Delphi no desenvolvimento da tese. 2.3 MEDIÇÃO DE SEGURANÇA OU DE RISCO Serão discutidos os conceitos de indicador de segurança e indicador de risco. O termo indicador pode ser usado de várias formas, o que significa que existem muitas definições. A definição de indicador adotada na tese é: “Um indicador é uma variável mensurável / operacional que pode ser usada para descrever a condição de um fenômeno amplo ou aspecto da realidade” (Øien, 2001a). Esta definição é ampla o suficiente e será perseguida e explicada em detalhe, não apenas para ter um conhecimento do que é um indicador, mas também para saber o que um indicador não é, já que existe uma tendência crescente em colocar “tudo” dentro da abrangência de “indicadores”. Assim, tal definição é baseada na combinação das seguintes duas abordagens: “um indicador é uma definição mensurável / operacional de uma variável teórica, ou seja, trata-se de uma variável operacional” (Hellevik, 1999); “indicadores são medidas usadas para descrever a condição de um fenômeno amplo ou aspecto da realidade” (Gray & Wiedemann, 1999). Um Fator de Influência de Risco (FIR) é definido como “um aspecto (evento / condição) de um sistema ou uma atividade que afeta o nível de risco deste sistema ou atividade” (Øien, 2001b). Um dado FIR (isto é, um fator organizacional) não deve ser diretamente mensurável. Isto é denotado como “o problema de medição” dentro da metodologia da pesquisa em ciências sociais (Hellevik, 1999). Ao invés disso, necessita-se de uma definição operacional da FIR (denotada variável operacional) que representa a variável teórica. Isto é ilustrado na figura 7. 25 32 Tabela 3 - Diferentes definições dos elementos-chave de Fatores Humanos ou Ergonômicos e os seus respectivos números de referência (Castillo et al., 2015a) (Continuação) Números de referência Diferentes definições dos elementos-chave de Fatores Humanos ou Ergonômicos 12.12 (xiii) embora a diferença entre indicadores pró-ativos e reativos possa ser de interesse teórico, isto pode ser contraproducente na prática. 12.13 e 13.1 (xiv) triangulação complementar de métodos - abordagem baseada em incidente / abordagem baseada em resiliência (indicadores baseados em resiliência podem ser um adicional em situações de conhecimento incompleto, sobre o que pode dar errado, desde que as pessoas foquem em estar preparadas para o inesperado) / abordagem baseada em desempenho de segurança (desempenho de barreira) - no qual tanto os eventos negativos (falhas, incidentes, etc) e fatores positivos são utilizados, ou seja, fatores que criam segurança em contraste a fatores que tratam segurança (desta maneira, pode-se evitar o tão conhecido dilema controlador, o problema com ausência de dados). 13.2, 17, 22 e 38 (xv) abordagem baseada em resiliência inicia-se com a identificação de atributos que caracterizam uma organização resiliente, os quais foram construídos em trabalhos prévios realizados no projeto "construindo segurança" (isto se procede com o estabelecimento de indicadores para cada um dos atributos, utilizando uma versão adaptada do método IPSO - Indicadores Pró-ativos de Saúde Organizacional, e este novo método chamado IAPR - Indicadores de Alerta Precoce baseado em Resiliência - é baseado em lições da indústria de energia nuclear). 13.3 e 29.4 (xvi) abordagem baseada em desempenho de segurança inicia-se com o trabalho realizado pelos Executivos de Saúde e Segurança sobre indicadores pró-ativos e reativos, ou seja, a tão conhecida abordagem de dupla garantia, em que esta parte é baseada em lições da indústria de processos químicos. 4.1 e 24.1 Macroergonomia refere-se aos programas e tarefas os quais se preocupam com os macro níveis na organização, tais como treinamento / educação / comunicação / regulação / trabalho em equipe. 4.2 e 24.2 Em nível micro, ergonomia preocupa-se mais o projeto de ferramentas / projeto do local de trabalho / elevações / transporte / projeto da carga de trabalho / cronograma do turno de trabalho, etc. 6.1 e 21.1 Para alcançar um controle de segurança holístico dentro de uma organização todos os aspectos diferentes, incluindo cultura, necesssitam ser considerados. 8.1 e 10.1 Fatores Humanos ou Ergonômicos (FHE) em cuidados de suporte. 9.1 Tem grande potencial para garantir um ambiente que seja apropriado para os humanos. 9.2 Quando FHE não desempenham um papel no projeto do sistema, isto pode conduzir a sistemas subotimizados com redução na qualidade e eficiência, aumento de doenças e insatisfação, etc. 3.1.2 Segurança, saúde e ambiente As terminologias de Segurança, Saúde e Ambiente (SSA) e os seus respectivos números de referência são apresentados na tabela 4. 33 Tabela 3 - Diferentes definições dos elementos-chave de Fatores Humanos ou Ergonômicos e os seus respectivos números de referência (Castillo et al., 2015a) (Continuação) Números de referência Diferentes definições dos elementos-chave de Fatores Humanos ou Ergonômicos 9.3 Pode fornecer soluções para estes problemas, entretanto, seu potencial parece ser pouco explorado, pelo menos quatro razões podem ser identificadas: (i) muitos dos stakeholders envolvidos no projeto, gestão e uso de artefatos não são conscientes dos valores de Fatores Humanos ou Ergonômicos (FHE), e como consequência, não exibem uma forte demanda por eles, (ii) em certas situações onde existe uma demanda por FHE (ou seja, "produtos ergonômicos" em marketing de produtos, "sistemas ergonômicos" em indústrias de segurança crítica, tais como defesa, transporte, petróleo e cuidados de saúde), não há FHE de alta qualidade suficientes no processo do projeto, porque FHE são ausentes ou sua aplicação é muito limitada no escopo, resultando em soluções subotimizadas, (iii) o campo é muito pequeno em comparação com disciplinas estabelecidas para o projeto de artefatos tais como engenharia e psicologia, e FHE são frequentemente incorporados dentro destas disciplinas sem referências explícitas para elas, e (iv) a grande força de FHE, sua base multidisciplinar, é também uma fraqueza potencial (uma diversidade de tópicos, perspectivas e práticas existem dentro da comunidade de FHE, resultando em comunicação não clara com o mundo externo). 9.4 A principal estratégia proposta para o futuro de FHE (com as características fundamentais de abordagem por sistemas / dirigida por projetos / resultados de desempenho e bem-estar) é reforçar a demanda e aplicação de FHE de alta qualidade para todos os stakeholders . 8.2 Implementar a cultura de Segurança, Saúde e Ambiente (SSA) terá efeitos positivos sobre os FHE no local de trabalho, e os benefícios da cultura de SSA se ajustam ao objetivo principal de FHE. 8.3 Consciência, comunicação e cooperação entre grupos responsáveis são considerados como fatores cruciais para alcançar um programa de FHE efetivo. 7.2 Focar na aplicação de ciência humana e psicologia para o projeto de sistema homemmáquina (abordagem sociotécnica) com a intenção de melhorar o desempenho do sistema. 7.3 Engenharia Cognitiva (EC) deve simplesmente ser considerada como outra dimensão do campo de FHE (ou seja, psicologia aplicada ou engenharia psicológica), assumindo que EC está completamente alinhada com psicologia e fatores humanos como um todo. 6.2 Focar em Fatores Humanos ou Ergonômicos (FHE) e comportamento humano, como principais contribuidores do sistema, é uma necessidade para alcançar uma situação segura. 6.3 Prevenir erros humanos ao considerar FHE (refere-se ao comportamento humano como resultado da intervenção de diferentes fatores - trabalho e as tarefas / característica individual e atitudes / valor, crenças, cultura, etc, com relação à organização / os aspectos sociais no contexto - envolvidos em uma organização como um sistema que visa alcançar um objetivo). Os fundamentos de SSA e os seus respectivos números de referência são apresentados na tabela 5. As diferentes definições dos elementos-chave de SSA e os seus respectivos números de referência são apresentados na tabela 6. Quando os textos forem omitidos nas tabelas (sendo exibidos apenas os números de referência) significa que tais textos já apareceram anteriormente, não sendo necessário descrevê-los mais uma vez. 34 Tabela 4 - Terminologias de SSA ou SSE ou SAS e os seus respectivos números de referência (Castillo et al., 2015b) Números de referência Terminologias de SSA ou SSE ou SAS 28 Segurança, Saúde e Ambiente (SSA) 15, 40 e 42 Segurança, Saúde e Ambiental (SSA) 34 Segurança, Saúde e Ergonomia (SSE) 4, 14,18 e 25 Saúde, Segurança e Ambiente (SSA) 43 Saúde, Ambiente e Segurança (SAS) Tabela 5 - Fundamentos de Segurança, Saúde e Ambiente e os seus respectivos números de referência (Castillo et al., 2015b) Números de referência Fundamentos de Segurança, Saúde e Ambiente 19 O comprometimento e política da empresa sobre Saúde, Proteção, Segurança e Ambiente (SPSA) e Desempenho Social (DS) aplica / reflete o caminho integrado do trabalho através da empresa e é projetado para ajudar a proteger pessoas e o ambiente, isto inclui: (i) objetivos alinhados com os princípios dos negócios gerais da empresa sobre como os funcionários operam e o trabalho para envolver comunidades próximas às operações, e (ii) todas as empresas / empreiteiros / empreendimentos conjuntos sobordinados ao controle operacional devem gerenciar SPSA e DS em linha com o comprometimento e política. 4 Sistemas de gestão em Segurança, Saúde e Ambiente (SSA) ocupacionais no nível operacional lutarão para eliminar lesões, efeitos de saúde adversos e danos ao ambiente. 1 Abordagem do ponto de partida triplo de soluções sustentáveis da empresa (desempenho financeiro, ambiental e humano) produziu resultados para clientes no mundo inteiro, em indústrias do petróleo até do refino em mineração, no qual suas soluções customizadas ajudam a maximizar a segurança no local de trabalho, eficiência operacional, gestão ambiental, e tecnologias de processos. 35 Tabela 6 - Diferentes definições dos elementos-chave de Segurança, Saúde e Ambiente e os seus respectivos números de referência (Castillo et al., 2015a) Números de referência Diferentes definições dos elementos-chave de Segurança, Saúde e Ambiente (SSA) 43.1 Uma implementação de controle interno de Saúde, Ambiente e Segurança (SAS) envolve ações sistemáticas que reduzem estresse e absenteísmo no local de trabalho. 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1 e 41.2 15.1 e 33 Cada vez mais um aumento de atenção é dado sobre o critério Segurança, Saúde e Ambiente (SSA) devido aos requisitos legais / a imagem da empresa, assim como razões econômicas, em que estes aspectos podem ser adicionalmente considerados como vantagem competitiva. 6.12 e 32.1 Identificação e relato de perigos / riscos. 6.5, 10.3 e 32.2 Relato e investigação de quase acidentes / incidentes / acidentes / eventos para aprendizagem sobre prevenção. 26.1 Relações mútuas e assistência entre a atitude positiva do topo da gestão, a gestão completa de SSA pela linha de gestores e supervisores, e a promoção de atividades voluntárias no local de trabalho. 6.13 e 26.2 Análise de Perigos no Trabalho (APT) e controle. 4.3 e 23 O foco da análise da falha humana mudou das deficiências inerentes de humanos e características das tarefas para as condições contextuais ou ambiente no qual a tarefa é realizada, portanto, contexto do trabalho e ambiente são fatores-chave na análise de desempenho de trabalhadores humanos nos locais de trabalho. 6.1 e 21.1 21.2 Diferentes áreas de consciência têm sido adicionadas durante os anos (desde 1960) para aumentar o desempenho em segurança, tendo sido o ramo da cultura SSA desenvolvido de 2000 até hoje. 19.1 Na empresa os funcionários são todos comprometidos a: (i) possuir o objetivo de não prejudicar as pessoas, (ii) proteger o ambiente, (iii) usar material e energia eficientemente para fornecer seus produtos e serviços, (iv) respeitar seus vizinhos e contribuir para as sociedades nas quais as empresas operam, (v) desenvolver recursos energéticos, produtos e serviços consistentes com estes objetivos, (vi) tornar público o relato sobre seu desempenho, (vii) desempenhar um papel de liderança em promover melhores práticas em suas indústrias, (viii) gerenciar questões de Saúde, Proteção, Segurança e Ambiente (SPSA) e Desempenho Social (DS) em qualquer outra atividade de negócio crítica, (ix) promover uma cultura na qual todos os funcionários da empresa compartilhem este comprometimento, (x) os funcionários visam ter um desempenho em SPSA e DS em que possam se orgulhar, ganhar a confiança de clientes / acionistas / sociedade, ser um bom vizinho e contribuir para o desenvolvimento sustentável. 36 Tabela 6 - Diferentes definições dos elementos-chave de Segurança, Saúde e Ambiente e os seus respectivos números de referência (Castillo et al., 2015a) (Continuação) Números de referência Diferentes definições dos elementos-chave de Segurança, Saúde e Ambiente (SSA) 19.2 Política da empresa: (i) ter uma abordagem sistemática para gestão de Saúde, Proteção, Segurança e Ambiente (SPSA) e Desempenho Social (DS) projetada para garantir a conformidade com a lei e para alcançar melhoria contínua de desempenho, (ii) estabelecer metas para melhoria e medidas, avaliações e relatos de desempenho, (iii) requer empreiteiros para gerenciar SPSA e DS em linha com esta política, (iv) requer empreendimentos conjuntos subordinados ao controle operacional para aplicar esta política, e usar sua influência para promover isto em outros empreendimentos, (v) ajusta efetivamente com vizinhos e comunidades impactadas e (vi) inclui desempenho em SPSA e DS na avaliação do staff e recompensas equivalentes. 8.1 e 10.1 6.4 e 10.2 Gestão da liderança para formação de comprometimento. 6.6 e 10.4 Preparação emergencial e respostas com prontidão prática. 6.7 e 10.5 Gestão ambiental na proteção para minimizar impactos. 6.8 e 10.6 Treinamento e competência para o desenvolvimento de conhecimento. 6.9 e 10.7 Informação de documentos e normas que devem servir como guia acessível. 6.10 e 10.8 Gestão de mudança para planejar a mitigação. 2, 3 e 10.9 Persuadir terceirizadas, fornecedores e os parceiros a adotarem os objetivos acordados. 10.10 Definições objetivas na direção do foco pretendido. 10.11 Organização com prestação de contas definida. 10.12 Conformidade legislativa com obrigação de verificação. 10.13 Saúde e comunidade com consciência de proteção. 10.14 Gestão da integridade para garantia de consciência. 10.15 Gestão de risco para identificar, prevenir, controlar e mitigar. 8.2 8.3 6.11 Participação dos stakeholders em todos os níveis. 6.14 Gestão de problemas de saúde. 6.15 Avaliação do programa. 6.16 Análise de tarefas e controle. 6.17 Avaliação dinâmica e melhoria do sistema de gestão de SSA no qual os comportamentos e atitudes das pessoas devem ser modificados para serem mais focados em segurança. 6.18 Melhoria contínua requer contruir sustentavelmente uma forte cultura de SSA no qual pessoas são intrinsicamente motivadas para operar os elementos dos sistemas de gestão. 6.19 Procurar por sinais de problemas potenciais em SSA no local de trabalho. 6.2 6.3 3.1.3 Saúde, segurança, ambiente e ergonomia A terminologia de Saúde, Segurança, Ambiente e Ergonomia (SSAE) e os seus respectivos números de referência são apresentados na tabela 7. Os fundamentos de SSAE e os seus respectivos números de referência são apresentados na tabela 8. 37 Tabela 6 - Diferentes definições dos elementos-chave de Segurança, Saúde e Ambiente e os seus respectivos números de referência (Castillo et al., 2015a) (Continuação) Números de referência Diferentes definições dos elementos-chave de Segurança, Saúde e Ambiente (SSA) 1.1 Expertise que fornece Sucesso do Negócio Sustentável (SNS): (i) atualmente, SNS requer mais que um ponto de partida robusto, (ii) empresas enfrentam pressões mercadológicas, regulatórias e sociais sem precedentes, (iii) seus consultores colaboram com organizações para criar soluções customizadas que melhorem o desempenho humano, ambiental e financeiro - para um melhor ponto de partida triplo, (iv) suas soluções de negócio sustentáveis são focadas na obtenção de resultados, (v) a empresa pode ajudar outra organização a reduzir a taxa de lesões e a levantar a produtividade, ultrapassar benchmarks e regulações, otimizar retorno de capital, aumentar processos de tecnologias, e reduzir custos - e impulsionar seu retorno sobre o investimento, (vi) há mais de 30 anos, Soluções Sustentáveis da Empresa (SSE) implementaram acoplamentos bem sucedidos para negócios no mundo inteiro em indústrias de petróleo e gás, de utilitários, manufatura, mineração, químicos, transporte, construção e aeroespacial, entre outras. 1.2 Soluções Sustentáveis da Empresa (SSE) são um catalisador para transformação em soluções, no qual seus especialistas podem customizar para outros negócios: (i) gerencia energia e corta custos de forma estratégica, (ii) consegue mais a partir dos ativos, materiais e trabalhadores, (iii) aumenta desempenho operacional e processos de segurança, (iv) integra planejamento sustentável em toda a empresa, (v) transfere conhecimento e transforma desempenho, (vi) contrói competências com premiação online no treinamento de funcionários, (vii) reduz incidentes e taxa de lesão em funcionários, (viii) transforma em outra cultura de trabalho a partir do negócio, operações e lucros, (ix) aumenta confiabilidade com tecnologias limpas, (x) reduz riscos, maximiza retornos e minimiza desperdícios, e (xi) aumenta confiabilidade e operacionalidade da tecnologia de alquilação. Tabela 7Terminologia de SSAE e os seus respectivos números de referência (Castillo et al., 2015b) Números de referência Terminologia de SSAE 4, 14, 16, 18, 25, 30 e 36 Saúde, Segurança, Ambiente e Ergonomia (SSAE) As diferentes definições dos elementos-chave de SSAE e os seus respectivos números de referência são apresentados na tabela 9. Quando os textos forem omitidos nas tabelas (sendo exibidos apenas os números de referência) significa que tais textos já apareceram anteriormente, não sendo necessário descrevê-los mais uma vez. 38 Tabela 8 - Fundamentos de Saúde, Segurança, Ambiente e Ergonomia e os seus respectivos números de referência (Castillo et al., 2015b) Números de referência Fundamentos de Saúde, Segurança, Ambiente e Ergonomia 4, 16, 30 e 36 Ao considerar Saúde, Segurança, Ambiente e Ergonomia (SSAE), uma organização gerencia para regular, padronizar e otimizar suas operações com o intuito de colocar em primeiro lugar segurança e saúde. 4, 14, 18 e 25 O sistema integrado SSAE introduz um mecanismo sistemático, o qual integra a estrutura dos sistemas humano e organizacional com um convencional sistema de Segurança, Saúde e Ambiente (SSA) e é utilizado para melhorar trabalho em equipe, confiabilidade, avaliabilidade, manutenção e segurança. 3.2 DIAGNÓSTICO DE MELHORES PRÁTICAS As terminologias das Estruturas Internas das Organizações em Segurança e Saúde Ocupacionais (EIOSSO) adotadas neste estudo, e para auxiliar na sua usabilidade, foram: Fatores Humanos ou Ergonômicos (FHE); Segurança, Saúde e Ambiente (SSA); e Segurança, Saúde, Ambiente e Ergonomia (SSAE). As principais organizações selecionadas com cultura madura em EIOSSO ou em suas estruturas individualizadas foram: DuPont, Wood Group, Shell International Limited, e Volvo Car Corporation. Estas organizações foram selecionadas com base nas informações disponibilizadas nos sites destas empresas, as quais serviram para destacá-las quanto à maturidade da cultura em EIOSSO ao se comparar com outras empresas. Segue, na seção 3.3., um diagnóstico de melhores práticas desempenhadas na área de Segurança e Saúde Ocupacionais. 39 Tabela 9 - Diferentes definições dos elementos-chave de Saúde, Segurança, Ambiente e Ergonomia e os seus respectivos números de referência (Castillo et al., 2015a) Números de referência Diferentes definições dos elementos chave de Saúde, Segurança, Ambiente e Ergonomia 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1 e 41.2 4.8, 27 e 37 No nível organizacional, gestão / treinamento / educação / comunicação / regulação / trabalho em equipe pobres, assim como fatores de lesão no ambiente de trabalho poderiam causar erro humano e problemas de segurança, os quais consequentemente resultariam em riscos ambientais. 4.6, 16.1, 30.1 e 36.1 A organização pode: (i) encorajar funcionários a adotarem um estilo de vida saudável e seguro, (ii) desenvolver e operar suas instalações com a devida preocupação com a saúde e segurança de seus vizinhos e colaborar com autoridades na preparação de planos de resposta emergencial, (iii) contribuir para a ecoeficiência ao melhorar continuamente o consumo de energia e reduzir desperdício / emissões / descargas, (iv) projetar e desenvolver produtos para ter um efeito adverso mínimo sobre o ambiente ao longo do ciclo de vida destes, (v) otimizar a relação entre homem e máquina para que o homem se depare com menos fadiga / menos lesões / consiga maior eficiência. 31 No projeto de sistemas de produção, objetivos econômicos e sociais podem ser combinados se ergonomia é integrada no processo do projeto. 6.1 e 21.1 4.4, 4.7 e 11 Existe uma estreita relação entre os fatores Saúde, Segurança, Ambiente e Ergonomia (SSAE). 8.1 e 10.1 8.2 8.3 6.2 6.3 4.5 e 5 Projeto inadequado entre homem e máquina poderia conduzir a uma diminuição da segurança, no qual um programa ergonômico objetiva a redução de acidentes e problemas de saúde, e o aumento da produtividade ao ajustar a tarefa ao trabalhador. Segundo Castillo et al. (2015a, b), os números de referência atribuídos às definições dos elementos-chave citados na seção 3.1. exibiram uma configuração consistente entre elementoschave incluídos como conceitos, entretanto, sem repetição de tais números de referência para as EIOSSO. Os mesmos 19 conceitos foram implementados para FHE, SSA, SSAE e sua versão integrada, resultando em uma configuração coincidente de 12 referências bibliográficas (cujos números de referência são: 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 21.1, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2) entre estes conceitos para as 4 possíveis combinações das EIOSSO. As 12 referências bibliográficas referêm-se ao número inteiro que representa cada uma 44 referências possíveis e que fundamentam os estudos de Castillo et al. (2015a, b), ou seja, as 12 referências são 6, 8, 10, 12, 13, 17, 20, 21, 22, 29, 38 e 41. Os 19 conceitos que serão mostrados na tabela 10 são: (i) Projeto baseado em ergonomia; (ii) Comprometimento da liderança; (iii) Envolvimento do funcionário na tomada de decisão; (iv) Avaliação de risco e comunicação; (v) Relato de eventos e investigação; (vi) “Análise de Perigos no Trabalho (APT)”; (vii) Gestão de problemas de saúde; (viii) Cultura de segurança; (ix) Avaliação de segurança no local de trabalho com abordagens complementares baseadas em incidente, resiliência e desempenho em segurança (“indicadores pró-ativos e reativos”); (x) Treinamento; (xi) Análise da tarefa; (xii) Normas (ISO e OHSAS); (xiii) Legislações; (xiv) Comportamento humano; (xv) Respostas e planejamento emergencial; (xvi) Gestão ambiental; (xvii) Interação homem-máquina (abordagem sócio-técnica); (xviii) Feedback e controle; e (xix) Gestão da mudança. Tais conceitos foram sistematizados em função da análise crítica dos autores do estudo de Castillo et al. (2015a, b). 3.3 CONCEITOS SIMILARES ENTRE AS POSSÍVEIS COMBINAÇÕES DAS ESTRUTURAS INTERNAS Os elementos-chave extraídos a partir da seção 3.1. foram incluídos como os 19 conceitos para comparação entre EIOSSO e sua versão integrada. Os números de referência encontrados e suas diferentes definições citadas nestes elementos-chave, incluídos como conceitos, são apresentados no anexo 1. Os mesmos 19 conceitos extraídos foram comparados entre as possíveis combinações das EIOSSO. Tais combinações, que neste estudo apresentam-se como sendo iguais, são as seguintes: FHE ∩ SSA ∩ SSAE = FHE ∩ SSA = FHE ∩ SSAE = SSA ∩ SSAE. Os números de 40 referência encontrados e suas diferentes definições citadas nestes conceitos similares são apresentados na tabela 10. 41 Tabela 10 - Números de referência encontrados e suas diferentes definições citadas em conceitos similares entre as possíveis combinações das EIOSSO (Castillo et al., 2015a) Possíveis combinações das EIOSSO Números de referência encontrados e suas diferentes definições citadas em conceitos similares entre as possíveis combinações das EIOSSO FHE ∩ SSA ∩ SSAE = FHE ∩ SSA = FHE ∩ SSAE = SSA ∩ SSAE (i) 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 21.1; (ii) 8.1, 8.3, 10.1; (iii) 6.2, 6.3, 8.1, 8.3, 10.1; (iv) 6.2, 6.3, 8.1, 8.2, 8.3, 10.1; (v) 6.1, 6.2, 6.3, 21.1; (vi) 6.3; (vii) 8.1, 8.2, 10.1; (viii) 6.1, 6.2, 6.3, 8.2, 8.3, 21.1; (ix) 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2; (x) 6.2, 6.3, 8.1, 8.3, 10.1; (xi) 6.3; (xii) 6.1, 8.2, 21.1; (xiii) 8.2; (xiv) 6.2, 6.3, 8.1, 8.2, 8.3, 10.1; (xv) 6.2, 8.1, 8.3, 10.1; (xvi) 8.2; (xvii) 6.2, 6.3, 8.1, 8.2, 8.3, 10.1; (xviii) 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 21.1; e (xix) 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 21.1. 5 SEGURANÇA E SAÚDE OCUPACIONAIS E O BALANCED SCORECARD Nos últimos anos, a indústria offshore de petróleo e gás do Reino Unido afastou-se da reunião simples de requisitos legislativos de saúde e segurança para identificar exemplos de melhores práticas e aprender com as experiências (boas ou ruins) de outras empresas ou organizações. Grande parte dessa atividade tem sido instigada e dirigida através da etapa de mudança na iniciativa de segurança (www.stepchangeinsafety.net), que foi lançada em 1997 com os principais objetivos de (Mearns & Havold, 2003): Reduzir as taxas de acidentes e incidentes em 50% até o ano 2000; Ter contratos de desempenho de segurança estabelecidos para todos os gerentes seniores; e Compartilhar “boas práticas” em toda a indústria. Com o Step-Change , a indústria lançou uma série de iniciativas identificadas por ambos, gerentes e a força de trabalho, como cruciais para alcançar um bom desempenho em segurança. Durante esse período, o indicador chave de desempenho para a indústria foi a taxa de acidentes e incidentes, medida pelo Relatório do órgão regulador do Reino Unido sobre Lesões, Doenças e Regulamento de Ocorrências Perigosas (HSE, 1995). No entanto, muitas empresas de petróleo e gás usavam uma variedade de outros indicadores para determinar o estado de segurança dentro de suas organizações. Estes indicadores foram identificados como indicadores pró-ativos, porque poderiam ser usados para identificar possíveis problemas antes que eles fossem percebidos como acidentes ou incidentes, isto é, os chamados indicadores reativos que ocorrem devido a falhas na segurança. No momento em que o Step-Change foi implementado, o grupo de psicologia industrial da universidade Aberdeen iniciou um projeto de três anos para realizar um benchmark em saúde e segurança em 13 instalações offshore considerando vários indicadores diferentes de desempenho de segurança pró-ativos e reativos (Mearns & Havold, 2003). Os indicadores foram selecionados com base no feedback de gestores em saúde, segurança e ambiente das 13 organizações participantes, em relação a quais indicadores eles tinham em comum e quais foram mensuráveis, gerenciáveis e tinham o potencial de mostrar alguma melhoria ao longo do período de três anos. 48 A adoção de uma abordagem baseada em instalação surgiu a partir de pesquisas anteriores (Mearns et al., 1997), onde foi demonstrado que instalações offshore variaram consideravelmente em seu “clima de segurança”, mesmo quando operado pela mesma empresa. Portanto, parecia razoável monitorar o desempenho da segurança e disseminar exemplos de boas práticas no nível operacional, e não no da organização, onde os processos de aprendizagem poderiam talvez ser generalizados demais para os problemas específicos da operação (Mearns & Havold, 2003). Era necessário ajustar os indicadores em uma estrutura operacional que facilitasse a identificação de diferentes perspectivas sobre problemas de saúde e segurança. O balanced scorecard (BSC) é provavelmente o sistema de medição de desempenho organizacional mais conhecido no mundo. Kaplan & Norton (1992) iniciam seu artigo “O balanced scorecard - medidas que impulsionam desempenho” na Harvard Business Review com estas palavras: “O que você mede é o que você recebe. Os executivos seniores entendem que o sistema de medição de suas organizações afeta fortemente o comportamento dos gerentes e trabalhadores”. Nos últimos anos, líderes da indústria progressiva descobriram que a medição desempenha um papel crucial na tradução de estratégia de negócios em resultados. O BSC contém um conjunto diversificado de medidas de desempenho divididas em quatro grupos: desempenho financeiro, relações com o cliente, processos internos de negócios, e aprendizado e crescimento. O uso do BSC destaca o fato de que muitas vezes há uma falta de equilíbrio entre as quatro perspectivas e, portanto, uma falta de equilíbrio entre perspectiva financeira de curto prazo (indicadores reativos) e os propulsores do desempenho financeiro futuro (indicadores pró-ativos). Kaplan & Norton (1992) afirmam que o sucesso futuro da empresa depende muito de sua capacidade de medir desempenho de ativos menos tangíveis, como relações com clientes, processos de negócios internos e aprendizado dos trabalhadores, assim como aptidão para monitorar as medidas financeiras tradicionais. O BSC foi projetado para capturar a estratégia de negócios desejada da empresa e incluir drivers no desempenho em todas as áreas importantes para o negócio. Se a segurança é uma área importante para uma empresa, então ela deve ser incluída como driver no scorecard (Mearns & Havold, 2003). Existem vários requisitos básicos para um BSC eficaz (Mearns & Havold, 2003): 49 É um método e, ao mesmo tempo, uma ferramenta de gestão em que o desempenho de uma empresa deve ser avaliado a partir de quatro perspectivas. Para cada uma delas deverão ser adotados indicadores chave de desempenho que expressem se a empresa está perto de atingir seus objetivos. A organização precisa saber onde gostaria de ir e como vai chegar lá. O BSC força a gerência a se concentrar sobre medidas críticas. A gerência deve investir os recursos para encontrar essas medidas críticas e entender como as direções e marcos são ajustados em conjunto. A organização deve entender que o scorecard é um exercício de longo prazo. Trata-se de uma ferramenta para implementar a estratégia de negócios. Se for usado de forma consistente, o gerenciamento pode comparar "maçãs" com "maçãs". A administração deve ter maturidade para usar os resultados do scorecard visando a melhoria contínua e não procurar falhas nas medidas se virem algo que não gostam. O BSC deve alcançar a estrutura organizacional e retornar novamente. É uma ferramenta para departamentos, assim como para a gestão sênior, e os scorecards em toda a organização devem estar vinculados juntos. Os parâmetros devem ser objetivos e o processo de coleta de dados deve ser transparente para as pessoas que usam a informação ou sendo medidas. É irreal e desmotivador medir pessoas sobre coisas que não podem ser controladas. No capítulo seguinte será descrita a metodologia adotada na pesquisa. A partir dos conceitos similares entre as possíveis combinações das estruturas internas das organizações em SSO será possível extrair no capítulo posterior os 6 indicadores priorizados (redução de 22 indicadores originais) nesta pesquisa sobre a cultura de segurança. Os fundamentos do método Delphi serão aplicados, resultando na priorização dos indicadores pró-ativos em SSO do estudo. Tais indicadores serão explicitados em termos de grau de relevância e consenso entre cada grupo individual de peritos e entre todos os grupos, abordando a dispersão dos dados através dos respectivos diagramas de extremos e quartis ( box plot ). A discussão dos resultados se dará à luz da fundamentação sobre a relação entre os indicadores pró-ativos operacionais em SSO priorizados no estudo e o desenvolvimento de um modelo de “ safety dashboard ”, que parta do princípio do “ balanced scorecard ”. 50 PARTE II - TRABALHO DESENVOLVIDO 51 6 METODOLOGIA Este capítulo contempla a abordagem sobre a revisão da literatura especializada, procedimento da pesquisa, desenvolvimento do questionário, justificativa para aplicação do método Delphi e tratamento e análise dos dados. 6.1 REVISÃO DA LITERATURA ESPECIALIZADA As técnicas e procedimentos adotados consistem, primeiramente, em fazer uma revisão da literatura e identificar os indicadores pró-ativos existentes e publicitados ligados à SSO. A partir desta lista extensa, fazer uma redução para uma lista mais gerenciável de 34 indicadores. Para fazer esta redução, utilizou-se um critério que justificou e explicou esta redução. Ou seja, os autores deste estudo selecionaram indicadores baseados no critério que priorizou e validou em artigos científicos mais respeitados e atuais. Adicionalmente, a seleção de indicadores sobre o tópico cultura de segurança foi considerado porque, no estado da arte, demontrou-se que esta abordagem é fundamental para a efetividade da operação do sistema de gestão de segurança e é a melhor estratégia para garantir o controle de segurança holística dentro de uma organização. Foram combinados 20 indicadores operacionais principais (redução de 109 indicadores originais) do estudo do Podgórski (2015) (representados em 5 subtemas: política, organização, planeamento e implementação, avaliação e ação para melhoria), 8 indicadores pró-ativos do estudo do Shea et al. (2016) e Sheehan et al. (2016) (representados em 1 subtema: desempenho organizacional), com os 6 indicadores priorizados (redução de 22 indicadores originais) nesta pesquisa sobre a cultura de segurança (representados em 1 subtema: cultura de segurança). Os 8 indicadores pró-ativos mencionados acima foram medidos usando o Organizational Performance Metric - Monash University (OPM-MU; Shea et al., 2016). O OPM-MU é uma versão revisada da métrica de desempenho organizacional desenvolvida no Institute for Work & Health , Ontario, Canadá (IWH-OPM; IWH, 2011, 2013). O OPM-MU é uma escala de 8 itens que foi reportada como sendo uma medida confiável e válida de indicadores pró-ativos em SSO (Shea et al., 2016). 52 6.2 PROCEDIMENTO DA PESQUISA Com esta lista mais gerenciável de 34 indicadores realizou-se um estudo focado na análise dos principais indicadores a utilizar pelas empresas. Para tal, realizamos um estudo com o método Delphi com vários grupos de stakeholders em Portugal e Brasil, nomeadamente: Técnicos de segurança ativos (de qualquer setor de atividade) (T), Gestores / administradores de empresa (de qualquer nível e setor desde que tenham poder de decisão na empresa) (G), Acadêmicos / professores (com atividade de investigação na área de segurança) (A), Auditores Externos (ligados a auditorias dos sistemas de gestão das empresas em nível de segurança e risco) (AE) e Inspetores do trabalho (I). A composição do painel de peritos em termos de quantidade absoluta para cada grupo, assim como para os 5 grupos, foi evidenciada nos resultados das rondas no ANEXO 4. O critério para composição do painel de peritos foi estabelecido através da reunião de 5 grupos, a partir dos contatos dos peritos do Grupo de Pesquisa em Ergonomia & Fatores Humanos da Universidade do Minho, que permitiram ser classificados como possuindo, cada um deles, suas características próprias. Após 3 rondas no Delphi foi possível identificar maneiras de obtenção do consenso sobre quais os indicadores são mais pertinentes para estes grupos e os que são importantes para todos. A análise centrou-se nos grupos individuais e em perceber, para cada um deles, quais os indicadores que são os mais pertinentes. A realização deste survey permite que cada empresa possa personalizar os indicadores que sejam mais apropriados levando em consideração o relatório desses indicadores, visando o desenvolvimento de um modelo de “ safety dashboard ”. Será realizada uma amostragem previamente selecionada e de tamanho reduzido, facilitando o processo de coleta e análise de dados. O critério de seleção destes especialistas em SSO baseiase em focar naqueles que devem estar mais intimamente motivados a operar os elementos de um SGSSO. Desta maneira, a metodologia adotada sugere os seguintes propósitos e foco (Saunders et al., 2009): i realizada com propósitos exploratórios; e ii foque em torno da pergunta da investigação e de seus objetivos, combinando os seguintes aspectos da pesquisa - estratégia ( survey ) / escolha (múltiplos métodos) / horizonte temporal (estudo transversal). 53 Os resultados obtidos visam indicar como: i estimular o envolvimento de trabalhadores chave do sistema de gestão em SSO nos processos decisórios sobre a obtenção de desempenho aceitável (seguro e efetivo) em SSO, ao propor um método de fácil utilização a fim de que estes trabalhadores mudem seus hábitos e melhorem seus comportamentos e atitudes para reduzir o risco de ocorrência dos principais acidentes; e ii implementar adequadamente o método de análise dos principais indicadores, o que aumenta a tendência de melhoria: do trabalho em equipe, confiabilidade, disponibilidade, facilidade de manutenção e segurança; do encorajamento de trabalhadores a adotarem um estilo de vida saudável e seguro; e da otimização da relação entre operador e máquina de modo que o operador se depare com menos fadiga e tenha o máximo de eficiência. A figura 8 apresenta o mapa conceitual do trabalho de pesquisa, representando esquematicamente as macroações que nortearam a sua estruturação. Destaca-se o retângulo em vermelho com o intuito de evidenciar a principal contribuição do estudo, demonstrando como qualquer empresa tem a possibilidade de personalizar os indicadores que sejam mais apropriados para os grupos individuais de peritos em SSO e para todos os grupos, permitindo avaliar em futuros estudos a melhoria da efetividade do SGSSO. Portanto, o exemplo de aplicabilidade refere-se ao desenvolvimento do modelo de safety dashboard proposto, o qual revela o mecanismo de personalização de indicadores mencionado. 54 6.3 DESENVOLVIMENTO DO QUESTIONÁRIO Os indicadores pró-ativos de desempenho em SSO desenvolvidos neste estudo correspondem aos itens do questionário sobre a cultura de segurança como uma forma de FHE em nível de grupo. Conforme apresentado no instrumento de medição conhecido como grade da cultura de segurança (“ Safety Culture Grid ”) (Gabryelewicz et al., 2015a), os indicadores mencionados estão compreendidos em conceitos específicos exibidos em um gráfico de radar. Os resultados conduzem a uma identificação clara de pontos fracos e fortes sobre a cultura de segurança como uma forma de FHE em nível de grupo na organização. Isto permite o ajuste das 55 Figura 8 - Mapa conceitual da pesquisa. soluções ao aumentar o nível desta cultura, a qual deve ser aplicada aos trabalhadores chave para reduzir o risco de acidentes. Ao se estabelecer um paralelo quanto aos métodos / modelos de análise dos indicadores próativos de desempenho em SSO é possível evidenciar que os métodos estatísticos como ferramentas de análise clássica têm sido amplamente utilizados no campo de SSA, mas não em FHE e SSAE. Destes métodos estatísticos, os testes estatísticos paramétricos / não paramétricos e os de regressão linear / não linear são os dois mais populares que têm sido usados na literatura (Fam et al., 2012; Qaisar et al., 2011; Ramli et al., 2011). Espera-se que a maneira prática de construir estes gráficos de radar, que reúne testes estatísticos paramétricos e não paramétricos, e visualizar os seus resultados tenda a aumentar a sua usabilidade nas empresas. Assim como, o uso de parâmetros estatísticos simples considerados no método Delphi, como a mediana, média, desvio padrão, percentil 25 (Q1), percentil 75 (Q3), intervalo interquartil (IQR) e diagrama de extremos e quartis ( box plot ). Consideram-se estas vantagens ao se fazer uma comparação com os principais instrumentos similares de avaliação do nível da cultura de segurança (Gabryelewicz et al., 2015a). O estudo de Sheridan (2014) avalia modelos em ergonomia de sistemas com uma taxonomia de níveis de atributos de modelos. Sendo 3 níveis e 6 atributos, existem 3 x 3 x 3 x 3 x 3 x 3 = 729 combinações possíveis. A grade da cultura de segurança como uma forma de FHE em nível de grupo desenvolvida nesta pesquisa deverá exibir o nível mais elevado destes atributos. Exceto sobre a aplicabilidade à fatores observáveis, que deverá considerar o nível moderado. Pretende-se que esta grade apresente as seguintes características: descreva fatores observáveis do passado (aplicabilidade à fatores observáveis), reconhecendo sinais / alertas precoces por intermédio do uso de indicadores de SSO pró-ativos que reduzam o risco de ocorrência dos principais acidentes (Øien et al., 2011a); possua múltiplas entradas e múltiplas saídas (dimensionalidade); exiba relações inteiramente cardinais, ou seja, numéricas contínuas, englobe relações de ordem e ofereça grande precisão (metricidade); possua foco abrangente sobre uma ampla faixa da natureza (robustez); seja aceita e usada pela comunidade relevante (penetração social); e consiga ser concisa e clara, não redundante e não ambígua (concisão). Na sequência da revisão bibliográfica efetuada (seleção de 28 indicadores) e dos 6 indicadores extraídos do estudo sobre cultura de segurança (a serem explicitados na seção 7.1), foi 56 desenvolvido um questionário estruturado em sete seções distintas, correspondentes à formação da lista gerenciável de 34 indicadores pró-ativos operacionais ligados à SSO. As primeiras cinco seções correspondem aos subtópicos do artigo que deu suporte à seleção dos 20 primeiros indicadores. A próxima seção corresponde ao subtópico dos artigos que deram suporte à seleção dos oito indicadores intermediários. A última seção compreende o subtópico que trata da cultura de segurança. Todas as questões foram respondidas através de uma escala tipo Likert de 5 opções. A resposta 5 corresponde ao grau “muito importante”, enquanto que a resposta 1 corresponde ao grau “nada importante”. A colaboração técnica/científica do painel consistiu na resposta ao questionário de resposta fechada e cuja resposta exigia aproximadamente 15 minutos. O questionário, contendo um total de 34 questões, foi previamente verificado através da avaliação de dois peritos da especialidade, ou seja, dois acadêmicos portugueses que contribuíram para a supervisão do trabalho. O questionário exemplificado acima se refere ao aplicado na primeira ronda do estudo Delphi. Portanto, os 34 itens do questionário e 7 seções (destacadas em negrito) segue conforme descrição na figura 9. 57 Etapa 1: Configurando um processo Delphi Determine os objetivos gerais do exercício Escolha de especialistas Use especialistas heterogêneos No mínimo, use 5-20 especialistas Considere o uso de um processo de indicação de especialistas Considerações iniciais Dispersão geográfica de especialistas Despesa relativa e demanda de tempo de Delphi versus alternativas Gravidade das discordâncias entre especialistas O survey Gerar questões para consideração no survey Delphi por meio de questionamento aberto Escreva uma introdução e um encerramento Restrinja o survey ao que pode ser respondido em 30 minutos Estime a linha do tempo Delphi Fazer um teste piloto do survey Etapa 2: Desenvolvimento de itens de pergunta e escalas de resposta Decidir sobre o número de questões a explorar Criação de perguntas Formular perguntas claras e concisas, e agrupar por problema explorado Comece com perguntas simples A capacidade dos peritos do painel corresponde às questões colocadas? Formular formatos de resposta claros 64 Ao fazer medições, escolha entre escalas categóricas, ordinais ou intervalares Se estiver usando escala ordinal, tipo Likert, decida sobre o número par ou ímpar de categorias de resposta Defina os pontos finais da categoria de resposta Etapa 3: Escolha do software de entrega Papel e lápis? E-mail? Baseado na Web? Feito sob medida ou disponível no mercado? Rondas Delphi convencionais ou em tempo real? Etapa 4: Fornecer feedback aos peritos do painel Fornece respostas medianas Fornece intervalo ou intervalo interquartil de respostas para cada pergunta Extrair e utilizar os fundamentos dos entrevistados para suas respostas numéricas Remover indicadores da prevalência de opiniões majoritárias Desenvolver e aplicar um critério de consenso Continue a votação até que as respostas mostrem estabilidade, geralmente 3 rondas são suficientes Esteja alerta para continuar o dissenso nas opiniões dos membros do painel Etapa 5: Prevenir e lidar com o abandono do membro do painel Observe que os especialistas autoavaliados tendem a não desistir Use recompensas sociais Considere o uso de recompensas financeiras Use comunicações pessoais com os membros do painel 65 Observe que quanto maior o número de rondas, maior o grau de abandono Etapa 6: Analisando e apresentando os dados Delphi Faça uso de estatísticas descritivas para descrever os dados Observe que pequenos tamanhos de amostra e amostragem não aleatória limitam as análises estatísticas Use análises estatísticas não paramétricas Faça uso de representações gráficas de dados Integrar os resultados do Delphi com o conhecimento do quadro mais amplo fornecido por outras pesquisas, talvez mais quantitativas São descritas a seguir as principais fases ou etapas da metodologia Delphi segundo a norma ISO/IEC 31010 (2019) e Ramos (2013), ensinando como foi aplicado o método Delphi na tese. Etapa 1: Determinar e formular as perguntas O desenvolvimento de um questionário deve ser precedido de certos pré-requisitos. Primeiro, o foco do estudo deve ser cuidadosamente definido. Segundo, os objetivos do estudo devem ser traduzidos em fatores mensuráveis, que contribuem para este foco. Terceiro, o investigador deve garantir que é competente no assunto. Finalmente, o processo deve ser gerido de forma consistente (Glasow, 2005). Existem algumas regras para a concepção de boas perguntas em um questionário. Como referido por Fowler & Floyd (1995, p. 3), “uma boa pergunta é aquela que produz respostas que constituem medidas válidas e confiáveis de algo que queremos descrever”. Assim, deve ser dada particular atenção à escolha das perguntas, bem como à sua formulação, no sentido de maximizar a utilidade da informação a ser coletada. É conveniente testar e verificar previamente o questionário com um número restrito de peritos da especialidade. 66 Etapa 2: Selecionar os especialistas Os especialistas deverão ter conhecimentos específicos na área em estudo, bem como deverão estar preparados para se envolverem neste tipo de procedimento. Na seleção de peritos deve procurar-se uma distribuição equilibrada de elementos, envolvendo Universidades, Institutos de investigação, indústrias e outros setores da sociedade. A qualidade dos resultados depende principalmente dos participantes do estudo. Etapa 3: Desenvolvimento da primeira ronda do questionário O primeiro questionário, previamente testado, é enviado ao painel de especialistas. O primeiro questionário deve conter informação sobre a natureza do estudo e pode incluir perguntas semiabertas e abertas. Etapa 4: Analisar as respostas da primeira ronda do questionário As respostas são analisadas para determinar a tendência geral, bem como as respostas mais extremas. Etapa 5: Formular um segundo questionário para envio aos especialistas O questionário é normalmente semelhante ao da primeira ronda, podendo ser mantidas apenas as perguntas nas quais não foi obtido consenso nas respostas. Pede-se a cada especialista, informado sobre os resultados da primeira ronda, para, se achar conveniente, alterar as suas respostas e / ou justificá-las, no caso de diferirem da tendência geral. Etapa 6: Ronda(s) subsequente(s) O processo Delphi pode ser continuado para aumentar o grau de consenso entre os especialistas. Normalmente, 3 rondas são suficientes (Skulmoski et al., 2007). A comparação das opiniões exerce uma influência moderadora e facilita a existência de uma convergência. Etapa 7: Conclusões gerais e relatório final Os resultados finais são processados a partir do consenso gerado pelo grupo. Os resultados podem ser qualitativos na forma de relatórios e conclusões; e quantitativos baseado no tratamento estatístico das respostas (Ramos, 2013). Os pontos fortes e as limitações da metodologia Delphi estão definidos na norma ISO/IEC 31010 (2019) e segundo Ramos (2013). Em termos de pontos fortes, há que salientar que o método 67 Delphi permite o anonimato, e todas as opiniões têm igual peso, evitando o problema de personalidades dominantes. Além disso, os participantes não precisam ser reunidos em um só lugar e ao mesmo tempo. Caso as questões de investigação sejam tratadas através do uso de questionários e a finalidade da investigação seja essencialmente exploratória, a metodologia Delphi é uma excelente ferramenta de pesquisa, já que sua aplicação é relativamente barata e permite uma maneira rápida de obter dados através de uma forma eficaz e cientificamente válida. Em contraste, a desvantagem desta abordagem é que se trata de uma técnica laboriosa e de aplicação demorada, dado que os participantes precisam ser capazes de expressar os seus pontos de vista de forma clara. É também uma abordagem que apresenta uma baixa consistência interna típica de opiniões entre especialistas e, portanto, uma baixa reprodutibilidade das previsões com base nos resultados. Deve haver uma sensibilidade dos mesmos em relação à ambiguidade e reatividade dos entrevistados nos questionários usados para recolher informações, e é difícil avaliar o grau de conhecimento dos especialistas que participaram. 6.5 TRATAMENTO E ANÁLISE DOS DADOS O questionário Delphi foi enviado por correio eletrônico para cada um dos 91 especialistas que confirmaram a participação no painel. No anexo 2 foram apresentadas, respectivamente, a carta convite para participar em painel de especialistas e o texto do e-mail enviado aos especialistas na primeira, segunda e terceira rondas. No anexo 3 foram apresentados os questionários aplicados nestas rondas. Cada especialista preencheu o questionário e devolveu-o novamente por via eletrônica. Na primeira ronda as questões foram apresentadas ao painel, em que as variáveis em estudo são discretas, categóricas e quantitativas do tipo ordinal (Hill & Hill, 2002; Ramos, 2013). Para Skulmoski et al. (2007) o processo é considerado como concluído quando as respostas se aproximam do consenso. Portanto, no final da primeira ronda compararam-se as classificações atribuídas pelos peritos participantes, com o intuito de perceber se havia consenso entre os mesmos nas respostas fornecidas. Os dados obtidos foram tratados através de estatística descritiva. Foram então calculadas a média, a mediana, o desvio padrão, o percentil 25 (Q1), o percentil 75 (Q3) e o intervalo interquartil (IQR) (Ramos, 2013). 68 Na figura 10 apresenta-se um diagrama de extremos e de quartis (ou box plot ), para melhor percepção dos valores considerados. O intervalo interquartil (IQR), também designado por amplitude inter-quartílica, é uma medida de dispersão para a mediana, consistindo na média de 50% das observações e correspondendo ao intervalo entre o primeiro e terceiro quartil. Assim, um IQR inferior a 1 significa que mais de 50% de todas as opiniões recaem num determinado ponto da escala (Ramos, 2013; von der Gracht & Darkow, 2010). Segundo Bryman & Cramer (1993) o consenso é indicado pela distância entre o primeiro e o terceiro quartil e a mediana, unidades de medida mais robustas que são menos sensíveis a casos isolados e aplicáveis no caso de variáveis ordinais, como é o caso do questionário elaborado. A mediana indica o grau de suporte do grupo para cada fator e, se for elevada, conclui-se que existe um elevado suporte do grupo. Segundo Landeta (1999), por consenso entende-se o grau de convergência das estimativas individuais que se alcança quando as opiniões apresentam um grau aceitável de proximidade (Ramos, 2013). De fato, a apresentação dos quartis permite uma avaliação do grau de convergência das respostas. Os quartis são usados para ajudar a medir a variabilidade ou dispersão dos dados observados. O primeiro quartil é um valor variável, de tal forma que o número de observações para valores inferiores é de 25% e para superiores, 75%, ou seja, o primeiro quartil (Q1) refere-se 69 Figura 10 - Diagrama de extremos e de quartis (adaptada de Santos, 2010) a 25% de concordância entre os peritos e o terceiro quartil refere-se a 75% de concordância (Astigarraga, 2005; Ramos, 2013; Santos, 2010). O IQR é a diferença entre o 3o e o 1o quartil, intervalo onde se situam 50% dos valores centrais. Quanto maior a amplitude do intervalo (valor do IQR), maior é a dispersão nos dados, pelo que uma pequena amplitude inter-quartílica indica uma pequena variação nas respostas dos membros do painel, o que mostra que chegaram a um consenso (Bryman & Cramer, 1993). Uma amplitude inter-quartílica de 0 indica um consenso perfeito entre os membros do painel (Ramos, 2013). O tratamento estatístico dos Diagramas de Extremos e de Quartis da primeira, segunda e terceira rondas foi feito com o apoio do Programa IBM SPSS Statistics 24. Na figura 11 apresenta-se a localização dos chamados “ outliers ”. Um outlier é qualquer valor que esteja defasado do restante do conjunto de dados, ou seja, que é excessivamente alto ou excessivamente baixo (Santos, 2010). O círculo e o asterisco representam casos extremos. O círculo representa uma situação quando o valor mínimo ou máximo se encontra a menos, ou a mais, de 1,5 IQR mas menos de 3 IQR de Q1 ou Q3 (designando-se por outlier moderado). O asterisco representa casos mais extremos e que se encontra a uma distância maior de 3 IQR de Q1 ou Q3 (chamado “faroutlier” ou “outlier extremo”). Esta notação segue a norma definida no SPSS, assim como em outros programas de estatística convencional (Statistica, SAS, R) (Ramos, 2013). 70 Figura 11 - “Outliers” moderados (o) e severos (*) (adaptada de Santos, 2010) Há diversos critérios para estabelecer o momento em que se atinge um consenso (Fink et al., 1984). Face aos resultados obtidos na primeira ronda, nesta tese estabeleceu-se como critério de consenso a verificação de que a amplitude inter-quartílica fosse menor ou igual a 1 (Ramos, 2013). Na segunda ronda da investigação Delphi é comunicado a cada perito o resultado da análise da primeira ronda, com o resultado da mediana do grupo para cada questão e com destaque na resposta original de cada elemento. A segunda ronda foi lançada em outubro de 2017 e o questionário da segunda ronda encontra-se no anexo 3. Decidiu-se enviar aos peritos o mesmo questionário da primeira ronda, mas já com os resultados tratados. Nesta segunda ronda foi indicada a cada perito a “zona de consenso” com um retângulo em vermelho, considerando o valor da mediana das respostas do painel e um desvio de mais ou menos um nível; a resposta dada pelo perito correspondente foi também apresentada (Ramos, 2013). Os especialistas foram convidados a indicar sua concordância ou discordância com relação à zona de consenso. As seguintes alternativas eram possíveis: (a) manter a resposta original e (b) reavaliar a resposta inicial e alterá-la. No caso de a resposta final do perito ficar fora da zona de consenso, o perito era convidado a indicar sumariamente o principal motivo que o levou a manter esta resposta, usando uma caixa de texto disponível para este fim no final do questionário (Ramos, 2013). Face aos resultados obtidos na segunda ronda, foi decidido desenvolver uma terceira ronda da investigação. Na terceira ronda foi enviado a cada perito o mesmo questionário com a resposta dada pelo respectivo perito na segunda ronda, acompanhado da indicação do valor atualizado da mediana das respostas do painel. No anexo 3 encontra-se o questionário da terceira ronda (Ramos, 2013). Simultaneamente, foi enviada a cada perito uma síntese dos comentários produzidos pelo painel na 2a ronda, a qual encontra-se no anexo 4. Foi então concedida a cada perito uma última oportunidade para avaliar a suas respostas no questionário, decidindo mantê-las ou alterá-las, tendo em consideração os comentários dos grupos de peritos em algumas questões/seções do questionário e a comparação da sua resposta com o valor da mediana obtida após a 2a ronda (Ramos, 2013). 71 7 ANÁLISE E DISCUSSÃO DOS RESULTADOS 7.1 DESENVOLVIMENTO DE INDICADORES SOBRE CULTURA DE SEGURANÇA Esta seção contempla a abordagem a respeito da seleção de indicadores e classificação do grau de importância dos indicadores. 7.1.1 Seleção de indicadores A configuração coincidente dos números de referência encontrados (6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 21.1, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2) e suas diferentes definições citadas nos conceitos similares entre as possíveis combinações das EIOSSO, apresentados na tabela 9, pode ser agrupada em 22 questões diferentes entre si. Tais questões representam os indicadores que podem medir o desempenho sobre a cultura de segurança como uma forma de FHE em nível de grupo em uma organização. A cultura de segurança como uma forma de fatores humanos em nível de grupo tem o objetivo de entender as interações entre as características psicológicas compartilhadas de um grupo (cultura) e outros elementos do sistema de trabalho no intuito de projetar estruturas / sistemas / gestão organizacional, os quais otimizam o desempenho em segurança (Edwards, 2015). Ou seja, a cultura mencionada acima é representada pelo conceito (viii: “cultura de segurança”) e os outros elementos do sistema de trabalho representados pelos demais 18 conceitos. Em que a ênfase das estruturas organizacionais que otimizam o desempenho em segurança ocorre no âmbito interno das atividades realizadas nas organizações, pois resulta no desempenho mínimo aceitável (seguro e efetivo) em segurança pela integração dos fatores humano-técnicoorganizacional (Abraha & Liyanage, 2014). Os conceitos (xii) Normas (ISO e OHSAS) e (xiii) Legislações são os únicos que estão relacionados com o âmbito externo das atividades realizadas fora das organizações, constituindose nos aspectos que poderão afetar o desempenho mínimo aceitável em segurança, ou seja, podendo conduzir à insegurança e não efetividade deste desempenho. No entanto, a abrangência dos conceitos (xii) e (xiii) se fez necessária neste estudo para permitir um nível mínimo de flexibilidade quanto ao uso destes conceitos para a priorização de 22 questões que consigam integrar os fatores humano-técnico-organizacional mais relevantes. 72 As 22 questões podem ser representadas como descrito abaixo no questionário intitulado “Grade da Cultura de Segurança como uma Forma de Fatores Humanos ou Ergonômicos em Nível de Grupo”, em que os números de referência equivalentes estão explicitados entre parêntesis: 1 a questão (6.1 e 21.1) : Para conseguir um controle de segurança holístico dentro de uma organização são levados em consideração todos os aspectos diferentes, incluindo cultura. 2 a questão (6.3) : Erros humanos são prevenidos ao levar em consideração os Fatores Humanos ou Ergonômicos (FHE; os quais se referem ao comportamento humano como um resultado da intervenção de diferentes fatores - trabalho e as tarefas / característica individual e atitudes / valor, crenças, cultura, com relação à organização / os aspectos sociais no contexto - envolvidos em uma empresa, como um sistema que busca atingir um objetivo). 3 a questão (6.2) : Focar nos Fatores Humanos ou Ergonômicos (FHE) e no comportamento humano, como sendo o principal contribuinte do sistema, é uma necessidade para alcançar uma situação mais segura. 4 a questão (8.1 e 10.1) : Fatores Humanos ou Ergonômicos (FHE) são levados em consideração quanto aos cuidados no suporte. 5 a questão (8.2) : Implementar a cultura de Segurança, Saúde e Ambiente (SSA) tem efeitos positivos sobre os Fatores Humanos ou Ergonômicos (FHE) no local de trabalho, e os benefícios da cultura de SSA ajustam-se ao objetivo principal de FHE. 6 a questão (8.3) : Consciência, comunicação e cooperação entre grupos responsáveis são considerados como fatores cruciais para se alcançar um programa efetivo de Fatores Humanos ou Ergonômicos (FHE). 7 a questão (20.1) : Existem duas dimensões de indicadores de segurança: segurança pessoal (ou acidentes ocupacionais) e de processo, e indicadores pró-ativos e reativos. 8 a questão (12.1 e 20.2) : Segurança pessoal não representa a gestão de perigos nos processos. 9 a questão (12.2 e 29.1) : A informação que resulta dos indicadores de segurança pró-ativos e reativos é usada para dar seguimento aos resultados como uma forma de corrigir os erros no sistema de gestão de segurança, e de revisar o desempenho com relação a todos os indicadores a fim de avaliar, com regularidade, a efetividade deste sistema de gestão. 73 As respostas obtidas pelo painel da segunda ronda encontram-se representadas em um Diagrama de Extremos e Quartis, na figura 13, englobando as sete seções do questionário. Porém, para a segunda ronda não se apresenta a argumentação dos Diagramas quanto ao consenso entre os peritos por serem muito semelhantes aos da primeira ronda. Conforme mencionado na metodologia, apresenta-se no anexo 4 uma síntese dos comentários apresentados pelo painel de especialistas, conjuntamente com o questionário da segunda ronda no anexo 2, como justificativa para o fato de pretenderem manter a sua resposta, apesar de a mesma se afastar do intervalo de consenso. 7.2.3 Terceira ronda do método Delphi Conforme referido na metodologia, na terceira ronda foi mais uma vez solicitado aos 41 especialistas (que responderam ao questionário da segunda ronda) para reavaliarem as suas respostas, levando em consideração os resultados e também os comentários realizados na segunda ronda. 80 Figura 13 - Diagrama de Extremos e Quartis da segunda ronda para os 5 grupos de peritos, englobando as sete seções do questionário. Dos 41 peritos que responderam ao questionário da segunda ronda, 25 enviaram o questionário completo com as respostas revistas. As respostas completas são apresentadas em uma folha Excel no anexo 4. Nesta ronda, verificou-se que o número de questões com IQR ≤ 1 foi de 33 (incluindo 7 questões com IQR = 0). As respostas obtidas pelo painel da terceira ronda encontram-se representadas em um Diagrama de Extremos e Quartis, na figura 14, englobando as sete seções do questionário. Na seção 1, “Política”, verificou-se a seguinte situação em termos de consenso entre os peritos: Na questão 1 a avaliação das respostas vai do mínimo (3) ao máximo (4), e na questão 2 vai do mínimo (3) ao máximo (5). Na identificação das questões com maior consenso, foi utilizada a condição IQR ≤ 1 (Ramos et al., 2012). Assim, foram identificadas a questão 1 (respostas entre 3,5 e 3 na escala de Likert) e questão 2 (entre 5 e 4). A questão 1 apresentou valores extremos. 81 Figura 14 - Diagrama de Extremos e Quartis da terceira ronda para os 5 grupos de peritos, englobando as sete seções do questionário. Nenhuma questão foi identificada com mediana igual a 5. Na seção 2, “Organização”, verificou-se a seguinte situação em termos de consenso entre os peritos: Na questão 1 a avaliação das respostas vai do mínimo (2) ao máximo (5), na questão 2 vai do mínimo (3) ao máximo (5), e na questão 3 vai do mínimo (4) ao máximo (5). Na identificação das questões com maior consenso, foi utilizada como medida o IQR ≤ 1. Assim, foram identificadas a questão 1 (respostas entre 4 e 3 na escala de Likert), a questão 2 (entre 5 e 4) e questão 3 (entre 4,5 e 4), em que as questões 1 e 3 também exibiram valores extremos. No entanto, foi nas questões 4 e 5 (respectivamente, “Percentagem de procedimentos do Sistema de Gestão em Segurança e Saúde Ocupacionais (SGSSO) melhorados devido a ações corretivas” e “Número de reuniões conduzidas por gestores para informar os trabalhadores sobre questões em SSO”), com menor IQR (=0), que se obteve valores mais extremos. Nenhuma questão foi identificada com mediana igual a 5. Na seção 3, “Planeamento e Implementação”, verificou-se a seguinte situação em termos de consenso entre os peritos: Nas questões 1, 2, 4, 5 e 6 a avaliação das respostas vai do mínimo (3) ao máximo (5). Na questão 5 a distância interquartílica obtida foi superior a 1 (=1,5). Na identificação das questões com maior consenso, foi utilizada como medida o IQR ≤ 1. Assim, foram identificadas as questões 1, 2 e 3 (respostas entre 5 e 4 na escala de Likert); as questões 4 e 6 (entre 4 e 3); e a questão 7 (entre 4,5 e 4), em que as questões 1 e 7 também exibiram valores extremos. Apenas a questão 3 foi identificada com mediana igual a 5. Na seção 4, “Avaliação”, verificou-se a seguinte situação em termos de consenso entre os peritos: Na questão 4 a avaliação das respostas vai do mínimo (1) ao máximo (5). Neste caso, a distância interquartílica obtida foi superior a 1 (2 para a questão 4). Na identificação das questões com maior consenso, foi utilizada como medida o IQR ≤ 1. Assim, foram identificadas a questão 1 (respostas entre 4,5 e 4 na escala de Likert); 82 questão 2 (entre 4,5 e 3,5); questão 3 (entre 4 e 3), em que a questão 1 também exibiu valores extremos. Nenhuma questão foi identificada com mediana igual a 5. Na seção 5, “Ações para Melhoria”, verificou-se a seguinte situação em termos de consenso entre os peritos: Na questão 1 a avaliação das respostas vai do mínimo (4) ao máximo (5), e na questão 2 vai do mínimo (2) ao máximo (5). Na identificação das questões com maior consenso, foi utilizada como medida o IQR ≤ 1. Assim, foram identificadas as questões 1 (respostas entre 5 e 4 na escala de Likert) e 2 (entre 4 e 3), em que as mesmas também exibiram valores extremos. A questão 1 foi identificada com mediana igual a 5. Na seção 6, “Desempenho Organizacional”, verificou-se a seguinte situação em termos de consenso entre os peritos: Na questão 1 a avaliação das respostas vai do mínimo (2) ao máximo (5). Nas questões 2, 3, 5, 6 e 7 vai do mínimo (3) ao máximo (5). Na identificação das questões com maior consenso, foi utilizada como medida o IQR ≤ 1. Assim, foram identificadas a questão 1 (respostas entre 4 e 3 na escala de Likert); questões 2, 3, 5, 6 e 7 (entre 5 e 4), em que as questões 5 e 6 também exibiram valores extremos. No entanto, foi nas questões 4 e 8 (respectivamente, “Percentagem de trabalhadores e supervisores que possui a informação necessária para trabalhar com segurança” e “Percentagem de trabalhadores que possui as ferramentas e / ou equipamentos que necessitam para completar o seu trabalho com segurança”), com menor IQR (=0), que se obteve valores mais extremos. As questões 3, 4, 6 e 8 foram identificadas com mediana igual a 5. Na seção 7, “Cultura de Segurança”, verificou-se a seguinte situação em termos de consenso entre os peritos: Nas questões 2 e 4 a avaliação das respostas vai do mínimo (3) ao máximo (5). 83 Na identificação das questões com maior consenso, foi utilizada como medida o IQR ≤ 1. Assim, foram identificadas as questões 1, 2, 3, 4, 5 e 6 (respostas entre 5 e 4 na escala de Likert), em que as questões 2 e 3 também exibiram valores extremos. As questões 1, 5 e 6 foram identificadas com mediana igual a 5. 7.2.4 Modelo de safety dashboard proposto A tabela 11 apresenta a evolução da opinião do painel de especialistas (5 grupos) ao longo das três rondas Delphi e em cada seção do questionário. Os resultados mostram o aumento do consenso nas três rondas, atingindo os 100% nas perguntas das seções 1, 2, 3, 5, 6 e 7. Os resultados que sejam obtidos a partir destes questionários devem ser úteis para as empresas. Ou seja, os questionários fazem parte de um modelo de “ safety dashboard ” (painel de controle de segurança), que parta do princípio do “ balanced scorecard ”, e que possa ser utilizado pelas empresas e considere apenas os indicadores mais importantes, isto é, os que resultem de um consenso alargado. Para o desenvolvimento de um modelo de safety dashboard optou-se por selecionar os aspectos que o painel de especialistas considerou como especialmente importantes, bem como aqueles em que houve maior consenso, após os resultados da terceira ronda. Assim, considerou-se os aspectos especialmente importantes e com elevado consenso: questões nas quais as respostas apresentam uma mediana igual a 5,0 com IQR ≤ 1. 84 Tabela 11 - Evolução da percentagem de situações com IQR ≤ 1 em cada ronda para os 5 grupos de peritos Seção do questionário Ronda 1 Ronda 2 Ronda 3 1. Política 100,0% 100,0% 100,0% 2. Organização 60,0% 80,0% 100,0% 3. Planeamento e implementação 85,7% 100,0% 100,0% 4. Avaliação 50,0% 75,0% 75,0% 5. Ações para melhoria 100,0% 100,0% 100,0% 6. Desempenho organizacional 100,0% 100,0% 100,0% 7. Cultura de segurança 100,0% 100,0% 100,0% A tabela 12 apresenta as 12 questões que o painel de especialistas considerou que eram especialmente importantes (mediana igual a 5,0) e com elevado consenso (IQR ≤ 1). Teremos, adicionalmente, tipos de dashboards personalizados para cada um dos 5 grupos de peritos. Neste caso, haverá um dashboard para os Acadêmicos (A), os Auditores Externos (AE), os Gestores (G), os Inspetores do trabalho (I) e os Técnicos de segurança (T). Os resultados completos das rondas 1, 2 e 3 para os Acadêmicos (A), Auditores Externos (AE), Gestores (G), Inspetores do trabalho (I) e Técnicos de segurança (T) são exibidos, respectivamente, em folhas Excel no anexo 4. A tabela 13 apresenta a evolução da opinião do painel de Acadêmicos (A) ao longo das três rondas Delphi e em cada seção do questionário. 85 Tabela 12 - Lista das questões com maior relevância e consenso após a terceira ronda Delphi para os 5 grupos de peritos 1. Política 2. Organização 3. Planeamento e implementação 4. Avaliação 5. Ações para melhoria 6. Desempenho organizacional 7. Cultura de segurança * questão excluída nas rondas 2 e 3 ** questão excluída na ronda 3 Seção Questão: alta relevância e elevado consenso IQR ≤ 1 Mediana = 5,0 __ __ 3 1, 2**, 5 e 6 __ 1 3, 4, 5**, 6, 7* e 8 Tabela 13 - Evolução da percentagem de situações com IQR ≤ 1 em cada ronda para os Acadêmicos (A) Seção do questionário Ronda 1 Ronda 2 Ronda 3 1. Política 50,0% 100,0% 100,0% 2. Organização 60,0% 60,0% 100,0% 3. Planeamento e implementação 85,7% 71,4% 100,0% 4. Avaliação 50,0% 50,0% 100,0% 5. Ações para melhoria 50,0% 50,0% 50,0% 6. Desempenho organizacional 100,0% 87,5% 87,5% 7. Cultura de segurança 100,0% 100,0% 100,0% Os resultados mostram o aumento do consenso nas três rondas, atingindo os 100% nas perguntas das seções 1, 2, 3, 4 e 7. Na seção 6 se verificou uma redução pelo fato de deixar de haver consenso em uma das 8 perguntas entre as rondas 1 e 2. Se analisarmos em pormenor esta situação, verificou-se que nenhum dos 18 Acadêmicos (A) alterou as suas respostas em 1 das questões em causa (pergunta 2), pelo que esta aparente “anomalia” se deve à redução de 25 para 18 do número de especialistas e não a uma real diminuição de consenso entre o painel. A tabela 14 apresenta as 13 questões que o painel de Acadêmicos (A) considerou que eram especialmente importantes (mediana igual a 5,0) e com elevado consenso (IQR ≤ 1). A tabela 15 apresenta a evolução da opinião do painel de Auditores Externos (AE) ao longo das três rondas Delphi e em cada seção do questionário. 86 Tabela 14 - Lista das questões com maior relevância e consenso após a terceira ronda Delphi para os Acadêmicos (A) 1. Política 2. Organização 3. Planeamento e implementação 4. Avaliação 5. Ações para melhoria 6. Desempenho organizacional 7. Cultura de segurança * questão excluída na ronda 2 ** questão excluída na ronda 3 1, 2, 5** e 6 __ __ 3, 4, 5, 6*, 7 e 8 __ 2** 1 e 3 Seção Questão: alta relevância e elevado consenso IQR ≤ 1 Mediana = 5,0 Tabela 15 - Evolução da percentagem de situações com IQR ≤ 1 em cada ronda para os Auditores Externos (AE) Seção do questionário Ronda 1 Ronda 2 Ronda 3 1. Política 0,0% 0,0% 100,0% 2. Organização 60,0% 40,0% 60,0% 3. Planeamento e implementação 100,0% 71,4% 85,7% 4. Avaliação 0,0% 25,0% 75,0% 5. Ações para melhoria 50,0% 50,0% 50,0% 6. Desempenho organizacional 62,5% 75,0% 62,5% 7. Cultura de segurança 50,0% 66,7% 66,7% Os resultados mostram o aumento do consenso nas três rondas, atingindo os 100% nas perguntas apenas da seção 1. Na seção 2 se verificou uma redução pelo fato de deixar de haver consenso em 3 das 5 perguntas entre as rondas 1 e 2. Se analisarmos em pormenor esta situação, verificou-se que nenhum dos 4 Auditores Externos (AE) alterou as suas respostas em 3 das questões em causa (perguntas 1, 3 e 4), pelo que esta aparente “anomalia” se deve à redução de 8 para 4 do número de especialistas e não a uma real diminuição de consenso entre o painel. Na seção 3 se verificou uma redução pelo fato de deixar de haver consenso em 2 das 7 perguntas entre as rondas 1 e 2. Se analisarmos em pormenor esta situação, verificou-se que nenhum dos 4 Auditores Externos (AE) alterou as suas respostas em 2 das questões em causa (perguntas 1 e 4), pelo que esta aparente “anomalia” se deve à redução de 8 para 4 do número de especialistas e não a uma real diminuição de consenso entre o painel. Na seção 6 se verificou uma redução pelo fato de deixar de haver consenso em 3 das 8 perguntas. Se analisarmos em pormenor esta situação, verificou-se que nenhum dos 2 Auditores Externos (AE) alterou as suas respostas em 3 das questões em causa (perguntas 4, 5 e 6), pelo que esta aparente “anomalia” se deve à redução de 4 para 2 do número de especialistas e não a uma real diminuição de consenso entre o painel. A tabela 16 apresenta as 5 questões que o painel de Auditores Externos (AE) considerou que eram especialmente importantes (mediana igual a 5,0) e com elevado consenso (IQR ≤ 1). 87 Tabela 16 - Lista das questões com maior relevância e consenso após a terceira ronda Delphi para os Auditores Externos (AE) 1. Política 2. Organização 3. Planeamento e implementação 4. Avaliação 5. Ações para melhoria 6. Desempenho organizacional 7. Cultura de segurança * questão excluída nas rondas 2 e 3 ** questão incluída na ronda 2 __ 3** 1 4** e 8 __ __ 5* Seção Questão: alta relevância e elevado consenso IQR ≤ 1 Mediana = 5,0 A tabela 17 apresenta a evolução da opinião do painel de Gestores (G) ao longo das três rondas Delphi e em cada seção do questionário. Os resultados mostram a manutenção do consenso nas três rondas, atingindo os 100% nas perguntas das seções 1, 2, 3, 4, 5, 6 e 7. A tabela 18 apresenta as 6 questões que o painel de Gestores (G) considerou que eram especialmente importantes (mediana igual a 5,0) e com elevado consenso (IQR ≤ 1). A tabela 19 apresenta a evolução da opinião do painel de Inspetores do trabalho (I) ao longo das três rondas Delphi e em cada seção do questionário. 88 Tabela 17 - Evolução da percentagem de situações com IQR ≤ 1 em cada ronda para os Gestores (G) Seção do questionário Ronda 1 Ronda 2 Ronda 3 1. Política 100,0% 100,0% 100,0% 2. Organização 100,0% 100,0% 100,0% 3. Planeamento e implementação 100,0% 100,0% 100,0% 4. Avaliação 75,0% 100,0% 100,0% 5. Ações para melhoria 100,0% 100,0% 100,0% 6. Desempenho organizacional 100,0% 100,0% 100,0% 7. Cultura de segurança 100,0% 100,0% 100,0% Tabela 18 - Lista das questões com maior relevância e consenso após a terceira ronda Delphi para os Gestores (G) 1. Política 2. Organização 3. Planeamento e implementação 4. Avaliação 5. Ações para melhoria 6. Desempenho organizacional 7. Cultura de segurança 1 e 3 __ __ 3, 4 e 8 __ 2 __ Seção Questão: alta relevância e elevado consenso IQR ≤ 1 Mediana = 5,0 Os resultados mostram a manutenção do consenso nas três rondas, atingindo os 100% nas perguntas das seções 1, 2, 3, 4, 5, 6 e 7. A tabela 20 apresenta as 14 questões que o painel de Inspetores do trabalho (I) considerou que eram especialmente importantes (mediana igual a 5,0) e com elevado consenso (IQR ≤ 1). A tabela 21 apresenta a evolução da opinião do painel de Técnicos de segurança (T) ao longo das três rondas Delphi e em cada seção do questionário. 89 Tabela 19 - Evolução da percentagem de situações com IQR ≤ 1 em cada ronda para os Inspetores do trabalho (I) Seção do questionário Ronda 1 Ronda 2 Ronda 3 1. Política 100,0% 100,0% 100,0% 2. Organização 100,0% 100,0% 100,0% 3. Planeamento e implementação 100,0% 100,0% 100,0% 4. Avaliação 100,0% 100,0% 100,0% 5. Ações para melhoria 100,0% 100,0% 100,0% 6. Desempenho organizacional 100,0% 100,0% 100,0% 7. Cultura de segurança 100,0% 100,0% 100,0% Tabela 20 - 20Lista das questões com maior relevância e consenso após a terceira ronda Delphi para os Inspetores do trabalho (I) 1. Política 2. Organização 3. Planeamento e implementação 4. Avaliação 5. Ações para melhoria 6. Desempenho organizacional 7. Cultura de segurança * questão excluída nas rondas 2 e 3 ** questão excluída na ronda 2 *** questão excluída na ronda 3 **** questão incluída na ronda 3 1**, 2****, 4****, 5 e 6**** __ 1**** 3****, 4****, 5**** e 8**** __ __ 1*, 3****, 5*** e 7** Seção Questão: alta relevância e elevado consenso IQR ≤ 1 Mediana = 5,0 individuais de um funcionário e decisões tomadas pela gestão organizacional. As simulações foram capazes de capturar o compromisso entre o número de relatórios de quase acidente e horas de trabalho. Essas simulações de política de gestão são particularmente relevantes para sistemas complexos ultra-seguros, e ajudam a enfatizar como os sistemas continuarão a enfrentar compromissos relacionados à segurança, apesar de superar os compromissos mais comumente relatados, sendo os mesmos associados à perdas de produção tangíveis a partir de incidentes. A discussão enfatiza que as políticas de gestão, para influenciar a fadiga do trabalhador, devem considerar adequadamente o estado atual do sistema. Por último, para avaliar a melhoria necessária da efetividade de sistemas de gestão em SSO (Podgórski, 2015), seria relevante efetuar um estudo sobre a aplicabilidade dos indicadores próativos operacionais em SSO priorizados nesta tese, considerando a influência de diferentes nacionalidades de peritos em SSO e de diferentes graus de importância atribuídos como critério para priorização dos indicadores no modelo de safety dashboard proposto. 96 REFERÊNCIAS BIBLIOGRÁFICAS Abraha, H. H. & Liyanage, J. P. (2014). Human and organizational factors contribution to the occurrence of major accidents using offshore accidents as a case study. Edited by Ahram, T., Karwowski, W., & Marek, T. Proceedings of the 5th International Conference on Applied Human Factors and Ergonomics AHFE 2014 , Kraków, Poland, 19-23, 4340-4353. Aburumman, M., Newnam, S. & Fildes, B. (2019). Evaluating the effectiveness of workplace interventions in improving safety culture: A systematic review. Saf. Sci. 115, 376–392. https://doi.org/10.1016/j.ssci.2019.02.027. Adler, M., & Ziglio. E. (1996). Gazing into the oracle: The Delphi Method and its application to social policy and public health . London: Jessica Kingsley Publishers. Asadzadeh, S. M., Azadeh, A., Negahban, A. & Sotoudeh, A. (2013). Assessment and improvement of integrated HSE and macro-ergonomics factors by fuzzy cognitive maps: The case of a large gas refinery. Journal of Loss Prevention in the Process Industries , 26, 10151026. Astigarraga, E. (2005). El método Delphi . Universidad de Deusto, Facultad de CC.EE. y Empresariales. ESTE. Consultado em 10/11/2013, disponível em http://www.echalemojo.org/uploadsarchivos/metodo_delphi.pdf. Aviation Knowledge (2012). Safety management system: Description and benefits . The first aviation WikiJournal. Consultado em 24/04/2014, disponível em http://aviationknowledge.wikidot.com/aviation:safety-management-system. Azadeh, A., Fam, I. M. & Azadeh, M. A. (2009). Integrated HSEE management systems for industry: A case study in gas refinery. Journal of the Chinese Institute of Engineers , 32(2), 235-241. Azadeh, A., Fam, I. M., Khoshnoud, M. & Nikafrouz, M. (2008a). Design and implementation of a fuzzy expert system for performance assessment of an integrated Health, Safety and Environment (HSE) and ergonomics system: The case of a gas refinery. Inf. Sci. , 178, 42804300. 97 Azadeh, A., Fam, I. M., Nouri, J. & Azadeh, M. A. (2008b). Integrated Health, Safety, Environment and Ergonomics management system (HSEE-MS): An efficient substitution for conventional HSE-MS. Journal of Scientific and Industrial Research , 67, 403-411. Azadeh, A., JiryaeiSharahi, Z., Ashjari, B. & Saberi, M. (2013a). A flexible intelligent algorithm for identification of optimum mix of demographic variables for integrated HSEE-ISO systems: The case of a gas transmission refinery. Journal of Loss Prevention in the Process Industries , 26, 1159-1182. Azadeh, A., Rouzbahman, M. & Saberi, M. (2010). An artificial intelligent approach for evaluation of teamwork versus Health, Safety, Environment and Ergonomics (HSEE). In Salvendy, G. (ed.), Advances in human factors, ergonomics, and safety in manufacturing and service industries , USA: CRC Press, 1222-1231. Azadeh, A., Rouzbahman, M., Saberi, M. & Mohammad Fam, I. (2011). An adaptive neural network algorithm for assessment and improvement of job satisfaction with respect to HSE and ergonomics program: The case of a gas refinery. Journal of Loss Prevention in the Process Industries , 24(4), 361-370. Azadeh, A., Rouzbahman, M., Saberi, M., Valianpour, F. & Keramati, A. (2013b). Improved prediction of mental workload versus HSE and ergonomics factors by an adaptive intelligent algorithm. Journal of Loss Prevention in the Process Industries , 58, 59-75. Azadeh, A., Saberi, M., Rouzbahman, M. & Saberi, Z. (2013c). An intelligent algorithm for performance evaluation of job stress and HSE factors in petrochemical plants with noise and uncertainty. Journal of Loss Prevention in the Process Industries , 26, 140-152. Azadeh, A., Saberi, M., Rouzbahman, M. & Valianpour, F. (2015). A neuro-fuzzy algorithm for assessment of health, safety, environment and ergonomics in a large petrochemical plant. Journal of Loss Prevention in the Process Industries , 34, 100-114. Bamel, U.K., Pandey, R. & Gupta, A. (2020). Safety climate: systematic literature network analysis of 38 years (1980–2018) of research. Accid. Anal. Prev. 135, 105387. https://doi.org/10.1016/j.aap.2019.105387. Belton, I., MaDonald, A., Wright, G.& Hamlin, I. (2019). Improving the practical application of the Delphi method in group-based judgement: a six-step prescription for a well-founded and defensible process. Technological Forecasting and Social Change , 147, 72-82. 98 Bertolini, M. (2007). Assessment of human reliability factors: A fuzzy cognitive maps approach. International Journal of Industrial Ergonomics , 37, 405-413. Brown, M. G. (1998). Keeping score: using the right metrics to drive world-class performance . Quality Resources (distributed by AMACOM Books), New York, USA. Bryman,pA.p&pCramer,pD.p(1993).p Análise de dados em Ciências Sociais - Introdução às Técnicas Utilizando o SPSS ,pOeiras, Portugal:pCelta. Bugalia, N., Maemura, Y. & Ozawa, K. (2021). A system dynamics model for near-miss reporting in complex systems. Safety Science , 142, 105368. https://doi.org/10.1016/j.ssci.2021.105368. Bugalia, N., Maemura, Y.u. & Ozawa, K. (2020). Organizational and institutional factors affecting high-speed rail safety in Japan. Saf. Sci. 128, 104762. https://doi.org/ 10.1016/j.ssci.2020.104762. Bugalia, N., Maemura, Y. & Ozawa, K. (2019). Safety Culture in High-Speed Railways and the Importance of Top Management Decisions. SSRN Electron. J. 955 https://doi. org/10.2139/ssrn.3512286. Cambon, J., Guarnieri, F. & Groeneweg, J. (2005). Towards a new tool for measuring safety management systems performance. In: Rigaud, E., Hollnagel, E. (Eds.), Proceedings of the Second Resilience Engineering Symposium, 8-10 November 2006 , Antibes-Juan-les-Pins, France, Mines Paris, Les presses, Paris, 53-62. Cambon, J., Guarnieri, F., Groeneweg, J., Scholten, E., Hinrichs, J. & Lancioni, G. E. (2006). Bringing Tripod Delta to France for the analysis of organizational factors . In: Soares, G., Zio (Eds.), Safety and Reliability for Managing Risk. Francis Group, London, UK, 267-275. Carlucci, D. (2010). Evaluating and selecting key performance indicators: an ANP-based model. Meas. Bus. Excellence , 14(2), 66-76. Castillo, C. S. & Arezes, P. M. (2013). Theoretical complementarity between Human Factors / Ergonomics and Cognitive Engineering. In Fallon, E., Galicic, M., &O’Sullivan, L. (eds), Irish Ergonomics Review 2013 Proceedings of the Irish Ergonomics Society Annual Conference 2013 & Symposium on Human Factors in Healthcare and Patient Safety , Galway, 9 May 2013. Galway: Centre for Occupational Health and Safety Engineering and Ergonomics 99 (COSHEE), Irish Centre for Patient Safety, NUI Galway, and The Irish Ergonomics Society, ISSN 1649-2102, 41-49. Castillo, C. S., Arezes, P. M. & Shahriari, M. (2015a). Companies’ OHS internal structures: A characterization based on the literature review . Occupational Safety and Hygiene III – Arezes et al. (Eds.), Taylor & Francis Group, London, ISBN 978-1-138-02765-7, 53-57. Castillo, C. S., Arezes, P. M. & Shahriari, M. (2015b). Companies’ OHS internal structures: Types and theoretical foundations . International Symposium on Occupational Safety and Hygiene 2015 , Occupational Safety and Hygiene SHO2015 - Proceedings book , 70-72. Champoux, D. & Brun, J. J. (2003). Occupational health and safety management in small size enterprises: An overview of the situation and avenues for intervention and research. Saf. Sci. , 41, 301-318. Champoux, J. E. (1999). Organizational behavior. Essentials tenets for a new millennium . University of New Mexico: South-Western College Publishing. Chan, A. P. C. & Chan, A. P. I. (2004). Key performance indicators for measuring construction success. Benchmarking: Int. J. , 11(2), 203-221. Changchit, C. & Holsapple, C. W. (2001). Supporting managers’ internal control situations: An expert system and experimental results. Decis. Support Syst. , 30, 437-449. Chen, J. R. & Yang, Y. T. (2004). A predictive risk index for safety performance in process industries. J. Loss Prev. Process Ind. , 17, 233-242. Cooper, D. (1998). Improving safety culture . A practical guide. Wiley. Cooper, M. D. (2000). Towards a model of safety culture. Safety Science , 36, 111-136. Davoudian, K., Wu, J. -S. & Apostolakis, G. (1994). Incorporating organizational factors into risk assessment through the analysis of work processes. Reliability Engineering and System Safety, 45, 85-105. Delbeq, A., Van de Ven, A. & Gustafson, D. H. (1975). Group techniques for program planning: A guide to nominal group and Delphi processes . Glenview, USA: Scott, Foresman and Company. 100 Deming, E. (1986). Out of crisis . Massachusets Institute of Technology, Center for Advanced Engineering Study. Dodsworth, M., Connelly, K. E., Ellett, C. J. & Sharratt, P. (2007). Organizational climate metrics as safety, health and environment performance indicators and an aid to relative risk ranking within industry. Trans IChemE, Part B, Process Safety and Environmental Protection , 85(B1), 59-69. Dul, J., Bruder, R., Buckle, P., Carayon, P., Falzon, P., Marras, W. S., Wilson, J. R. & Doelen, B. V. D. (2012). A strategy for Human Factors / Ergonomics: Developing the discipline and profession. Ergonomics , 55(4), 377-395. Dul, J., de Vries, H., Verschoof, S., Eveleens, W. & Feilzer, A. (2004). Combining economic and social goals in the design of production systems by using ergonomics standards. Computers & Industrial Engineering , 47(2-3), 207-222. DuPont (2014). DuPont Sustainable Solutions (DSS): Overview . Consultado em 02/04/2014, disponível em http://www.dupont.com/products-and-services/consulting-services-processtechnologies/brands/sustainable-solutions.html. Duryan, M., Smyth, H., Roberts, A., Rowlinson, S. & Sherratt, F. (2020). Knowledge transfer for occupational health and safety: cultivating health and safety learning culture in construction firms. Accid. Anal. Prev. 139, 105496. https://doi.org/10.1016/j.aap.2020.105496. Edwards, J. R. D., Davey, J. & Armstrong, K. (2013). Returning to the roots of culture: A review and re-conceptualisation of safety culture. Safety Science , 55, 70-80. Edwards, J., Davey, J. & Armstrong, K. (2015). Cultural factors: Understanding culture to design organisational structures and systems to optimize safety. Procedia Manufacturing, 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences , 4896-4903. Elzinga, T., Albronda, B. & Kluijtmans, F. (2009). Behavorial factors influencing performance management systems’ use. Int. J. Prod. Perform. Manage . 58(6), 508-522. EPRI (2000). Guidelines for trial use of leading indicators of human performance: The human performance assistance package . 1000647. Palo Alto, CA, USA. 101 Executive Committee of the Shell International Limited (2009). HSEE and social performance – commitment and policy . Consultado em 02/04/2014, disponível em http://www.shell.com/global/environment-society/s-development/our-commitments-andstandards/hse-com-policy.html. Fam, M., Nikoomaramb, H. & Soltanian, A. (2012). Comparative analysis of creative and classic training methods in Health, Safety and Environment (HSE) participation improvement. J. Loss Prev. Process Ind. , 25(2), 250-253. Fink, A., Kosecoff, J. & Chassin, M. (1984). Brook RH. Consensus methods: characteristics and guidelines for use . American Journal of Public Health , 74(9), 979-983. Fowler, J. & Floyd, J. (1995). Improving survey questions: Design and evaluation . (Vol. 38). Thousand Oaks, CA: Sage Publications. Fowles, J. (1978). Handbook of futures research . Greenwood Press: Connecticut. French, R. W., Williams, D. D. & Wixom, E. D. (1996). Inherent safety, health, and environmental (SHE) reviews. Process Safety Progress , 15(1), 48-51. Gabryelewicz, I., Sadłowska-Wrzesinska, J. & Kowal, E. (2015a). Evaluation of safety climate level in a production facility. Procedia Manufacturing, 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences , 6211-6218. Gabryelewicz, I., Sadłowska-Wrzesinska, J., Kowal, E. & Kowal, A. (2015b). Safety climate level as a tool aiding safety management in a production facility. Procedia Manufacturing, 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences , 962-969. García-Herrero, S., Mariscal, M. A., Guitiérrez, J. M. & Ritzel, D. O. (2013). Using Bayesian networks to analyze occupational stress caused by work demands: Preventing stress through social support. Accident Analysis and Prevention , 57, 114-123. Geist, M. R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning , 33, 147-154. Geller, E. S. (1996). The psychology of safety . Pennsylvania: Chilton Book Company Randor. Glendon, A. I. & Stanton, N. A. (2000). Perspectives on safety culture. Safety Science , 34, 193214. 102 Glasow, P. A. (2005). Fundamentals of Survey Research Methodology . Consultado em 01/02/2013, disponivel em http://www.mitre.org/work/tech_papers/tech_papers_05/05_0638/05_0638.pdf. Gray, P. C. R. & Wiedemann, P. M. (1999). Risk management and sustainable development: mutual lessons from approaches to the use of indicators. Journal of Risk Research , 2, 201218. Guldenmund, F. W. (2000). The nature of safety culture: A review of theory and research. Safety Science , 34, 215-257. Guldenmund, F. W. (2007). The use of questionnaires in safety culture research – An evaluation. Safety Science , 45, 723-743. Guldenmund, F. W. (2010). (Mis)understanding safety culture and its relationship to safety management. Risk Analysis , 30(10), 1466-1480. Hassim, M. H. & Hurme, M. (2010). Inherent occupational health assessment during process research and development stage. Journal of Loss Prevention in the Process Industries , 23, 127-138. Hasanspahi´c, N., Franˇci´c, V., Vujiˇci´c, S. & Magli´c, L. (2020). Reporting as a Key Element of an Effective Near-Miss Management System in Shipping. Saf. , 6 (4), 53. https://doi. org/10.3390/safety6040053. Haukelid, K. (2008). Theories of (safety) culture revisited – an anthropological approach. Safety Science , 46, 413-426. Health and Safety Executive (HSE) (1995). Reporting of Injuries, Diseases and Dangerous Occurrences Regulations , London: HMSO. Health and Safety Executive (HSE) (2001). A Guide to Measuring Health & Safety Performance . Health and Safety Executive, UK. Consultado em 12/06/2013, disponível em http://www.hse.gov.uk/opsunit/perfmeas.pdf. Health and Safety Executive (HSE) (2013). Ergonomics and human factors at work: A brief guide . Consultado em 24/04/2014, disponível em http://www.hse.gov.uk/pubns/indg90.pdf. 103 Health and Safety Executive (HSE) (2015). Inspectors toolkit (draft): Human factors in the management of major accident hazards . Consultado em 02/12/2015, disponível em http://www.hse.gov.uk/humanfactors/topics/toolkit.pdf. Health and Safety Executive (HSE) & Chemical Industries Association (CIA) (2006). Developing process safety indicators: A step-by-step guide for chemical and major hazard industries . Health and Safety Executive, UK. Hellevik, O. (1999). Research methodology in sociology and political science . Universitetsforlaget, Oslo, Norway (In Norwegian). Herrera, I. A. & Hovden, J. (2008). Leading indicators applied to maintenance in the framework of resilience engineering: a conceptual approach. In: Hollnagel , E., Pieri, F., Rigaud, E. (Eds.), Proceedings of the 3rd Resilience Engineering Symposium, 28-30 October 2008 , Antibes-Juan Les Pins, France, Presses des Mines, Paris, 101-108. Hill, M. M. & Hill, A. (2002). Investigação por Questionario . 2a Edição. Edições Silabo. Lisboa. Hollnagel, E. (2008). Safety management – looking back or looking forward . In: Hollnagel, E., Nemeth, C. P., Dekker, S. (Eds.), Resilience Engineering Perspectives, Remaining sensitive to the possibility of failure, vol. 1. Ashgate Publishing Limited, Hampshire, UK, 63-78. Hollnagel, E., Pariès, J., Woods, D. & Wrethall, J. (Eds.) (2012). Resilience Engineering in Practice: A Guidebook . Ashgate Publishing Limited, Hampshire, UK. Hollnagel, E., Woods, D. E. & Leveson, N. (Eds.) (2006). Resilience Engineering: Concepts and precepts. Ashgate Publishing Limited, Hampshire, UK. Holmberg, J., Laakso, K., Lehtinen, E. & Johanson, G. (1994). Safety evaluation by living probabilistic safety assessment and safety indicators . In: TemaNord 1994:614, The Nordic Council of Ministers, Copenhagen, Denmark. Hopkins, A. (2019). Organising for Safety: How structure creates culture , First. ed. Cch Australia Limited, Sydney, Australia. Hopkins, A. (2009). Thinking about process safety indicators. Safety Science , 47, 460-465. Hurme, M., Tuomaala, M. & Turunen, I. (2003). General approach to connect business and engineering decisions in plant design. Computer Aided Chemical Engineering , 15, 493-498. 104 Hwang, M. I. & Lin, J. W. (1999). Information dimension, information overload and decision quality. J. Inform. Sic. , 25(3), 213-218. Ibrahim Shire, M., Jun, G.T. & Robinson, S. (2018). The application of system dynamics modelling to system safety improvement: Present use and future potential. Saf. Sci. 106, 104–120. https://doi.org/10.1016/j.ssci.2018.03.010. International Ergonomics Association (IEA) (2000). The Discipline of Ergonomics . Consultado em 11/01/2014, disponível em http://www.iea.cc. International Ergonomics Association (IEA) (2003). IEA triennial report, 2000-2003 . Santa Monica: IEA Press. Iselin, E. R. (1988). The effects of information load and information diversity on decision quality in a structured decision task. Acc. Organ. Soc. , 13(2), 147-164. ISO/IEC 31010 (2019). Risk management – Risk assessment techniques . 2a edição. IWH (2011). Benchmarking Organizational Leading Indicators for the Prevention and Management of Injuries and Illnesses: Final Report . Institute for Work & Health, Toronto, Ontario. IWH (2013). Developing Leading Indicators of Work Injury and Illness . Institute for Work & Health, Toronto, Ontario. Jacobs, R. & Goddard, M. (2007). How do performance indicators add up? An examination of composite indicators in public services. Public Money Manage , 27(2), 103-110. Japan International Center for Occupational Safety and Health (JICOSH) (2008). Concept of ‘Zero-accident Total Participation Campaign’ . Consultado em 24/04/2014, disponível em http://www.jniosh.go.jp/icpro/jicosh-old/english/zero-sai/eng/index.html. Jasiulewicz-Kaczmarek, M. & Drozyner, P. (2013). Social dimension of sustainable development – Safety and ergonomics in maintenance activities. Stephanidis, C. & Antona, M. (Eds.): Universal Access in Human-Computer Interaction, Design Methods, Tools, and Interaction Techniques for eInclusion, UAHCI/HCII 2013 , Part I, LNCS 8009. Springer, Heidelberg, 175-184. 105 Shea, T., De Cieri, H., Donohue, R., Cooper, B. & Sheehan, C. (2016). Leading indicators of occupational health and safety: An employee and workplace level validation study. Safety Science , 85, 293-304. Sheehan, C., Donohue, R., Shea, T., Cooper B. & De Cieri, H. (2016). Leading and lagging indicators of occupational health and safety: The moderating of safety leadership. Accident Analysis and Prevention , 92, 130-138. Shell Canada Limited (2004). Application for approval of the development plan for Niglintgak field project description . Safety plan, Section 11.1. Consultado em 24/04/2014, disponível em http://www.mackenziegasproject.com/theProject/regulatoryProcess/applicationSubmission /Documents/MGP_Nig_DPA_Section_11.pdf. Sheridan, T. B. (2014). Evaluating models in systems ergonomics with a taxonomy of model attributes. Applied Ergonomics , 45, 78-84. Skulmoski, G. J., Hartman, F. T. & Krahn, J. (2007). The Delphi Method for Graduate Research. Journal of Information Technology Education , 6, 1-21. Snook, S. A. (2000). Friendly fire . The accidental shootdown of U. S. black hawks over northern Iraq . Princeton: Princeton University Press. Step Change in Safety (SCS) (2003). Leading Performance Indicators. Guidance for Effective Use. Step Change in Safety . Aberdeen, UK. Consultado em 15/06/2013, disponível em http://www.stepchangeinsafety.net/knowledgecentre/publications/publication.cfm/ publicationid/26. StØrseth, F., Tinmannsvik, R. K. & Øien, K. (2009). Building safety by resilient organization – A case specific approach. In Proceedings of the European Conference on Safety and Reliability – ESREL, September 2009 . Prague/Czech Republic. Taylor & Francis. Subramanian, N. & Ramanathan, R. (2012). A review of applications of analytic hierarchy process in operations management. Int. J. Prod. Econ. , 138(2), 215-241. Tarrants, W. E. (1980). The Measurement of Safety Performance . Garland STPM Press, New York, USA. 112 Thorogood, J. L. (2012). Is there a place for the High Reliability Organisation in drilling? Paper IADC/SPE 151338 published at the Drilling Conference and Exhibition , San Diego, California, USA. Todd, R., LaPorte, P. & Consolini, M. (1991). “Working in practice but not in theory: Theoretical challenges of high-reliability organizations”. Journal of Public Administration Research and Theory : J-PART, 1(1), 19-48. Toriizuka, T. (2001). Application of Performance Shaping Factors (PSF) for work improvement in industrial plant maintenance tasks. International Journal of Industrial Ergonomics , 28, 225236. Vaidya, O. S. & Kumar, S. (2006). Analytic hierarchy process: an overview of applications. Eur. J. Oper. Res. , 169(1), 1-29. Venkataraman, N. (2008). Safety performance factor. Int. J. Occup. Saf. Ergon. (JOSE) , 14(3), 327-331. Vierendeels, G., Reniers, G., van Nunen, K. & Ponnet, K. (2018). An integrative conceptual framework for safety culture: The Egg Aggregated Model (TEAM) of safety culture. Saf. Sci. 103, 323–339. https://doi.org/10.1016/j.ssci.2017.12.021. von der Gracht, H. A. & Darkow, I.-L. (2010). Scenarios for the logistics services industry: A Delphi-based analysis for 2025. International Journal of Production Economics , 127, 46-59. Walker, D. & Cheyne, A. (2005). Further development of a corporate health and safety performance management index for use by business, investors, employees, the regulator and other stakeholders: validating the index , Centre for Hazard and Risk Management, Loughborough University, Research Report 335, Health and Safety Executive, UK. Wilpert, B. (2000). Organizational factors in nuclear safety . In: Kondo, S., Furuta, K. (Eds.), PSAM, vol. 5, Universal Academy Press, Inc., Tokyo, Japan, 1251-1265. Wilson, K. M., Helton, W. S. & Wiggins, M. W. (2013). Cognitive engineering. WIREs Cogn Sci , 4, 17-31. Wood Group (2012). HSE management system standard . Consultado em 24/04/2014, disponível em 113 http://www.woodgroup.com/SiteCollectionDocuments/hse/HSE_Management_System_St andard.pdf. Wurzelbacher, S. & Jin, Y. (2011). A framework for evaluating OSH program effectiveness using leading and trailing metrics. Journal of Safety Research , 42(3), 199-207. Zio, E. (2009). Reliability engineering: Old problems and new challenges. Reliability Engineering and System Safety , 94, 125-141. Zwetsloot, G. (2013). Key performance indicators. OSHwiki, European Agency for Safety and Health at Work. Consultado em 02/11/2014, disponível em http://oshwiki.eu/wiki/Key_performance_indicators. 114 ANEXO 1 Elementos-chave como conceitos para comparação entre EIOSSO a1 Números de referência encontrados e suas diferentes definições citadas em elementos-chave incluídos como conceitos (Castillo et al., 2015a) EIOSSO e sua versão integrada (Conceitos): Números de referência encontrados e diferentes definições citadas em elementos-chave incluídos como conceitos FHE (i) 4.1, 4.2, 6.1, 6.2, 6.3, 7.1, 7.2, 7.3, 8.1, 8.2, 8.3, 9.1, 9.2, 9.3, 9.4, 9.5, 10.1, 21.1, 24.1, 24.2, 35, 44; (ii) 8.1, 8.3, 9.4, 10.1; (iii) 4.1, 6.2, 6.3, 7.1, 8.1, 8.3, 9.4, 9.5, 10.1, 24.1, 35, 44; (iv) 4.1, 6.2, 6.3, 8.1, 8.2, 8.3, 9.3, 10.1, 24.1; (v) 6.1, 6.2, 6.3, 7.1, 9.3, 9.5, 21.1, 35, 44; (vi) 6.3; (vii) 8.1, 8.2, 9.2, 9.3, 10.1; (viii) 6.1, 6.2, 6.3, 8.2, 8.3, 9.2, 21.1; (ix) 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2; (x) 4.1, 6.2, 6.3, 8.1, 8.3, 10.1, 24.1; (xi) 4.1, 4.2, 6.3, 7.1, 9.5, 24.1, 24.2, 35, 44; (xii) 6.1, 8.2, 21.1; (xiii) 4.1, 8.2, 24.1; (xiv) 6.2, 6.3, 8.1, 8.2, 8.3, 9.4, 10.1; (xv) 6.2, 8.1, 8.3, 10.1; (xvi) 8.2, 9.1; (xvii) 4.1, 4.2, 6.2, 6.3, 7.1, 7.2, 7.3, 8.1, 8.2, 8.3, 9.5, 10.1, 24.1, 24.2, 35, 44; (xviii) 4.1, 4.2, 6.1, 6.2, 6.3, 7.1, 7.2, 8.1, 8.2, 8.3, 9.3, 9.4, 9.5, 10.1, 21.1, 24.1, 24.2, 35, 44; e (xix) 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 21.1. SSA (i) 4.3, 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 21.1, 23; (ii) 1.2, 6.4, 6.11, 6.18, 8.1, 8.3, 10.1, 10.2, 10.14, 19.1, 19.2, 26.1; (iii) 1.2, 2, 3, 6.2, 6.3, 6.4, 6.8, 6.11, 6.17, 6.18, 8.1, 8.3, 10.1, 10.2, 10.6, 10.9, 19.1, 19.2, 26.1; (iv) 1.2, 2, 3, 4.3, 6.2, 6.3, 6.5, 6.7, 6.9, 6.12, 6.13, 6.19, 8.1, 8.2, 8.3, 10.1, 10.3, 10.5, 10.7, 10.9, 10.15, 19.1, 19.2, 21.2, 23, 26.2, 32.1, 32.2, 43.1; (v) 1.1, 1.2, 4.3, 6.1, 6.2, 6.3, 6.5, 6.9, 6.12, 6.19, 10.3, 10.7, 10.15, 15.1, 19.1, 19.2, 21.1, 21.2, 23, 32.1, 32.2, 33; (vi) 4.3, 6.3, 6.5, 6.12, 6.13, 6.19, 10.3, 10.15, 23, 26.2, 32.1, 32.2, 43.1; (vii) 1.1, 1.2, 6.5, 6.14, 6.17, 6.18, 6.19, 8.1, 8.2, 10.1, 10.3, 10.13, 15.1, 19.1, 19.2, 21.2, 26.1, 32.2, 33, 43.1; (viii) 1.1, 1.2, 6.1, 6.2, 6.3, 6.7, 6.17, 6.18, 6.19, 8.2, 8.3, 10.5, 10.13, 15.1, 19.1, 19.2, 21.1, 21.2, 26.1, 33, 43.1; (ix) 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2; (x) 1.2, 4.3, 6.2, 6.3, 6.5, 6.8, 6.17, 6.18, 8.1, 8.3, 10.1, 10.3, 10.6, 23, 26.1, 32.2, 43.1; (xi) 4.3, 6.3, 6.16, 23; (xii) 1.1, 1.2, 4.3, 6.1, 6.7, 6.9, 6.14, 6.17, 6.18, 6.19, 8.2, 10.5, 10.7, 15.1, 19.1, 19.2, 21.1, 21.2, 23, 26.1, 33, 43.1; (xiii) 1.1, 6.9, 8.2, 10.7, 10.12, 15.1, 19.2, 33; (xiv) 1.1, 1.2, 2, 3, 4.3, 6.2, 6.3, 6.8, 6.17, 6.18, 8.1, 8.2, 8.3, 10.1, 10.6, 10.9, 10.10, 10.13, 10.14, 19.1, 19.2, 23, 26.1, 43.1; (xv) 1.1, 1.2, 2, 3, 4.3, 6.2, 6.6, 6.8, 6.9, 6.10, 6.19, 8.1, 8.3, 10.1, 10.4, 10.6, 10.7, 10.8, 10.9, 10.10, 10.11, 10.13, 10.14, 10.15, 15.1, 19.1, 19.2, 23, 26.1, 33, 43.1; (xvi) 1.1, 1.2, 4.3, 6.7, 6.17, 6.18, 6.19, 8.2, 10.5, 15.1, 19.1, 19.2, 21.2, 23, 26.1, 33, 43.1; (xvii) 1.1, 1.2, 4.3, 6.2, 6.3, 6.17, 6.18, 8.1, 8.2, 8.3, 10.1, 19.1, 19.2, 21.2, 23, 26.1, 43.1; (xviii) 1.1, 1.2, 2, 3, 4.3, 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.7, 6.8, 6.9, 6.10, 6.11, 6.12, 6.13, 6.14, 6.15, 6.16, 6.17, 6.18, 6.19, 8.1, 8.2, 8.3, 10.1, 10.2, 10.3, 10.4, 10.5, 10.6, 10.7, 10.8, 10.9, 10.10, 10.11, 10.12, 10.13, 10.14, 10.15, 15.1, 19.1, 19.2, 21.1, 21.2, 23, 26.1, 26.2, 32.1, 32.2, 33, 43.1; e (xix) 1.1, 1.2, 2, 3, 4.3, 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.8, 6.10, 6.11, 6.15, 6.17, 6.18, 8.1, 8.2, 8.3, 10.1, 10.2, 10.3, 10.4, 10.6, 10.8, 10.9, 10.10, 10.11, 10.14, 19.1,19.2, 21.1, 21.2, 23, 26.1, 32.2, 43.1. SSAE (i) 4.4, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 11, 16.1, 21.1, 27, 30.1, 31, 36.1, 37; (ii) 4.6, 4.8, 8.1, 8.3, 10.1, 16.1, 27, 30.1, 36.1, 37; (iii) 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 8.1, 8.3, 10.1, 16.1, 27, 30.1, 31, 36.1, 37; (iv) 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 16.1, 27, 30.1, 31, 36.1, 37; (v) 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 16.1, 21.1, 27, 30.1, 31, 36.1, 37; (vi) 6.3; (vii) 4.4, 4.5, 4.6, 5, 8.1, 8.2, 10.1, 11, 16.1, 30.1, 36.1; (viii) 4.4, 4.5, 4.6, 4.8, 5, 6.1, 6.2, 6.3, 8.2, 8.3, 11, 16.1, 21.1, 27, 30.1, 36.1, 37; (ix) 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2; (x) 4.5, 4.6, 4.8, 5, 6.2, 6.3, 8.1, 8.3, 10.1, 16.1, 27, 30.1, 36.1, 37; (xi) 4.5, 4.6, 5, 6.3, 16.1, 30.1, 36.1; (xii) 4.4, 6.1, 8.2, 11, 21.1; (xiii) 4.4, 4.8, 8.2, 11, 27, 37; (xiv) 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 16.1, 27, 30.1, 31, 36.1, 37; (xv) 4.6, 6.2, 8.1, 8.3, 10.1, 16.1, 30.1, 36.1; (xvi) 4.6, 4.8, 8.2, 11, 16.1, 27, 30.1, 36.1, 37; (xvii) 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 16.1, 27, 30.1, 31, 36.1, 37; (xviii) 4.4, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 11, 16.1, 21.1, 27, 30.1, 31, 36.1, 37; e (xix) 4.4, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 8.1, 8.2, 8.3, 10.1, 11, 16.1, 21.1, 27, 30.1, 31, 36.1, 37. FHE U SSA U SSAE (versão integrada, em que "U" indica relação de união) (i) 4.1, 4.2, 4.3, 4.4, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 7.1, 7.2, 7.3, 8.1, 8.2, 8.3, 9.1, 9.2, 9.3, 9.4, 9.5, 10.1, 11, 16.1, 21.1, 23, 24.1, 24.2, 27, 30.1, 31, 35, 36.1, 37, 44; (ii) 1.2, 4.6, 4.8, 6.4, 6.11, 6.18, 8.1, 8.3, 9.4, 10.1, 10.2, 10.14, 16.1, 19.1, 19.2, 26.1, 27, 30.1, 36.1, 37; (iii) 1.2, 2, 3, 4.1, 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 6.4, 6.8, 6.11, 6.17, 6.18, 7.1, 8.1, 8.3, 9.4, 9.5, 10.1, 10.2, 10.6, 10.9, 16.1, 19.1, 19.2, 24.1, 26.1, 27, 30.1, 31, 35, 36.1, 37, 44; (iv) 1.2, 2, 3, 4.1, 4.3, 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 6.5, 6.7, 6.9, 6.12, 6.13, 6.19, 8.1, 8.2, 8.3, 9.3, 10.1, 10.3, 10.5, 10.7, 10.9, 10.15, 16.1, 19.1, 19.2, 21.2, 23, 24.1, 26.2, 27, 30.1, 31, 32.1, 32.2, 36.1, 37, 43.1; (v) 1.1, 1.2, 4.3, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 6.5, 6.9, 6.12, 6.19, 7.1, 9.3, 9.5, 10.3, 10.7, 10.15, 15.1, 16.1, 19.1, 19.2, 21.1, 21.2, 23, 27, 30.1, 31, 32.1, 32.2, 33, 35, 36.1, 37, 44; (vi) 4.3, 6.3, 6.5, 6.12, 6.13, 6.19, 10.3, 10.15, 23, 26.2, 32.1, 32.2, 43.1; (vii) 1.1, 1.2, 4.4, 4.5, 4.6, 5, 6.5, 6.14, 6.17, 6.18, 6.19, 8.1, 8.2, 9.2, 9.3, 10.1, 10.3, 10.13, 11, 15.1, 16.1, 19.1, 19.2, 21.2, 26.1, 30.1, 32.2, 33, 36.1, 43.1; (viii) 1.1, 1.2, 4.4, 4.5, 4.6, 4.8, 5, 6.1, 6.2, 6.3, 6.7, 6.17, 6.18, 6.19, 8.2, 8.3, 9.2, 10.5, 10.13, 11, 15.1, 16.1, 19.1, 19.2, 21.1, 21.2, 26.1, 27, 30.1, 33, 36.1, 37, 43.1; (ix) 12.1, 12.2, 12.3, 12.4, 12.5, 12.6, 12.7, 12.8, 12.9, 12.10, 12.11, 12.12, 12.13, 13.1, 13.2, 13.3, 17, 20.1, 20.2, 22, 29.1, 29.2, 29.3, 29.4, 38, 41.1, 41.2; (x) 1.2, 4.1, 4.3, 4.5, 4.6, 4.8, 5, 6.2, 6.3, 6.5, 6.8, 6.17, 6.18, 8.1, 8.3, 10.1, 10.3, 10.6, 16.1, 23, 24.1, 26.1, 27, 30.1, 32.2, 36.1, 37, 43.1; (xi) 4.1, 4.2, 4.3, 4.5, 4.6, 5, 6.3, 6.16, 7.1, 9.5, 16.1, 23, 24.1, 24.2, 30.1, 35, 36.1, 44; (xii) 1.1, 1.2, 4.3, 4.4, 6.1, 6.7, 6.9, 6.14, 6.17, 6.18, 6.19, 8.2, 10.5, 10.7, 11, 15.1, 19.1, 19.2, 21.1, 21.2, 23, 26.1, 33, 43.1; (xiii) 1.1, 4.1, 4.4, 4.8, 6.9, 8.2, 10.7, 10.12, 11, 15.1, 19.2, 24.1, 27, 33, 37; (xiv) 1.1, 1.2, 2, 3, 4.3, 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 6.8, 6.17, 6.18, 8.1, 8.2, 8.3, 9.4, 10.1, 10.6, 10.9, 10.10, 10.13, 10.14, 16.1, 19.1, 19.2, 23, 26.1, 27, 30.1, 31, 36.1, 37, 43.1; (xv) 1.1, 1.2, 2, 3, 4.3, 4.6, 6.2, 6.6, 6.8, 6.9, 6.10, 6.19, 8.1, 8.3, 10.1, 10.4, 10.6, 10.7, 10.8, 10.9, 10.10, 10.11, 10.13, 10.14, 10.15, 15.1, 16.1, 19.1, 19.2, 23, 26.1, 30.1, 33, 36.1, 43.1; (xvi) 1.1, 1.2, 4.3, 4.6, 4.8, 6.7, 6.17, 6.18, 6.19, 8.2, 9.1, 10.5, 11, 15.1, 16.1, 19.1, 19.2, 21.2, 23, 26.1, 27, 30.1, 33, 36.1, 37, 43.1; (xvii) 1.1, 1.2, 4.1, 4.2, 4.3, 4.5, 4.6, 4.7, 4.8, 5, 6.2, 6.3, 6.17, 6.18, 7.1, 7.2, 7.3, 8.1, 8.2, 8.3, 9.5, 10.1, 16.1, 19.1, 19.2, 21.2, 23, 24.1, 24.2, 26.1, 27, 30.1, 31, 35, 36.1, 37, 43.1, 44; (xviii) 1.1, 1.2, 2, 3, 4.1, 4.2, 4.3, 4.4, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.7, 6.8, 6.9, 6.10, 6.11, 6.12, 6.13, 6.14, 6.15, 6.16, 6.17, 6.18, 6.19, 7.1, 7.2, 8.1, 8.2, 8.3, 9.3, 9.4, 9.5, 10.1, 10.2, 10.3, 10.4, 10.5, 10.6, 10.7, 10.8, 10.9, 10.10, 10.11, 10.12, 10.13, 10.14, 10.15, 11, 15.1, 16.1, 19.1, 19.2, 21.1, 21.2, 23, 24.1, 24.2, 26.1, 26.2, 27, 30.1, 31, 32.1, 32.2, 33, 35, 36.1, 37, 43.1, 44; (xix) 1.1, 1.2, 2, 3, 4.3, 4.4, 4.5, 4.6, 4.7, 4.8, 5, 6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.8, 6.10, 6.11, 6.15, 6.17, 6.18, 8.1, 8.2, 8.3, 10.1, 10.2, 10.3, 10.4, 10.6, 10.8, 10.9, 10.10, 10.11, 10.14, 11, 16.1, 19.1, 19.2, 21.1, 21.2, 23, 26.1, 27, 30.1, 31, 32.2, 36.1, 37, 43.1. a2 ANEXO 2 Texto dos emails enviados aos especialistas a3 Assunto: Convite para participar em Painel de Especialistas Exmo.(a).Senhor(a)(incluirnome), No âmbito de uma tese de doutoramento na Universidade do Minho, na área da Engenharia Industrial e Sistemas (ramo Engenharia Humana), que decorre sob a supervisão científica dospProfessores PedropArezes, Mohammad Shahriari e Fabrício Casarejos, encontro-me a desenvolver um trabalho de investigação que tem como temapap"Priorização de Indicadores Próativos em Segurança e Saúde Ocupacionais (SSO)”. O trabalho em questão visa, entre outros objetivos, identificar a seleção dos indicadores pró-ativos em segurança que sejam considerados os mais apropriados para determinados perfis de especialistas em Segurança e Saúde Ocupacionais. Tendo sido identificado(a) como perito(a), no perfil de Técnico de segurança ativos (T) / Inspetor do trabalho (I) / Gestor de empresas de qualquer nível e setor desde que tenham poder de decisão na empresa (G) / Auditor Externo ligado a auditorias dos sistemas de gestão das empresas ao nível da segurança e risco (AE) / Académico com atividade de investigação na área da segurança (A), gostaria de convidá-lo(a) para fazer parte do painel de peritos que nos ajudará a identificar algumas das práticas mais relevantes neste domínio. Caso aceite este convite, a sua colaboração implicará apenas o preenchimento de um breve questionário (de resposta fechada), que estimamos não demorar mais de 10 a 15 minutos a completar. A sua colaboração será feita através de mensagem de e-mail, sendo-lhe solicitado a colaboração em algumas rondas de consulta. Estimamos que sejam necessárias 3 rondas até que se obtenha um determinado nível de consenso entre as respostas. Embora a duração do período possível para responder em cada ronda possa depender da forma como se processe a ronda anterior, estimamos que as rondas possam ser levadas a cabo nos seguintes períodos: - 1ª ronda, entre 15 de setembro e 15 de outubro de 2017; - 2ª ronda, entre 31 de outubro e 30 de novembro de 2017; - 3ª ronda, entre 15 de dezembro de 2017 e 20 de janeiro de 2018; Caso aceite este convite, o que muito nos honrará, solicitamos que responda a esta mensagem e que nos dê indicação desta aceitação. Comprometo-me a garantir a confidencialidade de cada resposta individual, ainda que os resultados globais sejam posteriormente tornados públicos. Por fim, será importante também referir que, no final do doutoramento, os resultados finais serão enviados a todos os participantes do estudo. Caso tenha alguma dúvida adicional ou pretenda algum esclarecimento, não hesite em contactar-me (por e-mail, para o endereço [email protected] ou por telemóvel, +351 910 632 848).p Agradecendo desde já a atenção prestada ao nosso pedido, subscrevo-me atenciosamente. Com os melhores cumprimentos,p Cristian Castillo a4 TEXTO DO EMAIL ENVIADO AOS ESPECIALISTAS NA 1ª RONDA Exmo.(a). Senhor(a) xxx Na sequência da sua aceitação para participar no estudo em epígrafe, enviamos em anexo o questionário relativo à primeira ronda. Após o seu preenchimento poderá gravar o ficheiro no seu computador e enviá-lo de volta por resposta a esta mensagem (salvando o ficheiro, contendo o seu primeiro e último nome após o rótulo do “Questionário ronda 1”). Tendo em consideração o cronograma previsto para esta fase, muito agradeceríamos se pudesse completar e devolver o questionário antes de 10 de outubro de 2017. Os resultados serão tratados com a maior celeridade possível, de forma a procedermos em breve a uma nova ronda. Uma vez mais, caso tenha alguma dúvida adicional ou pretenda algum esclarecimento, não hesite em contactar-me (por e-mail, para o endereço [email protected] ou por telemóvel, +351 910 632 848). Agradecendo uma vez mais a atenção prestada ao nosso pedido, subscrevo-me atenciosamente. Com os melhores cumprimentos, Cristian Castillo a5 TEXTO DO EMAIL ENVIADO AOS ESPECIALISTAS NA 2ª RONDA Exmo.(a). Senhor(a) xxx Vimos, mais uma vez, agradecer a sua participação na aplicação da metodologia Delphi relativo ao estudo em epígrafe. A partir das respostas da 1ª ronda do grupo de 67 peritos, incluindo a sua, os dados foram analisados e tratados estatisticamente. No ficheiro que enviamos em anexo, indicamos com um retângulo vermelho a "zona de consenso", ou seja, considerando o valor da mediana das respostas do painel e um desvio de mais ou menos um nível. No ficheiro que enviamos, assinalamos também (a preto) as suas respostas na 1ª ronda. 1 Assim, e para esta 2a ronda (ficheiro “Resposta ronda 1_zona de consenso_justif”), agradecíamos que analisasse o questionário podendo optar por uma das seguintes opções: manter a resposta dada na ronda anterior; 2reavaliar a sua resposta e alterá-la. No caso da sua resposta final estar fora da zona de consenso, agradeço que, se possível e de forma breve, indique a(s) principal(ais) razão(ões) que o levaram a referir essa resposta, usando para o efeito a caixa de texto disponível no final do questionário intitulado “Resposta ronda 1_zona de consenso_justif”. Tendo em consideração o cronograma previsto para esta fase, muito agradeceríamos se pudesse devolver a sua resposta até o dia 30 de novembro de 2017. Agradecendo uma vez mais a atenção prestada ao nosso pedido, subscrevo-me atenciosamente. Com os melhores cumprimentos, Cristian Castillo a6 TEXTO DO EMAIL ENVIADO AOS ESPECIALISTAS NA 3ª RONDA Exmo.(a). Senhor(a) xxx Vimos, mais uma vez, agradecer a sua participação na aplicação da metodologia Delphi relativo ao estudo em epígrafe. A partir das respostas da 2ª ronda do grupo de 41 peritos, incluindo a sua, os dados foram analisados e tratados estatisticamente e foi feita uma compilação de alguns comentários enviados pelo grupo de peritos. Os resultados desta 2ª ronda podem ser verificados nos dois ficheiros anexos: 1) O ficheiro “Resposta ronda 2_mediana” contém as suas respostas da 2ª ronda, bem como, à direita de cada questão e assinalado a vermelho, o valor da mediana de cada resposta para o grupo de peritos. 2) O ficheiro “Resposta ronda 2_comentários do painel de especialistas_teste real” contém uma síntese dos comentários do painel de especialistas enviados na 2ª ronda. Para concluir a sua participação neste estudo Delphi, agradecíamos que nesta 3ª ronda reavaliasse as suas respostas no questionário, decidindo mantê-las ou alterá-las, tendo em consideração: - os comentários do grupo de peritos em algumas questões/secções; - a comparação da sua resposta com o valor da mediana obtida após a 2ª ronda. Tendo em consideração o cronograma previsto para esta fase, muito agradeceríamos se pudesse devolver a sua resposta até o dia 15 de janeiro de 2018. Agradecendo uma vez mais a atenção prestada ao nosso pedido, subscrevo-me atenciosamente. Com os melhores cumprimentos, Cristian Castillo a7 a14 a15 a16 a17 ANEXO 4 Resultados das rondas a18 a19 a20 a21 a22 a23