Avaliação da tradução automática: Bulas versus outros géneros textuais

FACU L D A DE DE L E T R A S U NIVE RSIDAD E D O P O R T O Michele Leandro Santiago 2º Ciclo de Estudos em Tradução e Serviços Linguísticos Bulas versus outros géneros textuais 2013 Orientador: Profª Drª Belinda Mary Harper Sousa Maia Classificação: Ciclo de estudos: Dissertação: Versão definitiva Avaliação da tradução automática: i RESUMO A tradução automática é uma tecnologia cujo desempenho depende da combinação entre tipo de sistema, idiomas e género textual. As bulas e os folhetos informativos são documentos curtos com fraseologias/frases fixas e o seu nível de especialização torna o material compatível com o recurso à tradução automática, considerando-se que a terminologia especializada é um dos requisitos para a utilização desta tecnologia. Este trabalho analisa a eficácia da tradução automática de bulas/folhetos informativos por diferentes sistemas, especificamente um sistema em linha estatístico (Google Translate), um sistema em linha híbrido (Bing Translator), um sistema híbrido local (Systran) e um sistema estatístico local (Moses for Mere Mortals). Também analisa a eficácia da tradução automática de outros géneros de texto. A fim de atingir os seus propósitos, a investigação faz uso de uma metodologia multivariada. O campo qualitativo é demarcado pela realização de dois inquéritos e a avaliação dos resultados da tradução automática. No que diz respeito à esfera quantitativa, trabalhámos com as classificações BLEU e NIST e utilizámos uma avaliação humana, ainda que as classificações ofereçam somente uma avaliação da coincidência entre n-gramas da tradução de referência e do texto a ser traduzido. Traduzimos as fraseologias específicas presentes em bulas do medicamento Zytiga do inglês britânico para português europeu (par UK-PT), e do inglês americano para português brasileiro (par US-PB). As fraseologias são selecionadas por base em modelos de bulas e resoluções dos respetivos países. Os sistemas de tradução automática locais foram treinados com corpora de textos paralelos curtos. Os resultados demonstram que o tamanho do corpus de treino de sistemas locais, o género do texto e o tipo de sistema de tradução automática exercem um impacto sobre a qualidade da tradução obtida, conforme análise em termos de conteúdo e fluência. Concluímos que compreender como um sistema de tradução automática funciona e que fatores o influenciam pode ajudar na obtenção de uma tradução de melhor qualidade. Nesse sentido, ressaltamos que o género textual e a repetição de sua estrutura e das construções frásicas contidas num documento a ser traduzido são alguns aspetos de interesse no que se refere ao treino da tecnologia. Palavras-chave: Tradução automática, bula, folheto informativo, fraseologia, BLEU, NIST. iii ABSTRACT Machine translation is a technology that relies on the combination of the type of system, the languages, the domain and the text type. Package and informative leaflets are examples of documents that can be translated using this technology. This type of document is usually short and contains multi-word expressions, and thus meets one of the requirements of machine translation –specialized terminology. This dissertation assesses the efficacy of machine translation for package and informative leaflets through different systems: a statistical online system (Google Translate), a hybrid online system (Bing Translator), a desktop hybrid system (Systran) and a desktop statistical system (Moses for Mere Mortals). The efficacy of machine translation for other domains was also assessed. To meet its goals, this investigation combined qualitative and quantitative methodologies. The qualitative work includes two questionnaires and the evaluation of the results of machine translation, using the above-mentioned programs, after proper training. The quantitative methods used were the BLEU and NIST classifications, and a human evaluation that was analyzed statistically. The research included the translation of package leaflets of Zytiga from British English to European Portuguese (UK-PT), and from American English to Brazilian Portuguese (US-PB). Multi-word expressions are selected based on models and resolutions for package leaflets from each country. Desktop machine translation systems were trained with short corpora of parallel texts. Results show that the training of local systems,the corpus size, gender of text and machine translation system can impact the quality of the translation, as per our analysis of content and fluency. Understanding how the machine translation system works, and what factors might influence it are key to higher quality translation. We emphasize the importance of the text domain and structure and multi-word expressions repetition, since these are important to train the system. Keywords: Machine translation, package leaflet, informative leaflet, multi-word expressions, BLEU, NIST. v RESUMÉ Les performances des systèmes de traduction automatique dépendent grandement d’une part de la combinaison entre types de systèmes, mais également des langues utilisées et du type de texte. Les notices et les dépliants sont des documents courts, rédigés dans un style concis. Leur haut niveau de spécialisation rend ces documents particulièrement adaptés à la traduction automatique, pour peu que la terminologie spécialisée y soit disponible. Cette étude vise donc à analyser l’efficacité de la traduction automatique des notices et dépliants, par les différents systèmes existants : la traduction automatique statistique en ligne (Google Translate), le système hybride en ligne (Bing Translator), le système hybride de traduction automatique (Systram) et le système statistique (Mose for Mere Mortals). Pour atteindre son objectif, cette étude utilise une méthodologie multi-variée. La partie qualitative de l’étude se base sur la réalisation de deux enquêtes, ainsi que sur l’analyse de résultats de traductions automatiques. En ce qui concerne la partie quantitative, nous nous sommes appuyés sur les méthodes BLEU et NIST ainsi sur une évaluation humaine, même si ces méthodes ne nous fournissent qu’une évaluation des coïncidences de n-grammes entre les textes original et traduit, et que l’évaluation humaine est subjective. Nous avons traduit, en particulier, les notices du médicament Zytiga, de l’anglais britannique vers le portugais européen (couple UK-PT) et de l’anglais américain vers le portugais brésilien (couple US-PB). Pour la sélection de la phraséologie nous nous sommes basées sur des modèles de notices de chaque pays. Les systèmes de traduction automatique ont été configurés avec des textes courts en parallèle. Les résultats permettent de comprendre que la taille du corpus d’entraînement des systèmes locaux, le type de texte et le type de traduction automatique ont un impact sur la qualité de la traduction, confirmant ainsi les résultats de notre analyse en termes de contenu et de fluidité. La dissertation conclut donc que la compréhension du fonctionnement d’un système de traduction et des facteurs qui l’influencent, peut améliorer la qualité de la traduction obtenue. Nous soulignons que le type de texte et la répétition de leurs constructions dans un document à traduire sont quelques aspects intéressants pour l’entraînement de la technique. Mots-clé: traduction automatique, notice, dépliant, phraséologie, BLEU, NIST. vii AGRADECIMENTOS Agradeço primeira e especialmente à minha orientadora, Profª. Drª. Belinda Maia, pelas sugestões inestimáveis e pela disposição nesses meses de trabalho. Sem a Professora, esta investigação jamais seria possível. Aos membros do júri Prof. Dr. Thomas Hüsgen e Dr. Rui Silva, pelas reflexões e sugestões que aprimoraram este trabalho. Agradeço aos professores da Faculdade de Letras, cujas discussões em aula inspiraram-me. Agradeço em especial ao Prof. Félix, sempre disposto a ajudar-me. Sem vocês, este trabalho não teria esta forma. Agradeço à minha família, que mesmo longe deu todo o carinho de que precisava para manterme concentrada no trabalho. Sem vocês para me ensinarem os valores que carrego, eu jamais chegaria tão longe. Agradeço aos meus amigos, próximos e distantes, em especial à Ana Loureiro, Carolina, Catarina e Mariana, que gentilmente ajudaram-me no trabalho. Sem vocês, esta dissertação estaria incompleta. Agradeço também à Joanna e à Ughetta, colegas e amigas, que fizeram o tempo no Mestrado parecer tão curto. Sem vocês, Portugal seria menos divertido. Agradeço ao meu amor Thiago. Sem você, eu estaria incompleta. Gráfico 26: Melhor (esq.) e pior tradução (dir.) para o Excerto 6.................................................. 111 Gráfico 27: Problemas indicados para a melhor tradução do Excerto 6 ........................................ 112 Gráfico 28: Avaliação do conteúdo (par UK-PT).......................................................................... 116 Gráfico 29: Avaliação da fluência (par UK-PT)............................................................................ 116 Gráfico 30: Avaliação do conteúdo (par US-PB)........................................................................... 117 Gráfico 31: Avaliação da fluência (par US-PB)............................................................................. 117 Lista de tabelas Tabela 1: Excertos retirados do inquérito em linha.......................................................................... 54 Tabela 2: Perguntas específicas do questionário MMM.................................................................. 55 Tabela 3: Segmento 1....................................................................................................................... 60 Tabela 4: Segmento 4....................................................................................................................... 60 Tabela 5: Segmento 5....................................................................................................................... 61 Tabela 6: Segmento 6....................................................................................................................... 62 Tabela 7: Segmento 7....................................................................................................................... 62 Tabela 8: Segmento 8....................................................................................................................... 64 Tabela 9: Segmento 36..................................................................................................................... 65 Tabela 10: Segmento 37................................................................................................................... 65 Tabela 11: Segmento 52................................................................................................................... 66 Tabela 12: Segmento 76................................................................................................................... 67 Tabela 13: Segmento 89................................................................................................................... 68 Tabela 14: Segmento 90................................................................................................................... 69 Tabela 15: Segmento 91................................................................................................................... 70 Tabela 16: Segmento 93................................................................................................................... 71 Tabela 17: Avaliação humana sobre o conteúdo e a fluência para o par UK-PT............................. 72 Tabela 18: Segmento 4..................................................................................................................... 73 Tabela 19: Segmento 17................................................................................................................... 74 Tabela 20: Segmento 24................................................................................................................... 75 Tabela 21: Segmento 59................................................................................................................... 76 Tabela 22: Segmento 60................................................................................................................... 77 Tabela 23: Segmento 61................................................................................................................... 77 Tabela 24: Avaliação humana sobre o conteúdo e a fluência para o par US-PB............................. 78 Tabela 25: Pontuações BLEU e NIST para o par UK-PT................................................................ 80 Tabela 26: Pontuações BLEU e NIST para o par US-PB ................................................................ 80 Tabela 27: Excertos do inquérito em linha....................................................................................... 98 xvii Lista de abreviaturas Abreviatura Descrição ANVISA Agência Nacional de Vigilância Sanitária (Brasil) DGT Direção-Geral de Tradução (da Comissão Europeia) EBMT Tradução automática baseada em exemplos EMA Agência Europeia de Medicamentos (Europa) FDA US Food and Drug Administration (EUA) GT Google Translate GTT Google Translate Toolkit MMM Moses for Mere Mortals MT Memória de tradução PB Português Brasileiro PE Pós-edição PT Português Europeu QA Controle de qualidade RBMT Tradução automática baseada em regras s.p. Sem página SL Source language (idioma de partida) SMT Tradução automática estatística TA Tradução automática TAC Tradução assistida por computador TH Tradução humana TL Target language (idioma de chegada) UK Inglês Britânico US Inglês Americano UT Unidades de tradução 1 INTRODUÇÃO A tradução automática é uma tecnologia que simultaneamente fascina e assusta. Um considerável número de tradutores tem medo de ser substituído pelo recurso, ainda que muitos deles façam as suas traduções com o auxílio da plataforma Google Translate (a mais conhecida), embora, em muitos casos, a ferramenta não seja utilizada para traduzir segmentos inteiros. Consciente desta dicotomia, a presente dissertação privilegia uma análise de traduções do inglês para o português de bulas/folhetos informativos que foram geradas por quatro motores de tradução automática diferentes, para além de contar com uma avaliação humana por meio de inquérito. Os sistemas de tradução automática podem ser uma ferramenta útil se determinadas condições forem atendidas, tendo valor inestimável. Este trabalho tem como objetivo analisar quais são essas condições, tentar atendê-las e verificar os resultados obtidos nesse contexto. A nossa pesquisa foi motivada pela presença de fraseologias em bulas, especificamente bulas destinadas ao paciente, documentos relativamente curtos e com estrutura fixa. A nossa pesquisa procura responder à pergunta “Quão eficaz é a TA de bulas/folhetos informativos e de outros géneros em termos de qualidade?”. Os nossos objetivos secundários incluem verificar a tradução obtida por cada ferramenta, comparar os resultados com uma tradução humana oficial (ou seja, a bula em português oficialmente disponível junto ao medicamento em questão), verificar algumas métricas automáticas de avaliação e avaliar o desempenho da tradução automática em outros géneros textuais. A metodologia inclui a tradução de uma bula em Inglês Britânico para Português Europeu e outra bula em Inglês Americano para Português Brasileiro, usando as plataformas em linha Google Translate e Bing e os programas instalados Systran e Moses for Mere Mortals, após o respetivo treino. A nossa metodologia enquadra-se no eixo qualitativo, visto que faz uma verificação descritiva da tradução automática, utilizando também inquéritos, e, ao mesmo tempo, remete para o campo quantitativo, considerada a inclusão das métricas BLEU e NIST. O trabalho empírico complementa-se por meio de uma avaliação humana das bulas traduzidas e uma análise comparativa dos resultados obtidos. 2 Este trabalho apresenta os resultados de nossas experiências na avaliação das traduções produzidas por ferramentas e programas selecionados. Para além deste capítulo introdutório, a dissertação é composta por cinco capítulos, sendo encerrada com algumas considerações finais. O primeiro capítulo apresenta o panorama teórico que serve como base à nossa pesquisa, o que inclui os tipos de sistema de tradução automática, as principais métricas automáticas de avaliação de tradução automática e as etapas pré e póstradução automática. O impacto que diferentes géneros textuais exercem sobre a tradução automática e as resoluções nacionais/regionais acerca de bulas são apresentados no segundo capítulo, acompanhados de uma descrição da fraseologia envolvida. No capítulo 3, fazemos uma descrição pormenorizada de nossa metodologia, que inclui os critérios de recolha de textos, a caraterização dos sistemas de tradução automática e os critérios para elaboração dos inquéritos utilizados nas nossas experiências. No capítulo 4, analisámos as traduções de bulas pelos motores de tradução automática selecionados, para além das pontuações BLEU e NIST e da interpretação desses resultados. No capítulo 5, apresentamos a análise das respostas aos questionários e os capítulos 6 e 7 apresentam, respectivamente, o componente de avaliação humana deste trabalho e a discussão dos resultados. Conclui-se a dissertação com as considerações finais, em que discutimos todos os resultados obtidos, incluindo as pontuações e os questionários. CAPÍTULO 1 - TRADUÇÃO AUTOMÁTICA 5 Neste capítulo, faremos uma contextualização teórica, apresentando um resumo da história do surgimento e desenvolvimento da tecnologia de tradução automática (TA), para além da classificação e explicação dos tipos de sistema de tradução automática e uma discussão sobre avaliação de qualidade, seguida pela integração dessa tecnologia com ferramentas de auxílio à tradução (TAC) e as etapas prévias e posteriores à TA, especificamente controlo de linguagem e pós-edição. 1.1 Breve história A tradução automática é o processo de tradução automatizada de uma língua natural. A empresa Google, uma das principais empresas desenvolvedoras de serviços em linha, define tradução automática como "a tradução produzida por tecnologia de ponta, sem a intervenção de tradutores humanos" (Google, 2011). Embora diversas tentativas tenham sido feitas desde o século XVII, quando foi produzido um documento que descrevia uma metalinguagem matemática que visava descrever o significado de frases escritas em qualquer língua (Freigang, 2001:s.p.), a TA só teve início com o desenvolvimento e posterior aprimoramento dos computadores, no final dos anos 1940. Os motivos por trás da tentativa de um sistema de TA são muitos, segundo Hutchins (1986:s.p.), incluindo motivos práticos (a necessidade de se comunicar com indivíduos cuja língua não dominamos), idealismo (a resolução de barreiras linguísticas, possibilitando a transmissão sem ruídos de informações técnicas e científicas a países em desenvolvimento), importância militar e de inteligência governamental ("to help them find out what the ‘enemy’ knows"), motivos de pesquisa pura (a compreensão dos mecanismos envolvidos e a limitação dos computadores) e, por último, motivos comerciais e econômicos (um produto com demanda comercial). Nas décadas de 1950 e 1960, época da Guerra Fria, interceptar as comunicações do país "inimigo" (no caso dos EUA, a ex-União Soviética, atual Rússia) e descodificar sua mensagem com rapidez era essencial para vencer a corrida pela tecnologia. A primeira demonstração de um sistema de TA foi feita em 1954, na Universidade de Georgetown (EUA), com a tradução de 49 amostras de frases em Russo traduzidas em Inglês. O sistema foi desenvolvido em uma parceria entre o Instituto de Tecnologia de Massachusetts (MIT) 12 A abordagem SMT usa parâmetros obtidos a partir da análise de um corpus bilíngue disponível (não necessariamente anotado) para a tradução, enquanto a abordagem EBMT usa textos paralelos como fonte primária de dados, fazendo a tradução por analogia (Ebling, 2010:39). Na EBMT, o processamento dos dados antes da produção do texto traduzido é opcional, enquanto na SMT é uma etapa essencial. Por fim, se o input estiver presente nos corpora de referência, a mesma tradução será oferecida para os sistemas EBMT. Isto não acontece com sistemas SMT –o texto de referência serve apenas para gerar dados estatísticos. Assim, embora as abordagens SMT e EBMT façam uso de um corpus, a principal diferença entre elas é a forma como o usam –EBMT consulta os exemplos diretamente durante a sua execução, enquanto SMT consulta as probabilidades dos pares original-tradução. A quantidade de informações disponíveis em linha facilitou a expansão do modelo estatístico, como corpora paralelos, wordnets,treebanks, dicionários e thesauri, para além dos próprios corretores ortográficos e gramaticais, que contêm uma complexa programação de regras da língua. Adicionalmente, a capacidade de aprendizagem da máquina (machine learning) aperfeiçoa os resultados no caso da pós-edição (PE), com a melhoria do sistema quando uma determinada correção é feita diversas vezes, e, no caso da TA estatística, com a melhoria do sistema por retroalimentação de traduções corrigidas ou novas traduções humanas. Deve-se ter em conta, contudo, que a adaptação de domínio é difícil, uma vez que se uma palavra não estava presente durante o treino, o sistema não será capaz de a traduzir. 1.3 Métricas de avaliação 1.3.1 Avaliações de qualidade de tradução automática (TA) versus tradução humana (TH) A procura por uma avaliação acerca da qualidade de uma tradução, humana ou automática, de forma tangível e imparcial parece ser crucial para que o falante não nativo saiba que obteve um bom produto final. As definições de "boa" ou "má" qualidade são, contudo, subjetivas. Para superar o aspecto subjetivo desta questão, diversas métricas e normas foram desenvolvidas especificamente para avaliações de tradução automática e de tradução humana. 13 Para avaliar a qualidade, usa-se noções de fluência eadequação. Linguistic Data Annotation Specification (2002:s.p.) define adequação como "o grau em que a tradução comunica as informações presentes no texto original" (nossa tradução) 4 e fluência como "o grau em que a tradução é bem-formada de acordo com a norma gramatical do idioma-alvo" (nossa tradução). Algumas normas visam estabelecer as etapas envolvidas num projeto de tradução e o perfil que o tradutor deve ter. O objetivo é garantir que nenhuma etapa considerada necessária seja negligenciada, nem que um tradutor sem o perfil definido seja designado para um projeto –casos que poderiam resultar no comprometimento da qualidade do texto. A principal norma para tradução na União Europeia é a norma EN 15038, em vigência desde 2006 5 , que estabelece os requisitos para o profissional (por exemplo, as competências que um tradutor deve ter), qual a relação entre cliente e profissional e os procedimentos envolvidos nas etapas de gestão de projeto, preparação e a tradução em si. Há outras normas e diretrizes que visam desenvolver métricas para avaliação da qualidade de traduções humanas, mas consideramos essas as principais. A norma ISO 9001 de 2008 6 define alguns princípios para um sistema de gestão de qualidade num projeto de tradução. Esta é a única norma do grupo ISO para a certificação de uma empresa de tradução. Koponen et al. (2012:s.p.) declaram o amplo conhecimento dos investigadores de que as traduções automáticas assemelham-se vagamente às traduções humanas, salvo em caso de textos de domínios muito específicos em sistemas de TA dedicados, pois assim a variabilidade terminológica é restringida e o sistema de TA é treinado para aquele domínio específico. Em relação às métricas para a TA, há algumas métricas obtidas automaticamente e por avaliação manual, feita por anotação, avaliando-se os problemas em excertos traduzidos automaticamente. Desenvolveremos esse assunto nos próximos capítulos. Ressaltamos que as métricas apresentam falhas, mas continuam a ser amplamente usadas. Isto porque são uma alternativa barata para uma avaliação rápida, para além de permitirem 4 Do original completo: "Adequacy refers to the degree to which the translation communicates information present in the original source language text. Fluency refers to the degree to which the translation is well-formed according to the grammar of the target language". 5 A norma EN 15038 está disponível em linha, sítio http://www.statsaut-translator.no/files/standard-15038-final-draft-en.pdf (acedido em 21-Mar-2013). 6 A norma ISO 9001 está disponível em linha, sítio http://www.iso.org/iso/iso_catalogue/management_standards/iso_9000_iso_14000/iso_9000 (acedido em 17-Abr-2013). 14 a comparação com outras pesquisas de sistemas que já tenham feito uso da métrica em questão. 1.3.2 Avaliação automática Conforme indicado por Maia et al. (2004:s.p.), o texto traduzido por TA costuma ser avaliado por indivíduos leigos, embora o mesmo não ocorra noutros campos, como Medicina, onde somente peritos são convidados a avaliar um teste ou exame. Pode-se inferir que o convite a não peritos implica a necessidade de uma leitura "superficial" do texto traduzido, isto é, sem uma análise profunda de questões gramaticais, semânticas ou sintáticas, mantendo o foco da avaliação na compreensabilidade do texto, uma vez que um não perito manteria seu foco somente na fluência e na adequação, noções amplamente usadas para avaliar a qualidade, conforme afirmamos no capítulo anterior. Os sistemas estatísticos lidam com um grande volume de dados e precisam de avaliações rápidas para treino (Federmann 2011:s.p.). Por este motivo, e também por ser a avaliação humana um custo adicional (Linares 2005:13), diversas métricas automáticas de avaliação foram desenvolvidas. Também se deve ter em mente que a consideração de qualidade é altamente subjetiva e inconsistente (Lin e Och, 2004:s.p.), para além de ser regida por necessidades pessoais (Hutchins 1986:s.p.). Assim, as métricas automáticas podem ser consideradas rápidas, objetivas e menos custosas. Linares (2005:13) lista as métricas a seguir como as mais bem-sucedidas: WER (word error rate)–verifica erros cometidos em palavras, isoladamente. PER (position independent word error rate)–permite a reordenação de palavras entre o texto traduzido e os textos de referência. BLEU (bilingual evaluation understudy)–compara o número de n-gramas coincidentes em relação a uma tradução de referência. NIST –uma versão aprimorada de BLEU pelo National Institute of Standards and Technology, com a diferença que também verifica o nível de informação dos ngramas (se um n-grama for raro, o peso será maior). A penalidade aplicada a variações (como em formas plurais) também é menor. GTM (General Text Matcher)–calcula as variantes de "precision" e "recall" em comparação com um texto de referência. 15 ROUGE (Recall-Oriented Understudy for Gisting Evaluation)–avalia sumários gerados automaticamente a partir da coincidência de n-gramas, sequências de palavras e pares de palavras em relação a um sumário elaborado manualmente. Todas elas resultam numa pontuação mais alta em caso de semelhança lexical entre a tradução gerada e as traduções de referência, presentes na base de dados, sem levar em consideração qualquer critério linguístico. Com o avanço da tecnologia da TA, novas métricas são desenvolvidas. Uma das mais recentes é denominada ORANGE, que envolve uma intervenção humana mínima (somente na fase pré-tradução) e compara traduções automáticas e humanas para atribuir uma pontuação (Amigó 2006:18); (Lin e Och, 2004:s.p.). Para além destas, Federmann (2011:s.p.) lista outras duas métricas: TER (Translation Error Rate)–mede o número de edições necessárias para modificar uma tradução. METEOR (Metric for Evaluation of Translation with Explicit Ordering)–faz alinhamentos com os textos de referência com base em palavra ou frase exata, raiz da palavra, sinónimo e paráfrase (Mellon 2010-2011:s.p.). A BLEU parece ser a métrica preferida para a avaliação, por verificar a qualidade da tradução automática de acordo com sua proximidade às traduções de referência. Assim, a ideia é que "quanto mais próxima a TA estiver de uma tradução humana, melhor ela será" (nossa tradução) 7 (Papineni 2002:s.p.). A pontuação BLEU é a média geométrica (fórmula disponível na Figura 16) das quantidades dos n-gramas (coincidência entre n-gramas em uma TA com a tradução de referência) multiplicada por uma penalidade pelo tamanho do texto, usada para o caso de o documento a ser traduzido ter um tamanho inferior ao da tradução de referência (Wu et al., 2011:s.p.). Deve ser ressaltado que estas métricas não avaliam a qualidade da tradução, uma vez que a avaliação da qualidade envolve métricas humanas. Os algoritmos medem a semelhança entre os documentos (a ser traduzido e a tradução de referência) (Castilla et al., 2005:52). Specia et al. (2010:3375) menciona a aplicação não confiável no nível frásico de métricas automatizadas como BLEU, que se baseiam na correspondência entre n-gramas. Esta 7 Do original "[t]he closer a machine translation is to a professional human translation, the better it is". 16 correspondência entre o texto e os dados de referência pode resultar em traduções com um significado diferente do texto original, como no caso de uma ordem diferente de sequências de n-gramas nos textos fonte e de referência (Rios et al., 2011:116). Outro problema mencionado por Specia e Farzindar (2010:s.p.) é a discrepância observada ao comparar estas métricas e pareceres humanos ao nível do segmento, havendo poucos pontos em comum nessas avaliações. Abordaremos a avaliação humana por anotação no capítulo seguinte. 1.3.3 Avaliação manual Embora laboriosa, por envolver um treino e diretrizes específicas (Federmann 2012:25), também é possível fazer a avaliação da TA através de anotações. Um exemplo do tipo de ferramenta para anotação é o Appraise (Federmann, 2012:25), que permite aos anotadores avaliar a tradução ao nível frásico, fazer pós-edição da frase e classificar erros. Maia et al.. (2004:s.p.) desenvolveram um sistema para avaliação que permitia a comparação de exemplos sem, no entanto, fazer suposições sobre o comportamento dos sistemas de TA envolvidos. O sistema chama-se TrAva –Traduz e Avalia. Estudantes e pesquisadores tinham acesso em linha a traduções de materiais originalmente produzidos em inglês (e não materiais traduzidos para inglês, a partir do British National Corpus) traduzidos por TA para português, usando os serviços FreeTranslation, Systran, E-T Server e Amikai. A avaliação humana é, em geral, inconsistente, mas necessária para o aperfeiçoamento dos sistemas de TA, ou seja, para que as traduções produzidas de forma automatizada apresentem uma qualidade cada vez mais elevada, há uma procura constante pelo aperfeiçoamento da própria avaliação humana. A pesquisa de Callison-Burch et al. (Callison-Burch 2010:22) analisa as avaliações de forma comparativa. Para avaliar as traduções entre inglês e alemão, espanhol, francês e checo, os avaliadores (peritos e não peritos) deveriam classificar as frases traduzidas em relação às outras ("from best to worst") e editar a tradução produzida sem visualizar a frase original ou uma tradução de referência, sendo as pós-edições avaliadas por outros avaliadores. No final, as anotações dos 120 participantes foram comparadas em termos de acordo intrae inter-avaliadores. Os 17 resultados indicam baixa consistência entre as avaliações feitas por não peritos em comparação às avaliações por peritos. Outra ferramenta de anotação desenvolvida recentemente chama-se PET (Specia et al., 2012). Trata-se de uma ferramenta autónoma (stand-alone) que permite a pós-edição de traduções automáticas, que podem ser configuradas antes do trabalho, permitindo o uso de TA em linha ou local (como Moses). A ferramenta exibe o texto original e o texto traduzido automaticamente de forma segmentada e paralela, com os segmentos ocultos sendo exibidos somente ao clicar sobre eles. A ferramenta regista o tempo de edição, que começa a ser registado ao clicar sobre um segmento, as pontuações de qualidade personalizáveis, cada toque em tecla (keystrokes) e a distância de edição (edit distance). As diversas informações recolhidas permitem o cálculo de esforço de PE de diversas formas, como por tempo ou distância. Figura 3: Ecrã de anotação da ferramenta PET 1.4 Tradução automática em linha Como vimos, a tradução e a tecnologia parecem caminhar de mãos dadas, se não a primeira a depender exclusivamente da segunda, já que as plataformas disponíveis permitem o desenvolvimento de novas ferramentas de tradução (Garcia 2005:s.p.). Assim, 18 com o advento da Internet, vimos surgir diversas plataformas de TA em linha, com a tradução gratuita e imediata. A primeira empresa a oferecer esse sistema em linha foi a Altavista, usando o sistema Systran, em 1997, sendo substituído por Yahoo! Babel Fish em 2006 8 , oferecendo traduções em 38 pares de idiomas. Posteriormente, Yahoo! Babel Fish foi descontinuado e substituído por Microsoft Bing, em 2012 9 . Ainda que existam diversas ferramentas em linha disponíveis, a mais usada (ou procurada) é o Google Translate: 50% dos usuários que procuram tradutores automáticos em linha procuram o próprio Google Translate (Kelly e Zetzsche, 2012:227). Até 2007 10 , usavam o sistema Systran, substituído por um motor próprio baseado em estatísticas com pontuações NIST muito boas para os pares inglês-árabe e inglês-chinês 11 . Tendo acesso a diversos corpora através do próprio motor de busca Google, é possível criar uma base de dados de traduções de referência de milhões de palavras, especialmente com documentos multilíngue das Nações Unidas e da União Europeia 12 . Segundo Kelly e Zetzsche (2012:228), a empresa avalia a qualidade das traduções automáticas por meio de "informantes" e critérios de avaliação computadorizados. O refinamento da qualidade é feito através do material disponível em sítios Web como o Google Books e em ferramentas com link direto para o Google Translate, como Google Translate Toolkit (GTT) e ferramentas TAC com API ativado para o Google Translate. Para continuar o treino das máquinas, a equipa Google descarta traduções produzidas pelo próprio Google Translate ou outros programas de TA (Kelly e Zetzsche, 2012:229). Sobre o GTT, devemos aqui definir como esse sistema funciona, devido a algumas peculiaridades. Trata-se de uma plataforma em linha fechada, ou seja, que exige nome de utilizador e palavra-passe, e cujo layout assemelha-se a uma ferramenta TAC, mas cujo objetivo é a pós-edição. O utilizador carrega (upload) o seu ficheiro na plataforma, que o segmenta e armazena as correções feitas pelo utilizador. Garcia (2010:8-9) afirma que o utilizador-alvo do GTT inclui "qualquer indivíduo bilíngue com acesso à Web e motivado" 8 Notícia a respeito em linha, sítio http://www.techshout.com/internet/2006/28/yahoo-launches-babel-fish-the-language-translationservice/ (acedido pela última vez em 16-Fev-2013) 9 Notícia a respeito em linha, sítio http://blogs.msdn.com/b/translation/archive/2012/05/30/welcoming-yahoo-babel-fish-users.aspx (acedido pela última vez em 16-Fev-2013) 10 Notícia a respeito em linha, sítio http://googlesystem.blogspot.pt/2007/10/google-translate-switches-to-googles.html (acedido pela última vez em 16-Fev-2013) 11 Notícia a respeito em linha, sítio http://www.itl.nist.gov/iad/mig//tests/mt/2005/doc/mt05eval_official_results_release_20050801_v3.html (acedido pela última vez em 16-Fev-2013) 12 Notícia a respeito em linha, sítio http://www.reuters.com/article/2007/03/28/us-google-translate-idUSN1921881520070328 (acedido pela última vez em 16-Fev-2013) 19 (nossa tradução) 13 , e não o tradutor profissional, o que pode ser inferido pela ausência de alguns recursos presentes em ferramentas TAC tradicionais, como função de garantia de qualidade (QA) e correspondência "fuzzy". Deve-se analisar os benefícios da TA em linha com cuidado, especialmente em relação às questões de confidencialidade. Nos Termos de Serviço do Google, item "Seu Conteúdo em Nossos Serviços", lê-se: Quando você faz upload ou de algum modo envia conteúdo a nossos Serviços, você concede ao Google (e àqueles com quem trabalhamos) uma licença mundial para usar, hospedar, armazenar, reproduzir, modificar, criar obras derivadas (como aquelas resultantes de traduções, adaptações ou outras alterações que fazemos para que seu conteúdo funcione melhor com nossos Serviços), comunicar, publicar, executar e exibir publicamente e distribuir tal conteúdo. 14 (nosso negrito) Isto significa que uma frase inserida no Google Translate pode ser armazenada e reproduzida como resultado em procuras no motor do Google. Devido ao grande uso por parte de tradutores da ferramenta Google Translate integrada em ferramentas TAC, houve grande discussão na comunidade de tradução 15 sobre se a empresa conseguia obter de alguma forma a tradução disponibilizada na ferramenta TAC. Atualmente, ao configurar o Google Translate para funcionar nas ferramentas TAC, lê-se alguns disclaimers: 13 Do original "any web-enabled and motivated bilingual". 14 Termos disponíveis em linha, sítio http://www.google.com/intl/pt-BR/policies/terms/ (acedido pela última vez em 16-Fev-2013) 15 Algumas discussões estão disponíveis em: http://www.proz.com/forum/cat_tools_technical_help/144992-google_translate_and_confidentiality.html http://www.bunch-translate.com/2012/02/client-confidentiality-and-google.html http://www.proz.com/forum/machine_translation_mt/207130-mt_and_confidentiality_agreements.html http://www.proz.com/forum/business_issues/218203-client_confidentiality_and_google_translate.html http://www.proz.com/forum/wordfast_support/170731-wordfast_pro_and_google_translate.html 20 Figura 4: Wordfast Pro, versão 3.1.3 Figura 5: SDL Trados Studio 2011 Figura 6: Memo Q, versão 6.2 Ao cancelar esse serviço gratuito e passando a exigir um API, cobrando pelo serviço de forma proporcional ao uso (em número de palavras), o Google incluiu uma seção nos seus 21 Termos de Utilização em que deixa claro que a tradução elaborada pelo tradutor pertence a ele (ou ao seu cliente), e não ao Google 16 . 1.5 Ferramentas TAC e a integração TAC/TA Para além do ressurgimento da TA, a década de 1980 também viu o surgimento das ferramentas TAC –tradução assistida por computador, onde os tradutores detinham total controlo dos processos. A pioneira foi a empresa Alpnet (Cocci, 2010:s.p.), dos Estados Unidos, com a ferramenta TSS –Translation Support System. O pico da tecnologia exclusiva para tradutores ocorreu na década de 1990, com o surgimento do Workbench, da empresa alemã Trados (atualmente pertence à SDL), a ferramenta TAC de escolha da Comissão Europeia. Para além do controlo da terminologia, os tradutores passaram a poder usufruir de uma base de dados com as suas traduções, denominadas memórias de tradução (MT). Deve-se atentar para o facto de que memória de tradução e corpus são tecnologias diferentes –os corpora incluem informações morfológicas e sintáticas, adicionadas através de anotações, enquanto as memórias são um produto "cru", ou seja, sem informações que contextualizem as ocorrências. As ferramentas TAC incluem algumas funcionalidades básicas, nomeadamente memórias de tradução (MT), pesquisa de concordância e garantia de qualidade (QA). O primeiro recurso é uma base de dados que armazena os textos original e traduzido de forma pareada, enquanto o segundo recurso permite uma pesquisa nessa base de dados que traz resultados apresentando o original e o traduzido. Ao terminar a tradução, o recurso de QA procura de forma automatizada erros específicos, como numeração não idêntica ou posição de tags. A base de dados é composta por unidades de tradução (UT), que são frases ou parágrafos (conforme a configuração que o utilizador escolher), armazenados de forma pareada. As ferramentas TAC visam auxiliar o tradutor, assim, a tradução é humana. Esta integração entre MT e TA visa suprir uma limitação do sistema MT –sozinho, sem a inserção num sistema TAC, ele não pode adquirir novas funcionalidades. Por isso, e para evitar uma possível confusão entre MT e ferramentas TAC, passou-se a usar a terminologia TEnT, sigla em inglês para Translation Environment Tools, que designam qualquer 16 Termos disponíveis em linha, sítio https://developers.google.com/translate/v2/terms (acedido pela última vez em 16-Fev-2013) 28 Observámos que a Symantec declara fazer uso de uma ferramenta TAC (Idiom World Server e Trados) e a implementação do Systran foi feita de forma integrada. Assim, o tradutor faz a pós-edição no ambiente da ferramenta TAC como se fizesse uso de "fuzzy matches" da MT. O fluxo de trabalho inclui primeiro uma análise do arquivo a ser traduzido, exportando as correspondências (matches) mais baixas numa memória em formato TMX. Este arquivo é traduzido automaticamente pelo Systran e reimportado na TAC para pós-edição. Tudo isto é feito numa aplicação desenvolvida pela própria Symantec, chamada SymGlue. A Symantec também faz uso de linguagem controlada por meio de um software de autor, chamado acrocheck. Koponen et al. (2012) mencionam que o esforço de PE envolve aspetos temporais, técnicos e cognitivos e afirmam que as métricas disponíveis atualmente não depreendem o esforço cognitivo envolvido na tarefa, como HTER (Human-targeted Translation Edit Rate), uma métrica de distância de edição que calcula o número mínimo de edições entre o texto produzido "cru" e a sua versão pós-editada. Afirmam que o tempo de PE consegue calcular parte do esforço cognitivo, por isso seria a melhor forma de calcular esse esforço. Observámos que a ferramenta MemoQ 2013 (versão 6.5), disponível em versão beta, inclui um recurso para o cálculo da distância de edição. A inclusão deste recurso implica o reconhecimento de que a TA é usada em conjunto com ferramentas TAC e indica a tendência de que outras ferramentas TAC sigam o seu exemplo e outros recursos relacionados à PE e à TA sejam desenvolvidos e incluídos. 29 Figura 10: Ecrã do recurso Edit Distance Statistics CAPÍTULO 2 – GÉNEROS TEXTUAIS E A TA 33 Embora a observação detalhada de géneros textuais não faça parte desta pesquisa, é importante observar que o género do texto influencia o resultado da TA, especialmente ao avaliar a sua qualidade. Biber (1988:70) define género textual com sendo determinado por critérios externos ao texto, relacionados aos objetivos do autor ou falante. Por outro lado, a tipologia textual é motivada por critérios internos, como relações lógicas, aspetos lexicais e sintáticos. Assim, com base nessa dicotomia, as bulas são classificadas como género textual, devido à função informativa que desempenham, e são um texto descritivo com base em sua natureza linguística. Como mencionámos anteriormente, a TA é mais bem-sucedida no caso de textos de domínios muito específicos em sistemas de TA dedicados. Os textos nos quais a relação de sentidos e ambiguidade estão presentes, como o género literário, não apresentam os mesmos resultados de textos com frases curtas e diretas, sem ambiguidade, como num manual de instruções. Isto ocorre porque as relações de sentido entre as palavras são complexas demais para que a máquina as consiga decrifar, portanto, treinar o motor para reconhecer a terminologia específica de uma área técnica, em que a ausência de ambiguidade é essencial para transmitir uma instrução clara, tende a ser mais eficaz. As construções frásicas diretas, sem inversão de sujeito ou subordinação, também apresentam uma tendência a uma TA mais legível, especialmente em sistemas de TA baseados em regras. As construções frásicas mais complexas geram ambiguidade e falta de inteligibilidade para o sistema. Uma vez que o computador opera com algoritmos e, especificamente no caso da SMT, analisa a probabilidade estatística da ocorrência de um determinado termo, é importante que a terminologia seja fixa. Ao introduzir uma variável como a ambiguidade, que pode suportar mais de um significado para um mesmo termo, a eficácia algorítmica cai por terra e o resultado fica comprometido. No caso de um sistema de RBMT, para além da terminologia, deve-se ter em conta a construção frásica do texto em questão, uma vez que cada género textual implica um determinado tipo de construção frásica (como a forma imperativa em manuais de instruções), conforme afirma Cabré (1993:79) acerca da fraseologia, e isto também pode influenciar a ambiguidade. Por outro lado, o conteúdo controlado torna a TA uma tarefa tangível e com resultados razoáveis. Isto pode ser demonstrado a partir dos excertos que selecionámos para incluir no 34 inquérito em linha, de diferentes géneros textuais, que analisaremos no capítulo 6 (Avaliação humana no questionário). 2.1 Bulas Nossa motivação para a escolha deste género textual foi a presença de fraseologia específica e a possibilidade de inter-relação entre documentos em inglês (UK) e português europeus (PT), e inglês americano (US) e português brasileiro (PB). Iniciemos apresentando as definições para bulas e folhetos informativos. Em inglês, temos os equivalentes "package insert" ou "prescribing information" nos Estados Unidos e "patient information leaflet" ou "package leaflet" na Europa. Folheto Informativo – “informação que acompanha o medicamento, elaborada numa linguagem menos técnica, que se destina aos utilizadores do medicamento.” (Infarmed, Portugal) Bula – “conjunto de informações sobre um medicamento que obrigatoriamente os laboratórios farmacêuticos devem acrescentar à embalagem de seus produtos vendidos no varejo. As informações podem ser direcionadas aos usuários dos medicamentos, aos profissionais de saúde ou a ambos.” (Sítio Interações Medicamentosas 18 ) Bula para o paciente –“documento legal sanitário que contém informações técnico-científicas e orientadoras sobre medicamentos, as quais são disponibilizadas aos usuários em linguagem apropriada, ou seja, de fácil compreensão; nos estabelecimentos com atividade de dispensação de medicamentos, conforme lei vigente." (ANVISA, Brasil) 18 Sítio web http://interacoesmedicamentosas.com.br/bulas.php (acedido pela última vez em 20 Jun 2013). 35 2.1.1 Resoluções sobre organização e tradução das bulas 2.1.1.1 Brasil A agência reguladora de medicamentos no Brasil é a ANVISA (Agência Nacional de Vigilância Sanitária). As bulas em português brasileiro têm suas seções organizadas em perguntas, para que o utilizador não perito consiga localizar facilmente as informações de cada seção, e estas são descritas em detalhe na Resolução RDC n.º 47, de 8 de setembro de 2009 19 . Para além de estabelecer os títulos das seções e que informações devem ser incluídas, esta Resolução também estabelece frases que devem obrigatoriamente constar na bula, de acordo com as instruções e dependendo do tipo de medicamento. Algumas frases obrigatórias incluem "Informe ao seu médico ou cirurgião-dentista se você está fazendo uso de algum outro medicamento." e "Todo medicamento deve ser mantido fora do alcance das crianças.". Sobre a tradução, a Resolução RDC n.º 25, de 16 de junho de 2011 20 , declara ser obrigatório traduzir todos os documentos redigidos em língua estrangeira que farão parte de um processo de registo de medicamento. Assim, se a bula foi originalmente elaborada em língua estrangeira, o que geralmente é o caso para laboratórios farmacêuticos multinacionais, o documento deve ser traduzido. Apesar de não haver um modelo pronto, divulgado pela ANVISA, as frases que devem constar no documento (de acordo com o medicamento) fornecem um parâmetro que deve ser consultado durante uma tradução. 2.1.1.2 Europa A Diretiva 2001/82/EC, artigo 61º, n.º 2, define as informações que devem ser incluídas em bulas de medicamentos comercializados na União Europeia, em todos os idiomas oficiais dos Estados-Membros. Conforme indicado por Jensen (sem ano:4), as bulas na UE costumam ser originais somente em inglês e os demais idiomas são traduções. 19 A resolução está disponível em linha, sítio http://www.anvisa.gov.br/medicamentos/bulas/rdc_47.pdf (acedido pela última vez em 19 Mai 2013). 20 A resolução está disponível em linha, sítio http://bvsms.saude.gov.br/bvs/saudelegis/anvisa/2011/res0025_16_06_2011.html (acedido pela última vez em 18 Mai 2013). 36 O processo de análise linguística e de tradução varia de acordo com o produto. Durante a nossa análise bibliográfica, encontrámos um documento com informações regulatórias e de procedimento que descreve em linhas gerais este processo 21 . Especificamente em relação à bula ao paciente (anexo III do documento em questão), a tradução deve ser fornecida pelo aplicante (Marketing Authorization Holder, MAH) ao centro de contato de tradução indicado que analisará a tradução e fornecerá comentários, que devem ser implementados no documento ou discutidos com o contato indicado. A Agência Europeia de Medicamentos (EMA) fornece diversos modelos no seu sítio Web 22 , que incluem títulos das seções e algumas frases obrigatórias ou semiestruturadas, para preenchimento do aplicante. Estes modelos para preenchimento definem o layout que o documento deve seguir, padronizando também as construções frásicas em todos os idiomas oficiais dos Estados-Membros da UE. Esta padronização também é importante para o processo de tradução, garantindo sua a homogeneização e que as mesmas informações estejam disponíveis nas bulas em toda a UE. Para a análise das fraseologias na bula traduzida do par UK-PT, usámos o modelo disponível na seção Quality Review of Documents human product-information template version 9, descarregado em inglês e em português. Usámos somente o Anexo III, seção B. 2.1.1.3 Estados Unidos O Código de Regulamentações Federais (CRF) 21, I, subcapítulo D 23 , regulamenta a solicitação para autorização de comercialização nos Estados Unidos e estabelece que o aplicante deve enviar a tradução para o inglês de qualquer parte em língua estrangeira, junto com uma cópia do documento original. Não encontrámos uma regulamentação que defina o formato específico ou construções frásicas obrigatórias em bulas, encontrámos somente uma notícia acerca de uma mudança 21 O documento está disponível em linha, sítio http://www.ema.europa.eu/docs/en_GB/document_library/Regulatory_and_procedural_guideline/2012/12/WC500136145.pdf (acedido pela última vez em 19 Mai 2013). 22 Os modelos de bula estão disponíveis no sítio http://www.ema.europa.eu/ema/index.jsp?curl=pages/regulation/document_listing/document_listing_000134.jsp (acedido pela última vez em 18 Mai 2013). 23 A regulamentação está disponível no sítio http://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfcfr/CFRSearch.cfm?fr=314.50 (acedido pela última vez em 18 Mai 2013). 37 no formato, realizada em 2006 24 , que menciona a inclusão de uma seção denominada Highlights, um índice, a data da primeira aprovação e informações para a denúncia de suspeita de eventos adversos. 2.2 Fraseologia comparada das bulas Tendo em conta que a presença de fraseologia motivou a nossa escolha inicial por este género textual, e tendo em vista as implicações expostas sobre as resoluções nacionais e/ou regionais que tornam a bula um produto peculiar com formato exclusivo em cada país ou região, foi necessário analisar o tipo de construção frásica que os documentos "bulas" apresentam, uma vez que, segundo Cabré (1993:79), cada tipo de documento possui terminologia, sintaxe e fraseologia específicas, o que marca sua distinção em relação à linguagem geral, justificando a nossa análise. Para a Gramática, a Fraseologia dedica-se ao estudo da frase, o que inclui sequências e empregos típicos de palavras num determinado contexto. As unidades fraseológicas são grupos de palavras cristalizados. Também há unidades fraseológicas especializadas (UFE), definidas por Bevilacqua (1998:s.p.) como "unidades sintagmáticas que incluem um termo entre seus elementos, que possuem um determinado grau de fixação e uma freqüência [sic] relevante em um conjunto de textos ou em um âmbito especializado", o que inclui fórmulas ou frases específicas de discursos próprios, como o médico-farmacêutico de bulas. O nosso foco, contudo, é limitado às frases, não às UFE isoladas. Por se tratar de texto especializado, o termo "fraseologia" deve ser entendido, no contexto de nossa pesquisa, como "fraseologia especializada", uma vez que não abordaremos construções frásicas de outro tipo (exceto no capítulo 6, Avaliação humana no questionário). Selecionámos três construções frásicas específicas, que analisaremos a seguir. Verificaremos alguns contextos listados para os termos "medicamento" e "medicine", a fim de ilustrar a fraseologia específica das bulas. PT: Manter este medicamento fora da vista e do alcance das crianças 24 A notícia em questão está disponível no sítio http://www.fda.gov/Drugs/GuidanceComplianceRegulatoryInformation/LawsActsandRules/ucm188665.htm (acedido pela última vez em 18 Mai 2013). 44 Extrapolamos a dicotimia proposta por Venuti, especificamente a estrangeirização, por conta da rutura das normas da linguagem, que referimos como estranhamento, enquanto o seguimento das normas é referido como naturalidade, ou construção natural. Neste sentido, naturalidade pode ser considerada como sinónimo de fluência (cf. Wu et al., 2011), por conta da observância das normas de produção de língua de chegada. Por último, devemos definir o termo avaliação humana. Como verificado no capítulo 1.3 (Métricas de avaliação), há diversas métricas para avaliar uma tradução. A avaliação humana de que fizemos uso nesta pesquisa pode ser comparada à avaliação manual (definida no capítulo 1.3.3, Avaliação manual), em que um inquirido faz anotações acerca da qualidade da frase traduzida, embora apenas classificasse a tradução na nossa pesquisa, sem listar o problema exato. As avaliações manuais também exigem diretrizes específicas, que não foram aplicadas no âmbito desta pesquisa. 3.2 Critérios de escolha e recolha de textos para TA O nosso critério inicial para a recolha das bulas que constituiriam o nosso corpus teve por base a ação esperada do princípio ativo (neste caso, o tratamento do cancro no contexto da oncologia). Baseámos a nossa decisão na Universal Decimal Classification (UCD): 6 CIÊNCIAS APLICADAS. MEDICINA. TECNOLOGIA 61 Ciências médicas 615 Farmacologia. Terapêutica. Toxicologia 615.2 Medicamentos de acordo com a sua ação principal A fim de delimitar o nosso corpus no contexto da oncologia, delimitámos mais uma vez o nosso objeto como medicamentos para tratamento do cancro dos órgãos reprodutivos e da mama, utilizando o sítio Web da EMA para uma pesquisa por área terapêutica. Após delimitar o nosso corpus, passámos à recolha de textos. Inicialmente, tentámos obter os textos para os corpora nas agências regulatórias locais, nomeadamente EMA para Europa (PT e UK), ANVISA para Brasil (PB) e Food and Drug Administration (FDA) para os Estados Unidos (US). Conseguimos obter material em grande quantidade para Europa. No entanto, ao fazermos uma pesquisa no sítio da 45 ANVISA para a recolha de bulas de acordo com os mesmos princípios ativos (PA), encontrámos poucas ou nenhuma bula disponível, uma vez que os medicamentos comercializados na Europa ainda não foram aprovados ou estão em fase de aprovação no Brasil. Em relação à FDA, também tivemos dificuldade devido ao facto de o sítio Web disponibilizar as bulas somente por nome do medicamento. Para o Brasil e EUA, modificámos o nosso método de pesquisa, acedendo aos sítios Web de laboratórios farmacêuticos nos Estados Unidos e Brasil e procurar as bulas de acordo com o princípio ativo. Uma vez que há bulas disponíveis com informações ao paciente e ao profissional de saúde, optámos sempre que possível pela bula direcionada a pacientes, considerando que as informações são mais objetivas (p.ex. quais os danos que aquele medicamento pode provocar, como o administrar), enquanto a bula ao profissional de saúde muitas vezes apresenta resultados de estudos clínicos. No caso das bulas US, estas são compostas por três partes –(a) Highlights of Prescribing Information, (b) Full Prescribing Information e (c) Patient Information. O item (a) é um resumo das informações importantes sobre o medicamento, indicações e reações adversas, para consulta rápida. O segundo item contém informações extensas, com linguagem para profissionais de saúde. O último item contém uma linguagem relativamente simples, dirigida aos pacientes. Embora as bulas em PB para profissionais de saúde e para pacientes sejam documentos separados, a bula para pacientes divide-se nas seções Identificação do Medicamento, Informações ao Paciente e Dizeres Legais. No momento de preparação dos documentos para posterior uso como treino ou tradução, eliminámos a primeira e a última seção. Já as bulas UK e PT (package leaflet/folheto informativo), estão inseridas em um documento longo, numa seção específica com o título indicado. Mantivemos o seu conteúdo, exceto pelas seções Conteúdo da Embalagem e Outras Informações/Contents of the Pack and Other Information, por conterem informações de contacto com o laboratório que produziu o medicamento em diversos países (incluindo números de telefone), sem relevância em termos de texto técnico. Tendo em mente que os corpora UK e PT eram correspondentes, ou seja, apresentavam estruturas e construções frásicas idênticas ou muito semelhantes, passamos à recolha de bulas US, a fim de tentar estabelecer a mesma correspondência com as bulas do corpus PB. Como mencionámos anteriormente, tivemos grande dificuldade em encontrar o material no 46 sítio Web da FDA, uma vez que o nome do medicamento nem sempre é o mesmo na Europa ou no Brasil. Modificámos o nosso método de pesquisa, acedendo aos sítios Web de laboratórios farmacêuticos nos EUA e procurar as bulas de acordo com o princípio ativo. No final, sepáramos as bulas em dois grupos: pareamento UK-PT e pareamento US-PB. Em cada grupo, ainda criámos os subgrupos "treino" e "tradução", sendo o primeiro referente a pares de bulas separadas exclusivamente para treino e tuning do motor de TA (quando em desktop, e não em linha) e o segundo referente a bulas que seriam traduzidas. O subgrupo "tradução" contém somente bulas em Inglês (US ou UK) para tradução para Português (PT ou PB). A nossa amostra total tinha inicialmente 32 bulas em UK e PT e 8 bulas em US e PB. Uma vez que a amostra em US e PB é reduzida, identificámos os princípios ativos das bulas US e PB, pesquisámos as bulas com os mesmos princípios ativos no par UK e PT e eliminámos as restantes. Com isto, restaram 21 bulas em UK e PT. Uma vez que nem todas as bulas em US continham a seção Patient Information, algumas foram eliminadas, restando apenas cinco bulas (PB e US). Eliminámos as bulas com os princípios ativos correspondentes em PT e UK, o que resultou em 8 bulas para cada idioma. Separámos uma bula (em inglês US e UK) para tradução, restando 7 bulas em UK e PT e 4 bulas em US e PB para treino. Selecionámos para tradução a bula de Zytiga (princípio ativo abiraterona), especialmente por a ter encontrado em linha e usado um excerto no nosso inquérito em linha. 3.3 Sistemas usados nesta pesquisa Tendo em conta os tipos de sistema disponíveis e o conhecimento de que o desempenho depende da combinação entre o tipo de sistema, idiomas e género textual, utilizámos os seguintes sistemas para a tradução de bulas: (a) Google Translate –Estatístico (usando a Internet como corpus) (b) Microsoft Bing Translator –Sistema híbrido (regras e estatístico, usando a Internet como corpus) (c) Systran –Sistema híbrido (regras e estatístico) 47 (d) Moses for Mere Mortals –Estatístico (com corpus especificado pelo utilizador) Ao usar esses sistemas, procurámos a variabilidade e, assim, uma análise mais abrangente das traduções. No fim das traduções, faremos uma análise comparada de excertos selecionados. A bula correspondente em PT também será usada para fins de comparação. 3.3.1 Google Translate Uma vez que temos um API para usar o Google Translate numa ferramenta TAC, e devido ao tamanho do texto, tentámos fazer a tradução da bula em questão usando a ferramenta TAC MemoQ (versão 6.2) sem usar uma memória de tradução ou glossário. Assim, obteríamos uma tradução pura –ou seja, apenas do Google Translate, podendo gerar o documento traduzido em seguida. No entanto, devido ao grande número de tags no ficheiro, a tradução não foi bem-sucedida, como pode ser observado na figura a seguir. Figura 11: Ficheiro no MemoQ traduzido usando GT Assim, acedemos o sítio Web do GT. Num processo de copiar-colar, traduzimos o texto. 3.3.2 Microsoft Bing Também contámos com um API para usar no Bing Translate numa ferramenta TAC, novamente sem sucesso devido à quantidade de tags. Prosseguimos para o sítio Web, fazendo uso do processo de copiar-colar para traduzir o texto. 48 3.3.3 Systran (desktop) Usámos o software Systran versão 7.3.5.13 instalado localmente. Trata-se de um software de motor híbrido (baseado em regras e estatístico) que possibilita a criação de diferentes perfis, de acordo com o género textual a ser traduzido. Assim, foi possível criar perfis distintos para português europeu e para português brasileiro. Contudo, uma vez que as regras inseridas são específicas do português europeu, nossa hipótese é de que o resultado será satisfatório para PT, mesmo com o treino em PB. Para o treino, utilizámos o recurso Systran Customization Wizard, que cria novos dicionários e perfis com base em corpora que podemos selecionar. Figura 12: Ecrã inicial do recurso Systran Customization Wizard Criámos o perfil MT_PT para iniciar o treino com os nossos corpora de textos em português europeu e inglês britânico e prosseguimos com a tradução da bula selecionada. abrimos o ficheiro em inglês WC500112858_EN (bula do medicamento Zytiga 250 mg em comprimidos) com o software MS Word, selecionámos a opção SYSTRAN nas guias, selecionámos o perfil MT_PT e clicámos em “Traduzir” e, em seguida, em "Traduzir documento". 49 Figura 13: Ecrã de tradução no Word, com perfil do Systran em detalhe Concluída a tradução, surge um novo ficheiro com o nome "WC500112858_EN (Traduzido para Português) 2". Para a preparação da tradução do par US-PB, criámos o perfil MT_PB para iniciar o treino com os nossos corpora de textos em português brasileiro e inglês americano. Prosseguimos traduzindo a bula selecionada (em inglês americano). Abrimos o ficheiro em inglês 202379lbl_Zytiga (bula do medicamento Zytiga) com o software MS Word, selecionámos a opção SYSTRAN nas guias, selecionámos o perfil MT_PB e clicámos em “Traduzir” e, em seguida, em "Traduzir documento", gerando o documento 202379lbl_Zytiga (Traduzido para português). 3.3.4 Moses for Mere Mortals Moses for Mere Mortals é um conjunto de scripts desenvolvidos por Machado e Fontes (2011:12) a partir do software livre Moses. Os scripts são executados no sistema operativo Linux, tendo também dois add-ons que podem ser executados no sistema operativo Windows, para a criação e separação (em textos paralelos) de uma memória de tradução em formato TMX. Os detalhes sobre a preparação dos corpora para treino da ferramenta e sobre os scripts estão disponíveis a seguir. O tradutor leigo expressa grande dificuldade em usar os sistemas de TA em código aberto. Isto porque a expressiva maioria foi concebida por engenheiros computacionais que fazem 50 uso do sistema operativo (SO) Linux/Ubuntu. Uma vez que a maioria das ferramentas TAC só é compatível com o SO Windows, os tradutores leigos tendem a fazer uso somente deste sistema. Ao contrário do Windows, o Linux tem os seus comandos concentrados no Terminal (ou Consola). Figura 14: Exemplo Terminal/Consola, em Linux/Ubuntu É o caso do programa Moses for Mere Mortals (MMM). A nossa principal dificuldade em utilizar o Linux foi superada somente após o curso sobre o MMM (compatível com Linux e com add-ons para Windows, para criação e importação de ficheiros no formato TMX), ministrado pelo Dr. Hilário Fontes em maio de 2013. O objetivo deste curso era orientar sobre o uso dos comandos que permitem um melhor aproveitamento da ferramenta, para além de apresentar recursos adicionais que potencializam o programa. Machado e Fontes (2011:12) desenvolveram, implementaram e avaliaram os scripts do MMM no Departamento de Língua Portuguesa da Direção-Geral de Tradução (DGT), da Comissão Europeia, usando as métricas BLEU e NIST e avaliação humana no fluxo de trabalho do DLPT, durante cerca de um ano e meio. Os autores utilizaram 12,4 milhões de 51 segmentos de textos de domínios diferentes, com segmentos extraídos aleatoriamente dos corpora de teste (cerca de 70.000 segmentos). Os resultados com o modelo linguístico RANDLM foram considerados mais positivos. Antes de instalar o software MMM, instalámos os pacotes indicados na seção B.2 do tutorial que acompanha o software. Em seguida, abrimos o ficheiro do script create-1.36, que descarrega e compila os pacotes Moses, e mudámos o diretório para instalação. Executámos o script em seguida. Para verificar se a instalação foi bem-sucedida, utilizamos o script make_test-tuning_files-0.15, gentilmente cedido pelo Dr. Hilário Fontes. Abrimos o script, adequamos os parâmetros para o teste com o corpus de 800 palavras, no corpus de teste descarregado durante a instalação, e executámos o script com sucesso. Assim, sabemos que o Moses for Mere Mortals está a funcionar no nosso computador e podemos excluir os ficheiros de teste. Wu et al. (2011:s.p.) explica como a etapa de treino funciona, a seguir. At the training stage, Moses first learns word-to-word translation and distortion models from the training data using IBM Models 1-5, then uses the models to find word alignment between each sentence pair in the training data, and next uses the word alignment to build a phrase table and reordering model . The phrase table stores the probability that a source phrase translates into a target phrase. “Phrase” in this context refers to a word n-gram, not necessarily a linguistic phrase. A reordering model captures how likely the source phrases are reordered in the target side. Finally, Moses uses the SRLIM package to build an n-gram language model from the target side of the training corpus. Após o teste, prosseguimos com a preparação de nosso corpus de trabalho no par UK-PT. O MMM aceita somente documentos no formato “plain text” (extensão .txt) UTF-8 com finalização de linha Unix. Assim, uma vez que os nossos ficheiros estavam originalmente no formato PDF, fizemos a conversão para DOC e, em seguida, para TXT. Deve-se observar que os dois ficheiros do par (ou seja, ficheiro em português e ficheiro em inglês) devem ter o mesmo número de linhas. Embora não haja um alinhamento exato das linhas, a correspondência entre as linhas é feita durante a criação do modelo linguístico e do modelo de tradução, com a correspondência entre n-gramas (n-gram-based matching). Inicialmente, considerámos a possibilidade de alinhar os textos em português e inglês usando a ferramenta Abby Aligner 2.0 (versão 1.0.6.59) e exportar um ficheiro TMX. Assim, poderíamos usar o add-on para Windows e Linux Extract_TMX_Corpus, que extrai 52 dois corpora a partir do ficheiro TMX. O ficheiro gerado tinha codificação UTF-8 e, uma vez que o add-on lida somente com ficheiros TMX com codificação UTF-16, abrimos o ficheiro usando a ferramenta Notepad e modificamos a codificação para UTF-16. Ao fazer testes, observámos que este ficheiro não foi convertido com sucesso. Testámos os formatos TMX gerados pela ferramenta Trados Workbench (formatos 1.1, 1.4 e 1.4b), os três formatos convertidos em corpora com sucesso. Assim, criámos uma nova memória na ferramenta Trados Workbench, importámos o ficheiro TMX criado a partir da ferramenta Abby Aligner e exportamos no formato TMX 1.4, testando em seguida o addon. Obtendo sucesso com este procedimento, acreditámos que este processo é mais seguro do que preparar manualmente os ficheiros, diretamente no formato plain text. Por conta da regulamentação das agências responsáveis, observámos uma assimetria entre as bulas. Optámos pelo uso do software Abby Aligner para resolver tal assimetria com a sincronização dos textos através do seu alinhamento, o que permitiu a identificação e a consequente exclusão de seções únicas (sem correspondência no texto par). Com os formatos corretos de cada ficheiro para usar com os scripts do MMM, prosseguimos com a execução do script train-1.11 e concluímos o treino do motor. Para gerar o texto traduzido após o treino, executámos o script translate-1.32. A preparação para o corpus US-PB foi mais trabalhosa, uma vez que os formatos das bulas são totalmente distintos. Iniciámos com o alinhamento dos ficheiros usando o software Abbyy Aligner. Em seguida, removemos marcas de parágrafos excedentes, linhas vazias (em branco) e juntámos linhas com quebra de parágrafo indevido. Identificamos linhas com texto correspondente, ou seja, uma linha em US com o mesmo teor ou texto semelhante em PB. Por conta da extensa diferença, optamos por eliminar a tradução com o Moses for Mere Mortals, uma vez que o alinhamento não foi possível e muitas partes do original deveriam ser eliminadas para treino, o que resultaria numa tradução de baixíssima utilidade. O corpus para treino do motor MMM não foi normalizado, ou seja, utilizamos cada documento com seu respectivo par conforme disponíveis no sítio Web da EMA. Acreditamos que a normalização da tipografia e da ortografia antes do treino do motor possa resultar em pontuações BLEU e NIST ainda mais altas para o documento traduzido. 53 3.4 Métricas O software Moses for Mere Mortals tem um script que gera as pontuações BLEU e NIST de uma tradução feita de forma automatizada a partir da comparação com uma tradução de referência, que deve preferencialmente ser humana. O script a ser executado é score-0.85. Usando a versão em PT que descarregámos a partir do sítio da EMA como tradução de referência, gerámos as pontuações BLEU e NIST para as traduções que obtivemos de cada motor aqui listado. Faremos uma breve análise comparativa somente das pontuações BLEU, que, conforme indicámos no capítulo 1.3 (Métricas de avaliação), é uma das pontuações mais utilizadas. Com isto, teremos mais um parâmetro de análise de qualidade das traduções produzidas. Deve-se observar que, embora não tenhamos gerado uma tradução automática para o par US-PB por Moses for Mere Mortals, pudemos usar essa ferramenta para gerar as pontuações BLEU e NIST, uma vez que tínhamos uma tradução "oficial" disponível como referência (ou seja, as bulas em PT e PB). 3.5 Inquéritos Elaborámos dois inquéritos, sendo o primeiro para ser respondido em linha, elaborado na ferramenta Google Docs, composto por oito perguntas para fins de verificação do perfil do utilizador de TA e oito excertos traduzidos por motores em linha de TA que deveriam ser avaliados. Após o excerto source, em inglês, havia três traduções feitas respetivamente por Google Translate, Microsoft Bing e Systran Net. O utilizador deveria selecionar a melhor tradução e, somente para essa tradução, deveria classificar os erros lexicais, sintáticos e gramaticais. Por último, deveria indicar qual a pior tradução. Os excertos source que utilizámos para este inquérito estão disponíveis no capítulo 6. Após dez dias, o inquérito foi desativado no Google Docs, eliminando a possibilidade de novas respostas. Em seguida, gerámos um resumo automático das respostas, usando a opção "Summary of responses" no ficheiro em linha. O resultado está disponível no capítulo 4 deste trabalho. Ao todo, obtivemos 65 respostas, incluindo respostas parciais. Foi considerada como resposta parcial aquela que não apresentasse uma resposta a todas as perguntas (salvo a primeira pergunta, sobre nacionalidade, uma vez que alguns selecionaram a opção "other" sem especificar a nacionalidade). Um dos motivos para as 60 capitalização das palavras e depois reaplica-as, o que pode resultar em disparidades na capitalização entre as palavras original e traduzida. Outro aspeto que iremos desconsiderar é a diferenciação entre as variantes linguísticas brasileira e europeia. Assim, o termo traduzido como "usuário" não constitui erro, por se tratar de uma variação linguística. Tabela 3: Segmento 1 Original: Package leaflet: Information for the user Tradução: Folheto informativo: Informação para o utilizador GT: Folheto informativo: Informação para o utilizador Bing: Folheto informativo: informação para o usuário Systran: Folheto do pacote: Informação para o usuário Moses: Folheto Informativo: informação para o utilizador O modelo da EMA prevê o uso, no idioma original (inglês), de "patient" ou "user". O modelo traduzido (português) indica como termos correspondentes "doente" e "utilizador". No segmento 1, observámos que o original utilizou "user", sendo traduzido como "utilizador". Observámos que o único problema está presente na TA por Systran, com uma tradução literal e não especializada, com "package" traduzido como "pacote". Tabela 4: Segmento 4 Original: Read all of this leaflet carefully before you start taking this medicine because it contains important information for you. Tradução: Leia atentamente este folheto antes de começar a tomar este medicamento, pois contém informação importante para si. GT: Leia este folheto antes de começar a tomar este medicamento, pois contém informações importantes para você. Bing: Leia todo este folheto antes de tomar este medicamento, pois ele contém informações importantes para você. Systran: Leia todo este folheto com cuidado antes que você comece tomar esta medicina porque contem a informação importante para você. Moses: Leia com atenção todo este folheto antes de começar a utilizar este medicamento, pois contém informação importante para si. 61 Neste segmento, mais uma vez, apenas o motor Systran apresenta problemas de tradução do termo especializado, traduzindo "medicine" como "medicina", e não medicamento. Também há problemas gramaticais no excerto, como a ausência da preposição ("comece [a] tomar"), acento ("contém") e artigo mal colocado ("contem a informação importante". Nos outros motores, observámos o uso de "você", que caracteriza a variante brasileira, e o uso de "utilizar" (Moses) em vez de "tomar", como na tradução de referência. Por conta do uso de "utilizar", presumimos que esse verbo esteja presente numa construção semelhante usada no treino do motor. Uma vez que o uso está correto, somente o motor Systran apresenta problemas reais na tradução. Tabela 5: Segmento 5 Original: Keep this leaflet. You may need to read it again. Tradução: Conserve este folheto. Pode ter necessidade de o reler. GT: Conserve este folheto. Você pode precisar ler novamente. Bing: Manter este folheto. Você pode precisar lê-lo novamente. Systran: Mantenha este folheto. Você pode precisar de lê-lo outra vez. Moses: Conserve este folheto. Pode ter necessidade de o ler novamente. No segmento 5, observámos que os sinónimos "manter" e "conservar" foram usados nas traduções, o que manteve o sentido original. Contudo, chamou a nossa atenção o uso do modo verbal imperativo no original e o uso do infinitivo na tradução pelo Bing, o que pode estar relacionado com o método baseado em regras do motor. Também considerámos como sinónimos as traduções "reler", "ler novamente" e "lê-lo novamente" e "lê-lo outra vez". Na tradução do motor Systran, observámos o uso do verbo " precisar" como transitivo indireto. No entanto, a abonação da preposição é o mais usual na língua portuguesa, o que causa um estranhamento, apesar de a frase estar gramaticalmente correta. As traduções dos motores GT e Bing fazem uso da abonação, enquanto Moses mantém a construções usada na tradução oficial ("necessidade de"). 62 Tabela 6: Segmento 6 Original: If you have any further questions, ask your doctor or pharmacist. Tradução: Caso ainda tenha dúvidas, fale com o seu médico ou farmacêutico. GT: Se você tiver alguma dúvida, pergunte ao seu médico ou farmacêutico. Bing: Se você tem alguma dúvida, pergunte a seu médico ou farmacêutico. Systran: Se você tem quaisquer perguntas mais adicionais, pergunte a seu doutor ou farmacêutico. Moses: Caso ainda tenha dúvidas, fale com o seu médico ou farmacêutico. Na maioria das traduções, exceto MMM, "ask" foi traduzido como "pergunte", uma tradução literal, que não prejudica a compreensão do excerto. Contudo, deve-se observar que "questions" pode ser traduzido como "dúvidas" ou "perguntas" e, se a última opção for usada, ocorre um eco em "se tiver mais perguntas, pergunte a seu médico". Isto ocorre somente na tradução do Systran, com a redundância "perguntas mais adicionais", numa construção gramaticalmente mal formada. Tabela 7: Segmento 7 Original: This medicine has been prescribed for you only. Do not pass it on to others. It may harm them, even if their signs of illness are the same as yours. Tradução: Este medicamento foi receitado apenas para si. Não deve dá-lo a outros. O medicamento pode ser-lhes prejudicial mesmo que apresentem os mesmos sinais de doença. GT: Este medicamento foi receitado apenas para si. Não transmiti-lo aos outros. Serlhes prejudicial, mesmo que os seus sinais da doença são os mesmos que o seu. Bing: Este medicamento foi receitado para você só. Não passá-lo aos outros. Isso pode prejudicá-los, mesmo se seus sinais da doença são os mesmos que o seu. Systran: Esta medicina foi prescrita para você somente. Não a passe sobre a outro. Pode prejudicá-los, mesmo se seus sinais da doença são os mesmos que seus. Moses: Este medicamento foi receitado apenas para si. Não deve dá-lo a outros. O medicamento pode ser-lhes prejudicial mesmo apresentem os mesmos sinais de doença que. A primeira frase do segmento 7 apresenta problemas somente na tradução pelo Systran, com a construção "para você somente", para além do uso de "medicina" em vez de "medicamento". Este último problema pode ser corrigido fazendo modificações no dicionário, portanto, não nos parece grave. Entretanto, o mesmo não é válido para a 63 posição pronome + advérbio, que deveria ser invertida na tradução. Assim, considerámos a possibilidade de modificar as regras no programa Systran úteis para o utilizador. Em relação à segunda frase, observámos problemas nas traduções dos motores GT, Bing e Systran. O primeiro apresenta uma construção incompatível com o contexto de medicamentos, uma vez que o verbo "transmitir" é compatível, no contexto médico, apenas com doenças. O mesmo pode ser inferido acerca da tradução do motor Bing, já que "passálo" também poderia ser usado para se referir à transmissão de doenças. Já a tradução do Systran, observámos uma tradução literal "termo-a-termo", mas mesmo assim mantendo a referência anafórica em "it", referindo-se ao medicamento/medicina (no caso da tradução Systran), o que resulta na última parte da frase ("on to others") sendo traduzida de uma forma sem sentido na língua de chegada. Original: Do not pass it on to others. Systran: Não a passe sobre a outro. A última frase resultou em problemas de tradução em todos os motores. A referência anafórica ("it") foi omitida nas traduções dos motores GT, Bing e Systran, sendo que a solução que esses motores ofereceram foram inteligíveis no caso do Bing ("isso pode prejudicá-los") e do Systran ("pode prejudicá-los"). Já o GT, apresentou construções não inteligíveis do original, com a tradução "Ser-lhes prejudicial", omitindo a tradução do verbo "may". É interessante observar que a construção frásica de comparação "the same as yours" foi traduzida como "mesmos que o seu" (singular) pelas plataformas GT e Bing, enquanto o Systran usou o plural ("mesmos que seus"). O verbo "ser" nesta oração deveria estar no modo conjuntivo ("mesmo que os sinais da doença sejam os mesmos"), sendo identificado como outro problema de tradução. A tradução feita pelo software MMM apresenta uma alteração na posição da conjunção "que", apresentada ao final da frase. Se mudássemos a sua posição, a frase seria bem formada e natural, resultando em "mesmo [que] apresentem os mesmos sinais de doença". 64 Tabela 8: Segmento 8 Original: If you get any side effects talk to your doctor or pharmacist. This includes any possible side effects not listed in this leaflet. Tradução: Se tiver quaisquer efeitos secundários, incluindo possíveis efeitos secundários não indicados neste folheto, fale com o seu médico ou farmacêutico. GT: Se tiver quaisquer efeitos secundários, fale com o seu médico ou farmacêutico. Isso inclui os eventuais efeitos secundários não mencionados neste folheto. Bing: Se você receber qualquer efeitos colaterais conversa com seu médico ou farmacêutico. Isso inclui quaisquer efeitos secundários não mencionados neste folheto. Systran: Se você obtem qualquer conversa dos efeitos secundários a seu doutor ou farmacêutico. Isto inclui todos os efeitos secundários possíveis não alistados neste folheto. Moses: Se tiver quaisquer efeitos secundários fale com o seu médico ou farmacêutico. Isto Inclui quaisquer possíveis efeitos secundários Não mencionados neste folheto. O segmento 8 apresenta problemas somente nas traduções feitas pelos motores Bing e Systran. A tradução do Bing inicia-se com problemas semânticos no excerto "receber qualquer efeitos colaterais". Desconsiderando-se o problema gramatical de concordância e o léxico usado ("efeitos colaterais" é um termo mais comum no português brasileiro), verificamos que "get" foi erradamente traduzido como "receber", já que, no contexto de efeitos colaterais/secundários, outros verbos seriam mais apropriados, como "tiver" e "apresentar". O Systran apresenta uma tradução com o mesmo problema no excerto "se você obtem [sic] qualquer conversa dos efeitos secundários". Observámos que "side effects talk" foi interpretado pelo software como um termo composto, o que resultou na inversão de sua ordem na tradução. Essa interpretação e subsequente inversão da ordem das palavras comprometeram o restante da frase. O Bing e o Systran, como já mencionámos noutro capítulo deste trabalho, são sistemas híbridos, fazendo uso de um sistema baseado em regras e estatístico. Assim, os seus dicionários internos parecem ter interferido nesta tradução de forma negativa, como vimos no caso do verbo "get". O Systran também traduziu "listed" como "alistados", algo incompatível com este contexto. A tradução pelo motor MMM apresenta algumas palavras erradamente em letra maiúscula. No entanto, fazemos essa menção apenas para chamar a atenção para o facto de ser este o 65 único problema neste segmento, mas sem considerá-lo grave, como mencionámos anteriormente. Tabela 9: Segmento 36 Original: Ask your doctor or pharmacist for advice before taking any medicine. Tradução: Consulte o seu médico ou farmacêutico antes de tomar qualquer medicamento. GT: Pergunte ao seu médico ou farmacêutico antes de tomar qualquer medicamento. Bing: Aconselhe seu médico ou farmacêutico antes de tomar qualquer medicamento. Systran: Peça seu doutor ou farmacêutico o conselho antes de tomar alguma medicina. Moses: Consulte o seu médico ou farmacêutico antes de tomar qualquer medicamento. Este segmento também apresenta equívocos de ordem semântica e gramatical nas traduções geradas pelos motores GT, Bing e Systran. O verbo "ask" resultou em problemas na tradução pelo GT ("pergunte") e pelo Bing ("aconselhe"). No primeiro caso, falta um objeto direto, enquanto no segundo caso, o problema é semântico ao inverter o significado –na frase original, o utilizador é aconselhado, enquanto, na tradução, ele aconselha. Já os problemas na tradução gerada pelo Systran, referem-se à gramática e naturalidade da língua, posto que "seu doutor ou farmacêutico" é um objeto indireto e a construção "peça o conselho" não é usada neste contexto. Assim, a escolha lexical causa estranhamento ao leitor. "Medicine" é novamente traduzido como "medicina". Tabela 10: Segmento 37 Original: Tell your doctor or pharmacist if you are taking, have recently taken or might take any other medicines. Tradução: Informe o seu médico ou farmacêutico se estiver a tomar, tiver tomado recentemente, ou se vier a tomar outros medicamentos. GT: Informe o seu médico ou farmacêutico se estiver a tomar, tiver tomado recentemente, ou se vier a tomar outros medicamentos. Bing: Informe o seu médico ou farmacêutico se estiver a tomar, tenho tomado recentemente ou pode tomar outros medicamentos. Systran: Diga seu doutor ou o farmacêutico se você está tomando, recentemente tem tomado ou pôde tomar todas as outras medicinas. 66 Moses: Informe o seu médico ou farmacêutico se estiver a tomar, ou tiver tomado recentemente outros medicamentos. Avaliaremos somente a primeira frase no segmento 37, por constituir apenas esta uma fraseologia. Também neste caso somente as traduções produzidas pelos motores Bing e Systran serão avaliadas. No caso de Bing, o primeiro problema é a mudança de pessoa, da segunda pessoa do singular para a primeira pessoa do singular, no verbo "tenho tomado". Outro problema é o verbo "pode tomar", que deveria funcionar como verbo auxiliar de outro verbo, ausente ("pode [vir a] tomar"). Apesar de não ser fluente, a construção "diga seu doutor", com uma falha gramatical (ausência de preposição), o seu significado não foi alterado. O dicionário deve ser modificado, para que "doctor" não seja traduzido como "doutor" neste contexto. Deve ser observado que a tradução por MMM está incompleta, o que pode ser um resultado do treino –o corpus usado pode apresentar texto em inglês idêntico e a tradução incompleta. Tabela 11: Segmento 52 Original: Always take this medicine exactly as your doctor has told you. Check with your doctor or pharmacist if you are not sure. Tradução: Tomar este medicamento sempre de acordo com as indicações do médico. Fale com o seu médico ou farmacêutico se tiver dúvidas. GT: Sempre tome este medicamento exactamente como o seu médico lhe disse. Verifique com o seu médico ou farmacêutico se não tiver a certeza. Bing: Sempre tome esse medicamento exatamente como seu médico lhe disse. Verifique com seu médico ou farmacêutico se você não tiver certeza. Systran: Tome sempre esta medicina exactamente porque seu doutor o disse. Verifique com seu doutor ou farmacêutico se você não é certo. Moses: Tome este medicamento sempre de acordo com as indicações do médico. Fale com o seu médico ou farmacêutico se assegurar de que Não está. A tradução literal do excerto "if you are not sure" no segmento 52 seria "se não tiver certeza". A tradução oficial modificou esse excerto e transformou-o numa oração positiva ("se tiver dúvidas"). As traduções obtidas a partir dos motores GT, Bing e Systran fizeram uso da construção negativa. No caso do Systran, a tradução apresentada é "se você não é 67 certo", com o verbo "ser" no presente do indicativo. O verbo mais adequado seria "estar" no futuro do conjuntivo, por se tratar de uma possibilidade (a de haver dúvidas), e não uma afirmação. Tabela 12: Segmento 76 Original: Like all medicines, this medicine can cause side effects, although not everybody gets them. Tradução: Como todos os medicamentos, este medicamento pode causar efeitos secundários, no entanto estes não se manifestam em todas as pessoas. GT: Como todos os medicamentos, este medicamento pode causar efeitos secundários, no entanto estes não se manifestam. Bing: Como todos os medicamentos, este medicamento pode causar efeitos secundários, embora nem todo mundo recebe-los. Systran: Como todas as medicinas, esta medicina pode causar efeitos secundários, embora não todos os obtenha. Moses: Como todos os medicamentos, este medicamento pode causar efeitos secundários, embora estes Não se manifestem em todas as pessoas. A tradução obtida pelo GT deste segmento parece-nos incompleta, pois falta a tradução de "everybody". Ao inserir o segmento isolado no motor, obtivemos a seguinte tradução: "Como todos os medicamentos, este medicamento pode causar efeitos secundários, embora nem todos obtê-los" (nosso negrito) Comparando o excerto a negrito com o excerto final do segmento traduzido pelo GT, observámos que a tradução não isolada é inteligível e natural, enquanto, na tradução isolada, parece faltar um verbo no excerto a negrito para que seja bem formada. Assim, inferimos que a presença de todo o texto da bula pode influenciar a pesquisa no corpus pelo motor GT. Já as traduções geradas por Bing e Systran, apresentam más traduções conforme semelhantes àquelas apresentadas no segmento 8 (Tabela 9): a tradução do verbo "get" como "receber" (Bing) ou "obter" (Systran), problemas que podem ser corrigidos, no caso do Systran, um software instalado, a modificar o dicionário. 68 Tabela 13: Segmento 89 Original: Keep this medicine out of the sight and reach of children. Tradução: Manter este medicamento fora da vista e do alcance das crianças. GT: Manter este medicamento fora da vista e do alcance das crianças. Bing: Mantenha este medicamento fora da vista e alcance das crianças. Systran: Mantenha esta medicina fora da vista e do alcance das crianças. Moses: Conserve este medicamento fora da vista e do alcance das crianças. No segmento 5, mencionámos o uso dos sinónimos "manter" e "conservar" para o verbo original "keep". O Moses faz novamente uso do sinónimo "conservar", o que não configura um erro, uma vez que o significado não é comprometido. Entre o Bing e a tradução oficial, há uma diferença no modo verbal: na tradução oficial, usou-se o infinitivo pessoal com função de imperativo, enquanto a tradução obtida pelo Bing apresenta o verbo no imperativo, uma construção que nos parece mais compatível com o PB, por conta da análise das fraseologias exigidas pelos órgãos regulatórios. Por esse motivo, fizemos uma pesquisa isolada (por aspas) no sítio de pesquisa Google, sem sucesso. Prosseguimos com uma consulta na Resolução n.º 47 (ANVISA), que define fraseologias obrigatórias nas bulas no Brasil, que contém na seção 5 (Onde, como e por quanto tempo posso guardar este medicamento?) a seguinte frase: "Todo medicamento deve ser mantido fora do alcance das crianças" Removemos o excerto "da vista" e repetimos a nossa pesquisa no Google. O primeiro resultado exibido é proveniente do sítio Web da ANVISA, da bula do medicamento Polaramine® 25 . Na seção "Quanto não devo usar este medicamento", item "Advertências", temos a frase "Mantenha este medicamento fora do alcance das crianças e animais domésticos". O resultado seguinte é a bula europeia do medicamento Xenical® 26 , com a frase exata que pesquisamos. No total, a nossa pesquisa encontrou 1.290 resultados. Assim, acreditamos que o motor Bing tenha aproveitado esta construção e adicionado uma tradução com base no seu sistema de regras e dicionário interno. 25 A bula está disponível em linha, sítio http://www4.anvisa.gov.br/base/visadoc/BM/BM[25865-1-0].PDF (acedido pela última vez em 14-Jun-2013). 26 A bula está disponível em linha, sítio http://ec.europa.eu/health/documents/community-register/1998/199807293237/anx_3237_pt.pdf (acedido pela última vez em 14-Jun-2013). 69 Tabela 14: Segmento 90 Original: Do not use this medicine after the expiry date which is stated on the carton and the bottle-label. Tradução: Não utilize Zytiga após o prazo de validade impresso no rótulo do frasco e na embalagem, indicado após VAL. GT: Não utilize este medicamento após o prazo de validade indicado na embalagem e no rótulo do frasco. Bing: Não use este medicamento após a data de validade que consta na embalagem e o rótulo do frasco. Systran: Não use esta medicina após a data de expiração que é indicada na caixa e na garrafa-etiqueta. Moses: Não utilize este medicamento após o prazo de validade impresso na embalagem e no bottle-label. A tradução oficial do segmento 90 apresenta um excerto adicional, que não está presente no texto original, a saber "indicado após VAL.". Nos modelos da EMA, encontrámos as seguintes fraseologias obrigatórias: UK - Do not use this medicine after the expiry date which is stated on the <label> <carton> <bottle> <…> <after {abbreviation used for expiry date}.> PT - Não utilize este medicamento após o prazo de validade impresso no <rótulo> <embalagem exterior> <frasco> <...>, <após {abreviatura utilizada para prazo de validade}.> Embora não estivesse no texto original, a tradução oficial é compatível com o modelo da EMA para bulas em português. Contudo, por não constar no texto original, não a levaremos em consideração durante as nossas comparações de TA com a tradução oficial. Adicionalmente, a palavra "medicine" no texto original foi substituída pela marca Zytiga na tradução oficial, o que também desconsideraremos na nossa análise. "Expiry date" foi traduzido de três formas diferentes: "prazo de validade" (GT e MMM), "data de validade" (Bing) e "data de expiração" (Systran), e somente o primeiro é consistente com a tradução oficial e o modelo em português da EMA. Sabemos que "data de validade" é, contudo, um termo composto amplamente usado, o que pode ser 76 iniciando com verbo no gerúndio foi substituída por uma oração condicional na PB oficial 1, enquanto, na PB oficial 2, o verbo foi substituído por um substantivo ("a tomada"). A PB oficial 1 também faz uso da construção verbo + substantivo + complemento ("provocar o aparecimento de reações adversas") em vez de da construção sem complemento. No caso das traduções geradas por motores automáticos, o uso de gerúndio no início da frase resultou em construções mal formadas. A segunda parte frásica ("may cause more of the medicine to be absorbed by the body than is needed") também resultou em construções que causam estranhamento, devido à sua complexidade. Isto ocorre porque as construções frásicas mais complexas geram ambiguidade e falta de inteligibilidade para o sistema, enquanto as construções frásicas diretas, sem inversão de sujeito ou subordinação, geralmente resultam em uma TA mais legível. No caso das três traduções geradas, observámos que o Systran é o mais legível na comparação a seguir, em que destacámos a vermelho as palavras que prejudicam a compreensão e a negrito algumas soluções acertadas em comparação às outras traduções. GT - pode causar mais de que o medicamento seja absorvido pelo corpo do que é necessário B - pode causar mais o medicamento para ser absorvido pelo organismo do que é necessário SY - pode fazer com que mais da medicina sejam absorvidas pelo corpo do que necessário No caso do Systran, desconsiderando o problema da terminologia registada no dicionário, observámos somente um erro de falta de concordância de "sejam absorvidas" com o antecedente "medicina", que deveria ser medicamento. Tabela 21: Segmento 59 US oficial: How should I store ZYTIGA? PB oficial: ONDE, COMO E POR QUANTO TEMPO POSSO GUARDAR ESTE MEDICAMENTO? GT: Como devo guardar ZYTIGA? Bing: Como devo guardar ZYTIGA? Systran: Como devo eu armazenar ZYTIGA? 77 Tabela 22: Segmento 60 US oficial: Store ZYTIGA at 59°F to 86°F (15°C to 30°C). PB oficial: Você deve conservar ZYTIGA em temperatura ambiente (entre 15ºC e 30ºC). GT: • Loja ZYTIGA a 59 ° F a 86 ° F (15 ° C a 30 ° C). Bing: • Loja ZYTIGA a 59° F a 86° F (15° C a 30° C). Systran: • Armazene ZYTIGA em 59°F a 86°F (15°C a 30°C). Convém analisar os segmentos 59 e 60 conjuntamente, devido ao verbo "store". No segmento 59, este foi corretamente traduzido como "guardar" (GT e Bing) e "armazenar" (Systran), duas formas possíveis para este contexto. Já no segmento 60, o verbo foi considerado um substantivo, traduzido como "loja". Neste último caso, acreditamos que o verbo seguido pela marca Zytiga possa ter sido interpretado pela plataforma de TA como sendo um substantivo. O Systran foi o único a apresentar a tradução correta. Tabela 23: Segmento 61 US oficial: Keep ZYTIGA and all medicines out of the reach of children. PB oficial: Todo medicamento deve ser mantido fora do alcance das crianças. GT: Mantenha ZYTIGA e todos os medicamentos fora do alcance das crianças. Bing: Manter ZYTIGA e todos os medicamentos fora do alcance das crianças. Systran: Mantenha ZYTIGA e todas as medicinas fora do alcance das crianças. No caso das traduções deste segmento, a única diferença é o uso do infinitivo pessoal com função de imperativo pelo Bing, enquanto a tradução obtida pelo GT e pelo Systran apresenta o verbo no imperativo. A tradução oficial apresenta uma fraseologia estruturada de forma diferente, excluindo a marca. 78 Tabela 24: Avaliação humana sobre o conteúdo e a fluência para o par US-PB Segmento Motor Conteúdo Fluência 4 GT S S Bing S N Systran N N 17 GT N N Bing S S Systran S N 24 GT S N Bing N N Systran S N 59 GT S S Bing S S Systran S N 60 GT N N Bing N N Systran S S 61 GT S S Bing S S Systran S S Legenda: Sim = PE baixa ou ausente. Não = PE alta ou tradução não utilizável. 4.2 Resultado das métricas Apresentaremos no fim deste capítulo duas tabelas com as métricas BLEU e NIST para os pares inglês britânico (UK) e português europeu (PT), e inglês americano (US) e português brasileiro (PB). Embora as métricas não possam ser tomadas como absolutas, conforme indicámos no capítulo 1.3.2 (Avaliação automática), usaremos as métricas como suporte ao comparar as traduções. Para o par UK-PT, temos traduções geradas pelos motores Google Translate (em linha), Bing Translator (em linha), Systran (em linha) e MMM. Já para o par US-PB, por não termos conseguido gerar textos alinhados devido à discrepância entre os modelos de bulas usados por esses países, não usámos o software MMM, por isso não teremos esse texto para comparação. A métrica BLEU inicia-se em 0 e a métrica NIST baseia-se na precisão dos n-gramas, iniciando em 1 (Caseli, 2004:34). Estas não possuem um limite superior (Castella et al., 2005:52). Os valores mais altos indicam resultados com maior correspondência entre o que já está armazenado no motor de TA. Essa análise é baseada nos n-gramas, ou seja, na sequência de n palavras do texto traduzido presentes na tradução de referência, e, se a correspondência for alta, presume-se que a TA gerada é de alta qualidade. 79 A BLEU usa como parâmetro a precisão modificada, que também avalia a quantidade da presença dos n-gramas. A fórmula não extensiva para o cálculo da métrica BLEU é indicada a seguir. A fórmula prevê que os valores altos para medida de precisão (pnna equação abaixo) capturam a adequação e a fluência linguísticas, uma vez que a coincidência de palavras (1-grama) indica uma adequação linguística e a coincidência entre duas sequências de palavras (n-gramas) indica fluência. Figura 16: Fórmula para cálculo de BLEU segundo Caseli (2004:33) onde C é a candidata a tradução, Count(w1 ... wn) é o número de vezes que o n-grama w1 ... wn ocorre na candidata a tradução C; Countclip(w1 ... wn) é o número de vezes que o n-grama w1 ... wn casa com um n-grama de referência; BP é uma penalidade por brevidade (brevity penalty). Uma diferença significativa entre as métricas BLEU e NIST é que a fórmula da última inclui ponderação dos n-gramas de acordo com a contribuição das informações, enquanto, em BLEU, a ponderação é de 1, resumindo-se na contagem dos n-gramas. A importância da informação do n-grama é inversamente proporcional à sua presença no texto. Assim, é dado um peso maior se o n-grama tiver uma presença menor no texto. A fórmula não extensiva para cálculo da métrica NIST está disponível a seguir. Figura 17: Fórmula para cálculo de NIST segundo Caseli, (2004:34) onde C, c, r e Count(w1 ... wn) são os mesmos definidos para a BLEU e N = 5. 80 Os resultados que obtivemos estão disponíveis nas tabelas a seguir. Os resultados em vermelho indicam os números mais altos obtidos. Tabela 25: Pontuações BLEU e NIST para o par UK-PT BING GOOGLE SYSTRAN MOSES BLEU 0,0376 0,0664 0,0122 0,4271 NIST 1,2659 1,5060 1,1031 6,2263 Tabela 26: Pontuações BLEU e NIST para o par US-PB BING GOOGLE SYSTRAN MOSES BLEU 0,0000 0,0000 0,0000 - NIST 0,6863 0,7341 0,6445 - No par UK-PT, observámos uma métrica NIST extremamente alta para a tradução feita usando MMM, com diferença de cerca de 5 pontos. Uma vez que usámos textos com uma estrutura idêntica para treino e posteriormente a tradução oficial como texto de referência, um número alto era de facto esperado. Contudo, ao observar a métrica BLEU, observámos que a tradução feita usando a plataforma Google Translate apresentou um resultado superior em relação ao software MMM, as variações na métrica BLEU são significativas. Assim, a melhor métrica BLEU foi observada com a tradução via Google Translate e a melhor métrica NIST, com MMM. Em relação ao par US-PB, temos algumas peculiaridades. Tendo como tradução de referência uma bula em português brasileiro, acreditamos que os formatos tão distintos das bulas deste par resultaram em pontuações praticamente nulas. Contudo, analisando as pontuações NIST deste par, observámos variações muito pequenas, sendo a variação mínima de 0,0418 pontos (entre Systran e Bing) e máxima de 0,896 (entre Systran e Google). CAPÍTULO 5 – ANÁLISE DAS RESPOSTAS AOS QUESTIONÁRIOS 83 Nos capítulos a seguir, apresentaremos de forma resumida os resultados dos questionários. Apresentaremos somente as respostas a perguntas não dissertativas em forma de gráfico. As respostas a perguntas dissertativas (questionário MMM) e as avaliações específicas dos excertos (questionário em linha) serão discutidas no próximo capítulo. Observe-se que separámos os resultados do questionário em linha entre geral e por nacionalidade, para realizar uma análise entre as respostas de portugueses e brasileiros acerca do uso de TA. Contudo, deve ser observado, também, que as respostas aos excertos serão analisadas em conjunto, sem diferenciação de nacionalidade. 5.1 Resultado dos questionários 5.1.1 Perfil do uso de TA Nos questionários em linha e do curso de MMM, elaborámos algumas perguntas específicas para compreender o uso de TA. Estas perguntas incluem a profissão e experiência em anos, se o utilizador utiliza ferramentas TAC e TA, qual o motor de TA utilizado, se utiliza TAC e TA de forma integrada e qual a opinião sobre os resultados de TA gerados. O objetivo foi delinear o perfil dos utilizadores e observar se fazem uso da integração entre as ferramentas. Trataremos cada aspeto nos subtítulos a seguir. 5.1.2 Nacionalidade Incluímos uma pergunta sobre nacionalidade somente no questionário em linha, isto porque, uma vez que o questionário MMM foi aplicado presencialmente, contávamos com poucos estrangeiros. Obtivemos resposta de 39 brasileiros, 16 portugueses e 2 na categoria Outro, especificamente das nacionalidades Holandesa e Galega. O gráfico a seguir indica as percentagens das respostas. De todas as questões, salvo se indicado de outra forma, omitimos as respostas deixadas em branco, por isso, o número total de respostas entre as perguntas pode apresentar discrepâncias. 84 Gráfico 1: Nacionalidade (questionário em linha) 5.1.3 Profissão e experiência Duas perguntas específicas sobre a profissão e a experiência (em anos) foram verificadas nos questionários em linha e no curso MMM (neste subcapítulo, referido como questionário MMM, ou apenas MMM). O gráfico 2 ilustra em percentagem as respostas em geral (somente em linha) e no curso MMM. Gráfico 2: Respostas para a pergunta "Qual a sua profissão?" para o questionário em linha e para o questionário MMM, respetivamente Embora pedíssemos que os utilizadores, ao responder "Outro", especificassem qual a profissão, nem todos responderam. É importante notar que o item "Outro" recebeu mais respostas no questionário MMM devido ao perfil dos participantes do curso, que além de contar com tradutores, também contava com alunos, pesquisadores e professores da instituição. Aqueles que não trabalhavam somente como tradutores ou revisores indicaram a opção "Outro". Abordando de forma comparada somente os utilizadores brasileiros e portugueses no questionário em linha, obtivemos os perfis a seguir, muito parecidos com aqueles para MMM. Ambos contam com uma grande maioria de tradutores, seguida por "outras" profissões e, por último, revisores. 68% 28% 4% Brasileiro Português Outro 84% 4% 12% Tradutor Revisor Outro 53% 16% 31% Tradutor Revisor Outro 85 Gráfico 3: Respostas para a pergunta "Qual a sua profissão?" para o questionário em linha, comparando brasileiros (esq.) e portugueses (dir.) Em relação à experiência, observámos uma distribuição homogénea no questionário MMM, não tendo ninguém, no entanto, com 5 a 7 anos de experiência na profissão. Já no questionário em linha, há uma grande disparidade, com uma maioria de profissionais mais experientes (mais de 10 anos). Ressaltamos que se trata de um sumário das respostas, sem especificação da profissão (se tradução, revisão ou outra). Gráfico 4: Experiência indicada em anos no questionário em linha e no questionário MMM, respetivamente Ao comparar a experiência informada no questionário em linha entre brasileiros e portugueses, observámos o mesmo resultado indicado anteriormente, mas dessa vez especificado pela nacionalidade –os utilizadores portugueses apresentam homogeneidade em relação aos anos de experiência, enquanto os utilizadores brasileiros são, em sua maioria, mais experientes (mais de 10 anos de experiência). 79% 8% 13% Tradutor Revisor Outro 75% 0% 25% Tradutor Revisor Outro 7% 11% 13% 20% 5% 44% > 1 1 a 2 3 a 4 5 a 7 8 a 10 > 10 22% 14% 22% 0% 21% 21% > 1 1 a 2 3 a 4 5 a 7 8 a 10 > 10 92 É importante lembrar que, embora este questionário tenha sido respondido por 15 indivíduos, nem todas as perguntas foram respondidas. Portanto, o número de respostas pode variar. 5.2.1 Conhecimento prévio sobre MMM Este tópico foi analisado em duas perguntas, uma dissertativa e outra de múltipla escolha. A pergunta de múltipla escolha questionava o utilizador sobre seu conhecimento, previamente ao curso, de que MMM é uma versão simplificada do software Moses, também de código aberto. Já a pergunta dissertativa, perguntava ao utilizador se já conhecia o software antes da formação e, em caso positivo, o que sabia. Gráfico 14: Respostas à pergunta 8 A maioria dos inquiridos não conhecia o software. Na pergunta 10 ("Já conhecia o software Moses for Mere Mortals (MMM) antes do curso? Se sim, o que sabia sobre o software? Tentou usá-lo antes deste treinamento?"), reforçámos a pergunta, desta vez para saber especificamente o que os utilizadores conheciam sobre o software. Aqueles que afirmaram conhecê-lo declararam nunca tê-lo usado mas saber de sua funcionalidade básica (dois inquiridos), ou já ter usado em testes iniciais, sem avançar (três inquiridos). Um dos inquiridos que já tinha usado o software informou ter ficado "sempre perdido na instalação de precedências". Como indicamos no capítulo 3 (Metodologia e Experiências), o uso do SO Linux pode ser um constrangimento para o uso do programa MMM. 40% 60% Sim Não 93 5.2.2 Acerca do curso e uso futuro do software MMM Para avaliar este tópico, elaborámos quatro perguntas, a primeira questionando o nível de dificuldade da formação sobre MMM, com três respostas a serem escolhidas, uma segunda pergunta avaliando o curso e as duas últimas sobre a intenção do utilizador em continuar a usar o programa MMM, a finalidade desse uso e, em caso negativo, qual o motivo para preferir não o usar. As três últimas perguntas foram dissertativas. Gráfico 15: Respostas à pergunta 9 A expressiva maioria dos presentes considerou o curso como de nível intermediário, o que significa que não consideraram o programa fácil e que acreditam haver mais informações que devem ser obtidas (numa formação avançada). À pergunta 11 (Considera que o curso sobre o uso de MMM foi suficiente para quem deseja usar a ferramenta?), sete utilizadores consideram que sim, o curso foi suficiente, sendo que dois inquiridos consideraram que as informações na formação foram suficientes para iniciarem a usar o programa ("Sim, foram transmitidas as informações básicas." e "Foi suficiente para um uso inicial."). Outros sete utilizadores não consideraram o curso suficiente, sendo necessário "mais prática e mais exercícios" e "ler sobre o assunto, sobre a ferramenta e praticar". Um utilizador adiciona que "o MMM não é um software 'pronto-a-usar'", o que tem impacto sobre a facilidade de uso. Moses for Mere Mortals não é um programa como qualquer outro, que instalamos, abrimos e clicamos nos comandos, como o MS Word. Trata-se de um conjunto de scripts, cada script executando uma ação específica, como treino ou tradução, e alguns parâmetros devem ser ajustados para cada utilizador, como o caminho para um ficheiro. Assim, o conhecimento de certas linguagens de programação (como python) e de LINUX é fator decisivo para dominar o software MMM. 7% 80% 13% Básico/fácil Intermediário/médio Avançado/difícil 94 Sobre o uso após a formação, 10 inquiridos afirmaram que continuarão a usar, especialmente para fins de investigação. Três inquiridos declararam que não usarão o software para já, justificando a decisão por "achá-lo bastante complicado", "não ter os conhecimentos necessários" ou "não ter computador para isso". Outros dois utilizadores declararam que "gostavam imenso". CAPÍTULO 6 – AVALIAÇÃO HUMANA NO QUESTIONÁRIO 97 Apresentaremos neste capítulo os itens indicados como as melhores e piores traduções automáticas, que constituem avaliações humanas. Trataremos as respostas de modo geral, sem fazer distinção em relação à nacionalidade. Isto porque o nosso objetivo ao analisar a nacionalidade visava traçar o perfil do utilizador desta tecnologia, algo irrelevante dentro de nosso escopo para a análise dos excertos. Optámos por considerar essa diferenciação irrelevante por dois motivos. O primeiro é a ausência de diferenciação entre as variantes linguísticas, sendo possível escolher somente a língua. Uma vez que os excertos foram traduzidos do inglês (sem indicação da variante) para o português (também sem indicação da variante), a diferenciação na nossa análise não seria possível. O segundo motivo é a tradução em si. Não sendo possível fazer a diferenciação entre as variantes ao usar as plataformas em linha, recebemos resultados diversos, que ora são mais próximos da variante europeia, ora são mais próximos da variante brasileira. Também por esse motivo, especificamos nas instruções em nosso questionário em linha que as diferenças entre PT e PB deveriam ser desconsideradas (como nos termos "cancro" e "câncer"). Como indicamos no capítulo 3, nosso objetivo ao fazer a seleção desses excertos era verificar como a tradução automática dos motores de TA selecionados se comporta com textos de géneros diversos. Após o excerto source, em inglês, havia três traduções feitas, respetivamente, por Google Translate, Microsoft Bing e Systran Net. O utilizador deveria selecionar a melhor tradução e, somente para essa tradução, deveria classificar os erros lexicais, sintáticos e gramaticais de forma graduada de 1 a 5, sendo 1 indicativo de erros graves e 5 a ausência completa de erros. Por último, deveria indicar qual a pior tradução. Os excertos analisados e suas traduções são apresentados na Tabela 27. 98 Tabela 27: Excertos do inquérito em linha Original Google Bing Systran A bird in the hand is worth two in the bush Um pássaro na mão do que dois a voar Mais vale um passarinho na gaiola do que dois voando Um pássaro na mão vale dois no arbusto Wilt thou be gone? It is not yet near day. / It was the nightingale, and not the lark, / That pierced the fearful hollow of thine ear. Queres ficar fora? Ainda não está perto do dia. / Foi o rouxinol e não a cotovia, / que perfurou o buraco com medo da tua orelha. Queres tu ter ido? Não é ainda próximo dia. / Foi o Rouxinol e não a Cotovia, / que perfurou o oco com medo do teu ouvido. Murchar mil seja ido? Não se realiza ainda pertodo dia. /Era o rouxinol, e não, da cotovia/de queperfurou a cavidade temível da orelha do thin e. We appreciate you taking the time to apply for employment with our company and wish you the best of luck in your future endeavors. Agradecemos a hora de aplicar para o emprego com a nossa empresa e desejolhe boa sorte em seus futuros empreendimentos. Agradecemos a você tomar o tempo para aplicar para o emprego com a nossa empresa e desejo-lhe boa sorte em seus empreendimentos futuros. Nós apreciamo-lo que toma o momento de aplicar-se para o emprego com nossa empresa ede desejar-lhe o melhor da sorte em seus esforçosfuturos. The introduction of the euro in 1999 was a major step in European integration: around 330 million EU citizens now use it as their currency. A introdução do euro, em 1999, foi um grande passo na integração europeia: cerca de 330 milhões de cidadãos da UE agora usá-lo como moeda. A introdução do euro em 1999 foi um grande passo na integração europeia: cerca de 330 milhões de cidadãos agora usá-lo como moeda. A introdução do euro em 1999 era uma etapaprincipal na integração europei: ao redor 330milhão cidadãos da UE usamna agora como suamoeda. ZYTIGA is used to treat men with castration-resistant prostate cancer (prostate cancer that is resistant to medical or surgical treatments that lower testosterone). ZYTIGA é usado no tratamento de homens com cancro da próstata resistente à castração (cancro da próstata, que é resistente aos tratamentos médicos ou cirúrgicos que baixam a testosterona). ZYTIGA é usado para tratar homens com próstata resistente a castração câncer (câncer de próstata que é resistente a tratamentos médicos ou cirúrgicos que reduzem a testosterona). ZYTIGA é usado para tratar homens com o cancro da próstata castração-resistente (o cancro da próstata que é resistente aos tratamentos médico sou cirúrgicos essa mais baixa testosterona). A Green Paper published by the European Commission today aims to launch a structured discussion about how to make plastic products more sustainable throughout their life cycle. Um Livro Verde publicado pela Comissão Europeia hoje visa lançar um debate estruturado sobre como fazer produtos plásticos mais sustentável em todo o seu ciclo de vida. Um livro verde publicado pela Comissão Europeia hoje pretende lançar uma discussão estruturada sobre como fazer plásticos produtos mais sustentáveis ao longo do seu ciclo de vida. Um papel verde publicado pela Comissão Europeiaa ponta hoje lançar uma discussão estruturadasobr e como fazer produtos plásticos mais sustentáveis durante todo seu ciclo de vida. 99 Para analisar cada excerto, tendo em mente que é possível obter um ficheiro em formato Excel no sítio Google Docs com as respostas do inquérito em linha, adicionamos um filtro para cada excerto mais votado como o melhor traduzido. Assim, isolámos as análises de problemas lexicais, sintáticos e gramaticais do excerto mais votado, sem o contaminar com as respostas de outros excertos. Com essas informações, gerámos gráficos para melhor analisar essas informações. Na nossa análise, apresentaremos o excerto e as suas respetivas traduções, seguidos dos gráficos que indicam a melhor e a pior tradução de acordo com os inquiridos. Depois dos gráficos, analisaremos as opções em comparação com as respostas. No isolamento, ignorámos as respostas deixadas em branco. Excerto 1 -A bird in the hand is worth two in the bush Item 1: Um pássaro na mão do que dois a voar Item 2: Mais vale um passarinho na gaiola do que dois voando Item 3: Um pássaro na mão vale dois no arbusto Gráfico 16: Melhor (esq.) e pior tradução (dir.) para o Excerto 1 O item 1 foi eleito a pior tradução, enquanto o item 2, a melhor tradução. No item 1, observámos a ausência de um verbo, que pode ser inferido pelo comparativo "do que" ("Um pássaro na mão [verbo vazio] do que dois a voar"). A sua presença vazia resulta numa frase mal formada. 24% 71% 5% Ditado Item 1 Item 2 Item 3 47% 2% 51% Pior tradução Item 1 Item 2 Item 3 100 O item 2 está gramaticalmente bem formado e sem elementos vazios, mas devemos enfatizar que o item 3 também é uma frase bem formada, por isso devemos analisar as diferenças entre as frases para tentar compreender porque o item 3 não foi selecionado como a melhor tradução. O item 3 é uma tradução exata do original, como observámos a seguir: Original: A bird [N] in the [P] hand [N] is worth [V] two [N em zeugma] in the [P] bush [N] Item 3: Um pássaro [N] na [P] mão [N] vale [V] dois [N em zeugma] no [P] arbusto [N] A organização das frases original e traduzida (item 3) é a mesma. Contudo, estamos a lidar com um ditado popular, caracterizado por ser uma expressão com forma fixa num determinado idioma. Assim, fazer uma tradução mantendo todos os elementos da frase original não é uma estratégia efetiva neste caso, é necessário procurar um ditado com um significado semelhante ou igual, mas que pode ter outra ordem ou forma em relação à frase original. No caso do português brasileiro, o ditado correspondente poderia ser "Mais vale um passarinho na gaiola do que dois voando", que tem um sentido semelhante ao original, mas com elementos diferentes –por exemplo, o pássaro não está na mão, mas na gaiola. Portanto, verificámos que o item 2 é a melhor tradução, uma vez que tem um sentido correspondente ao original e tem uma forma fixa no idioma de destino. Gráfico 17: Problemas indicados para a melhor tradução do Excerto 1 Em relação aos problemas indicados para a melhor tradução do excerto 1 (a tradução item 2), observámos que a classificação foi de nota 3 para lexical e 5 para sintático e gramatical. Uma vez que o nível de classificação variava entre 1 e 5, em que 1 indicava erros graves e 5 a ausência total de erros, é interessante observar que a maioria dos inquiridos tenha 0 5 10 15 20 25 30 1 2 3 4 5 Lexical Sintático Gramatical 101 selecionado a classificação 3 para erros lexicais. Indicámos no questionário que os problemas lexicais estavam relacionados com vocabulário, terminologia e expressões idiomáticas, assim, imaginamos que se tratavam de brasileiros a indicar a diferença em relação ao ditado, que corresponde no Brasil a "mais vale um pássaro na mão do que dois voando". Contudo, observámos que alguns portugueses também classificaram os problemas sintáticos como 3. Por isso, inferimos que estes inquiridos interpretaram este item como um classificador do tipo de frase no qual o original se classifica, sendo uma expressão idiomática. Excerto 2 - Wilt thou be gone? It is not yet near day. / It was the nightingale, and not the lark, / That pierced the fearful hollow of thine ear. Item 1: Queres ficar fora? Ainda não está perto do dia. / Foi o rouxinol e não a cotovia, / que perfurou o buraco com medo da tua orelha. Item 2: Queres tu ter ido? Não é ainda próximo dia. / Foi o Rouxinol e não a Cotovia, / que perfurou o oco com medo do teu ouvido. Item 3: Murchar mil seja ido? Não se realiza ainda pertodo dia. /Era o rouxinol, e não, da cotovia/de queperfurou a cavidade temível da orelha do thine. Gráfico 18: Melhor (esq.) e pior tradução (dir.) para o Excerto 2 O item 1 foi eleito como a melhor tradução, muito próximo do item 2, com uma diferença de 8%. Já a pior tradução, foi identificada como sendo o item 3, com 98% dos inquiridos. 52% 44% 4% Shakespeare Item 1 Item 2 Item 3 0% 2% 98% Pior tradução Item 1 Item 2 Item 3 108 lexicais ou sintáticos. Em relação aos problemas gramaticais, já indicados anteriormente, observámos o problema da ausência de espaço entre as palavras, o uso incorreto do singular, a ausência de preposição (ligando "milhões" e "cidadãos") e o uso do género feminino para se referir ao euro, em "usam-na". Excerto 5 - ZYTIGA is used to treat men with castration-resistant prostate cancer (prostate cancer that is resistant to medical or surgical treatments that lower testosterone). Item 1: ZYTIGA é usado no tratamento de homens com cancro da próstata resistente à castração (cancro da próstata, que é resistente aos tratamentos médicos ou cirúrgicos que baixam a testosterona). Item 2: ZYTIGA é usado para tratar homens com próstata resistente a castração câncer (câncer de próstata que é resistente a tratamentos médicos ou cirúrgicos que reduzem a testosterona). Item 3: ZYTIGA é usado para tratar homens com o cancro da próstata castração-resistente (o cancro da próstata que é resistente aos tratamentos médicosou cirúrgicos essa mais baixa testosterona). Gráfico 24: Melhor (esq.) e pior tradução (dir.) para o Excerto 5 Para o excerto 5, a melhor tradução foi a do item 1, enquanto o item 3 foi eleito como a pior tradução. Iniciemos com uma análise do item 3. Este apresenta o artigo masculino 84% 8% 8% Bula Item 1 Item 2 Item 3 0% 17% 83% Pior tradução Item 1 Item 2 Item 3 109 junto ao substantivo "cancro", enquanto isto não ocorre nos outros itens. Ao comparar os três itens, podemos observar outras diferenças: Segmento Original Item 1 Item 2 Item 3 1 ZYTIGA is used ZYTIGA é usado ZYTIGA é usado ZYTIGA é usado 2 to treat men with no tratamento de homens com para tratar homens com para tratar homens com 3 castrationresistant prostate cancer cancro da próstata resistente à castração próstata resistente a castração câncer o cancro da próstata castração-resistente 4 (prostate cancer that is resistant to medical or surgical treatments (cancro da próstata, que é resistente aos tratamentos médicos ou cirúrgicos (câncer de próstata que é resistente a tratamentos médicos ou cirúrgicos (o cancro da próstata que é resistente aos tratamentos médicosou cirúrgicos 5 that lower testosterone) que baixam a testosterona) que reduzem a testosterona) essa mais baixa testosterona) No segmento 2, observámos a diferença entre o item 1 (traduzido como "no tratamento de homens com") e os itens 2 e 3 ("para tratar homens com"). Esta diferença, no entanto, não é significativa, uma vez que não compromete o significado. Já o segmento 3, que contém um termo especializado da área médica ("castration-resistant prostrate cancer"), apresenta três traduções diferentes: (1) cancro da próstata resistente à castração (2) próstata resistente a castração câncer (3) cancro da próstata castração-resistente As diferenças em relação às variantes europeia e brasileira quanto à terminologia devem ser desconsideradas, portanto, trataremos "cancro" e "câncer" como sinónimos idênticos. Assim, o "cancro/câncer da próstata" deve ser seguido por um sintagma adjetival, uma construção frásica gramaticalmente correta. Nos itens em questão, as traduções que seguem essa ordem são aquelas nos itens 1 e 3, sendo os sintagmas "resistente à castração" (item 1) e "castração-resistente" (item 3). O item 3 segue a ordem frásica do original (castration-resistant), enquanto o item 1 apresenta uma construção natural na língua portuguesa. 110 Embora a tradução do item 2 no segmento 2 seja inutilizável, devido à sua agramaticalidade, os segmentos 4 e 5 são bem formados e fluentes, o mesmo se aplicando à tradução do item 1. Já o item 3 apresenta traduções nos segmentos 4 e 5 com erros gramaticais e um erro de tradução. O erro gramatical refere-se à ausência de espaço entre palavras. O erro de tradução está presente no segmento 5, em que "that lower" foi traduzido como "essa mais baixa", sendo "interpretado" pelo motor de TA como um pronome seguido por um adjetivo, quando o original é preposição mais verbo. Gráfico 25: Problemas indicados para a melhor tradução do Excerto 5 Os problemas lexicais e gramaticais para a melhor tradução do excerto 5 (item 1) foram classificados como de nota 4, enquanto os problemas sintáticos foram classificados como 5. Uma vez que a nota 5 indica a ausência total de erros, vemos que o item escolhido como a melhor tradução também foi classificado como não tendo problemas lexicais ou gramaticais. Já em relação aos problemas sintáticos, que incluem estruturas sintagmáticas e ordem das palavras, não conseguimos identificar qualquer problema no item 1 que pudesse justificar a classificação atribuída. Assim, considerámos a possibilidade de o problema estar no segmento 2, sendo preferível a tradução no item 2. Excerto 6 - A Green Paper published by the European Commission today aims to launch a structured discussion about how to make plastic products more sustainable throughout their life cycle. 0 5 10 15 20 25 1 2 3 4 5 Lexical Sintático Gramatical 111 Item 1: Um Livro Verde publicado pela Comissão Europeia hoje visa lançar um debate estruturado sobre como fazer produtos plásticos mais sustentável em todo o seu ciclo de vida. Item 2: Um livro verde publicado pela Comissão Europeia hoje pretende lançar uma discussão estruturada sobre como fazer plásticos produtos mais sustentáveis ao longo do seu ciclo de vida. Item 3: Um papel verde publicado pela Comissão Europeia aponta hoje lançar uma discussão estruturada sobre como fazer produtos plásticos mais sustentáveis durante todo seu ciclo de vida. Gráfico 26: Melhor (esq.) e pior tradução (dir.) para o Excerto 6 As diferenças nas escolhas de melhor tradução são significativas, mas não esmagadoras, como no excerto anterior (com 84%). Os inquiridos escolheram o item 1 como a melhor tradução e a primeira diferença que notámos é a terminologia, já que este é o único item com a tradução correta de "Green Paper". Para os demais itens, as traduções feitas por sistemas híbridos, acreditamos que o dicionário e as regras gramaticais internos tenham interferido negativamente, tanto pela não capitalização (no item 2) das letras quanto pela tradução isolada de "Paper" como "papel" (no item 3). Observe-se que o item 3 foi selecionado como a pior tradução. Ainda assim, identificámos no item 1 a não pluralização do adjetivo "sustentável", numa violação das regras de concordância. 51% 36% 13% Press release/Environment - CE Item 1 Item 2 Item 3 9% 13% 78% Pior tradução Item 1 Item 2 Item 3 112 Outros problemas que identificámos são a não inversão da ordem adjetivo-substantivo do inglês, no item 2, onde "plastic products" foi traduzido como "plásticos produtos", e a má tradução do verbo "aims" no item 3, traduzido como "aponta". Gráfico 27: Problemas indicados para a melhor tradução do Excerto 6 Ao analisar o gráfico 29 acima, notámos que há uma diferença muito pequena entre as classificações dos problemas para a melhor tradução do excerto 6 (item 1). Os problemas sintáticos foram classificados como de nota 4, os problemas gramaticais foram classificados como 3 e os problemas lexicais indicam um empate entre as classificações 4 e 5, com o mesmo número de inquiridos (7 para cada nota). Por conta do empate, e também pela exposição que fizemos dos problemas encontrados em cada item, consideraremos a nota como sendo 5. Os problemas gramaticais, conforme mencionámos, incluem a falta de concordância entre o adjetivo "sustentável" e o substantivo "produtos plásticos". A nossa conclusão sobre as classificações dos excertos é que GT apresenta uma qualidade superior na TA de textos diversos, tendo sido escolhido como a melhor tradução em 4 dos 6 excertos avaliados. Nos casos em que GT não foi escolhido como a melhor tradução (excertos 1 e 3), o motor escolhido foi o Bing Translator. Já o Systran Net foi sempre selecionado como a pior tradução, e atribuímos isto à possibilidade de o sistema contar com um corpus para treino estatístico restrito, sendo necessário fazer um uso primário das regras. 0 2 4 6 8 10 1 2 3 4 5 Lexical Sintático Gramatical CAPÍTULO 7 – DISCUSSÃO DOS RESULTADOS 115 Os sistemas estatísticos resultam em dados fragmentados, já que a contagem de n-gramas é uma fragmentação da sequência de palavras. Assim, pode-se supor que o uso de sistemas de memória de tradução são mais eficazes, uma vez que armazenam a frase completa, sem a fragmentar. Assim, pode-se supor que as memórias de tradução (MT) seriam mais eficazes, posto que não fragmentam as sequências. Kornai e Stone (2004:17) afirmam que a efetividade da MT é proporcional ao seu tamanho, apresentando também taxas de erro baixas, uma vez que são criadas e alimentadas por humanos. No entanto, os autores também afirmam que "they miss a great deal", provavelmente em relação à produção do texto, automatizada no caso da TA, o que resulta num esforço humano mínimo. Wu et al. (2011:s.p.) também afirmam que o acesso às informações no âmbito das ciências médicas é facilitado se for possível produzir traduções automatizadas, rápidas, de alta qualidade e escalonáveis. Ao usar as métricas BLEU e NIST, pretendemos verificar de forma objetiva e numérica as diferenças entre os textos produzidos. Wu et al. (idem) afirmam que, quanto mais próxima a TA estiver de uma tradução humana (a tradução de referência), melhor será a sua pontuação. As traduções são comparadas e as precisões de n-gramas são calculadas. É considerada como precisão de n-grama a percentagem de palavras (n-gramas) numa TA que coincida com a tradução de referência (ibid.). A pesquisa de Wu et al. (idem) incluiu a verificação da qualidade de artigos PubMed traduzidos pelo GT e por um sistema interno denominado BioMT, que consistiu na métrica BLEU e na avaliação humana, onde se devia avaliar as características do conteúdo ("a mensagem principal do texto original é transmitida na tradução, mesmo se a fluência for terrível?") e fluência ("a tradução parece ter sido feita por um tradutor humano?"), com notas de 1 a 5, em que 5 seria uma qualidade mais alta. Como diversos pares de idiomas foram avaliados, chegou-se à conclusão de que alguns produziam TA de alta qualidade, exigindo pouca pós-edição, enquanto outros pares de idiomas resultavam numa TA de baixa ou nenhuma qualidade. Os pares de idiomas incluídos na nossa pesquisa não foram incluídos na pesquisa que mencionámos. Contudo, decidimos incluir uma avaliação humana quantitativa das traduções de fraseologia que apresentámos, resumida nos gráficos a seguir. 116 Gráfico 28: Avaliação do conteúdo (par UK-PT) Gráfico 29: Avaliação da fluência (par UK-PT) Para o par UK-PT, observámos que o GT e o MMM apresentam resultados similares para conteúdo e fluência, enquanto o Systran apresenta o pior resultado, especialmente para a fluência. Estes resultados são compatíveis com as pontuações BLEU e NIST que obtivemos –com os resultados BLEU mais altos para o MMM seguido pelo GT e o pior para o Systran. Já os resultados NIST indicam uma superioridade muito alta do MMM, seguida pelo Google, pelo Bing e, por último, pelo Systran. 0 2 4 6 8 10 12 14 16 GT Bing Systran MMM Sim Não 0 2 4 6 8 10 12 14 GT Bing Systran MMM Sim Não 117 Gráfico 30: Avaliação do conteúdo (par US-PB) Gráfico 31: Avaliação da fluência (par US-PB) Para o par US-PB, o GT e o Bing apresentam resultados idênticos para conteúdo e fluência, enquanto o Systran apresenta um resultado superior às duas plataformas quanto ao conteúdo, mas muito inferior para fluência. Comparando estes resultados com as pontuações NIST, observámos variações muito pequenas, com o resultado mais alto para o GT, enquanto o Systran teve a pior pontuação. Uma vez que as pontuações analisam a proximidade com a tradução de referência, e esta foi a tradução oficial da bula no Brasil, apresentam assim uma disparidade elevada, justificando os números baixos. Devemos relembrar que as métricas BLEU e NIST avaliam somente a semelhança entre os documentos (a ser traduzido e a tradução de referência), e não a qualidade da tradução (Castilla et al., 2005:52). Portanto, as pontuações baixas não indicam necessariamente uma qualidade baixa da TA, assim como as pontuações altas não indicam necessariamente um texto de alta qualidade. 0 1 2 3 4 5 6 GT Bing Systran Sim Não 0 1 2 3 4 5 GT Bing Systran Sim Não 125 REFERÊNCIAS BIBLIOGRÁFICAS Aikawa, Takako, Lee Schwartz, Ronit King, Mo Corston-Oliver, Carmen Lozano. (2007), "Impact of Controlled Language on Translation Quality and Post-editing in a Statistical Machine Translation Environment", 10-14. <http://mt-archive.info/MTS2007-Aikawa.pdf>, acedido em 30-ABR-2013. Allen, Jeff. (2001), "Post-editing or no post-editing?", International Journal for Language and Documentation, (8). <http://www.oocities.org/mtpostediting/allen-ijld8.doc>, acedido em 30-ABR-2013. Almeida, Giselle De, Sharon O'Brien. (2010), "Analysing post-editing performance: Correlations with years of translation experience". <http://mt-archive.info/EAMT2010-Almeida.pdf>, acedido em 30-ABR-2013. Amigó, Enrique, Jesús Giménez, Julio Gonzalo, Lluís Màrquez. (2006), "MT Evaluation: Human-Like Vs. Human Acceptable". <http://clair.eecs.umich.edu/aan/paper.php?paper_id=P06-2003#pdf>, acedido em 16-FEV-2013. Bevilacqua, Cleci Regina. (1998), "Unidades fraseológicas especializadas: novas perspectivas para sua identificação e tratamento", Organon, (26). <http://seer.ufrgs.br/organon/article/viewFile/29562/18262>, acedido em 10-JUN2013. Bula (medicamento). 2012. Disponível em <http://pt.wikipedia.org/wiki/Bula_(medicamento)> >, acedido em 21-JAN-2013. Bulário da ANVISA. 2008. Disponível em <http://www4.anvisa.gov.br/BularioEletronico/>>, acedido em 21-JAN-2013. Cabré, Teresa. (1999), Terminology: Theory, Methods, and Applications. Amsterdan: John Benjamins, 1999. 126 Callison-Burch, Chris, Philipp Koehn, Christof Monz, Kay Peterson, Mark Przybocki, Omar F. Zaidan. (2010), "Findings of the 2010 Joint Workshop on Statistical Machine Translation and Metrics for Machine Translation". <http://www.aclweb.org/anthology-new/W/W10/W10-1703.pdf>, acedido em 16FEV-2013. Caseli, Helena de Medeiros. (2004), "Regras de tradução automática induzidas de textos paralelos envolvendo o português do Brasil". <http://www2.dc.ufscar.br/~helenacaseli/pdf/2004/QualiDoutorado.pdf>, acedido em 10-JUN-2013. Castilla, Andre, Alice Bacic, Sergio Furuie. (2005), "Machine Translation on the Medical Domain: The Role of BLEU/NIST and METEOR in a Controlled Vocabulary Setting". <http://www.mt-archive.info/MTS-2005-Castilla.pdf>, acedido em 27ABR-2013. CNGL. (2011), Example-based Machine Translation - the other corpus-based approach to MT. <http://www.docstoc.com/docs/74327917/Example-based-MachineTranslation>, acedido em 27-ABR-2013. Cocci, Lucia. (2010), "CAT Tools for Beginners ". <http://www.translationdirectory.com/articles/article2093.php>, acedido em 16FEV-2013. Ebling, Sarah. (2010), "Generalized Templates in Example-Based Machine Translation". <http://www.cl.uzh.ch/studies/theses/lic-master-theses/lizEblingSarah.pdf>, acedido em 17-ABR-2013. EMA. 2012. Disponível em <http://www.ema.europa.eu/ema/>, acedido em 21-JAN-2013. Federmann, Christian. (2011), "How can we measure machine translation quality?". <http://lodel.irevues.inist.fr/tralogy/index.php?id=76>, acedido em 16-FEV-2013. Federmann, Christian. (2012), "Appraise: an Open-Source Toolkit for Manual Evaluation of MT Output", The Prague Bulletin of Mathematical Linguistics, 25-35. <http://ufal.mff.cuni.cz/pbml/98/art-federmann.pdf>, acedido em 16-FEV-2013. 127 Freigang, Karl Heinz. (2001), "A tradução automática: Passado, presente e futuro", Revista Tradumática. <http://cvc.instituto-camoes.pt/tradumatica/rev0/freigangPT.html>, acedido em 16-FEV-2013. Garcia, Ignacio. (2005), "Long term memories: Trados and TM turn 20", JoSTrans, (04). <http://www.jostrans.org/issue04/art_garcia.php>, acedido em 27-ABR-2013. Garcia, Ignacio. (2010), "Is machine translation ready yet?", Target, (15), 7-21. Gomes, Ana Lucrécia Madeira. (2010), "Tradução Automática e Linguagens Controladas: Contributos para um Português Controlado". <http://repositorio.ul.pt/handle/10451/3656>, acedido em 26-ABR-2013. Google, Inc. "Google Tradutor - Perguntas freqüentes", <http://www.google.com/intl/ptBR/help/faq_translation.html#whatis>, acedido em 16-FEV-2013. Guzmán, Rafael. (2007), "Manual MT Post-editing: if it"s not broken, don"t fix it!", Translation Journal. <http://www.bokorlang.com/journal/42mt.htm>, acedido em 27ABR-2013. Hutchins, John, Harold L. Somers. (1992), "An introduction to machine translation", (London: Academic Press). Hutchins, John. (1986), "Machine Translation: past, present, future", <http://www.hutchinsweb.me.uk/PPF-TOC.htm>, acedido em 16-FEV-2013. Hutchins, John. (1996), "ALPAC: the (in)famous report", MT News International, 9-12. <http://www.hutchinsweb.me.uk/MTNI-14-1996.pdf>, acedido em 16-FEV-2013. Hutchins, John. (2001), "Machine translation and human translation: in competition or in complementation?", International Journal of Translation, 13 (Jan-Dec 2001), 5-20. <http://www.hutchinsweb.me.uk/IJT-2001.pdf>, acedido em 03-FEV-2013. Hutchins, John. (2003), "Has machine translation improved? some historical comparisons", 181-88. <http://www.hutchinsweb.me.uk/MTS-2003.pdf>, acedido em 03-FEV2013. 128 Hutchins, John. (2005a), "Current commercial machine translation systems and computerbased translation tools: system types and their uses", International Journal of Translation, 17 (Jan-Dec 2005), 5-38. <http://www.hutchinsweb.me.uk/IJT2005.pdf>. Hutchins, John. (2005b), "Example-based machine translation: a review and commentary", (19), 197-211. <http://www.hutchinsweb.me.uk/MTJ-2005.pdf>, acedido em 03FEV-2013. Hutchins, John. (2006a), "Machine translation: a concise history". <http://hutchinsweb.me.uk/CUHK-2006.pdf>, acedido em 16-FEV-2013. Hutchins, John. (2006b), "The first public demonstration of machine translation: the Georgetown-IBM system, 7th January 1954". <http://www.hutchinsweb.me.uk/GUIBM-2005.pdf>, acedido em 16-FEV-2013. Hutchins, John. (2009), "Multiple Uses of Machine Translation and Computerised Translation Tools", International Symposium on Data Mining and Sense Mining, Machine Translation and Controlled Languages, 13-20. <http://www.hutchinsweb.me.uk/Besancon-2009.pdf>, acedido em 03-FEV-2013. Hutchins, John. (2010), "Outline of Machine Translation Developments in Europe and America". <http://www.hutchinsweb.me.uk/JAPIO-2010.pdf>, acedido em 05-NOV2012. Infarmed. 2013. Disponível em <http://www.infarmed.pt/portal/page/portal/INFARMED>, acedido em 21-JAN-2013. Jensen, Matilde Nisbeth. ((n.d.)), "Medical translation for the lay receiver: Who are the experts?". <http://bcom.medarbejdere.au.dk/fileadmin/www.asb.dk/omasb/institutter/institutfor sprogogerhvervskommunikation/Matilde_Nisbeth_Jensen_Thesis_Proposal.pdf>, acedido em 18-MAI-2013. 129 Karrá, María. ((n.d.)), "Confidentiality and Google Translate". <http://www.aipti.org/eng/articles/art21-confidentiality-and-google-translate.html>, acedido em 05-NOV-2012. Kelly, Nataly, Jost Zetzsche. (2012), Found in Translation. USA: Perigee, 226-9. Kit, Chunyu, Haihua Pan, Jonathan J. Webster. (2002), "Example-Based Machine Translation: A New Paradigm", Translation and Information Technology, 57-78. <http://personal.cityu.edu.hk/~ctckit/papers/EBMT-review-CUHK.pdf>, acedido em 16-FEV-2013. Koehn, Philipp. (2012), "Simulating Human Judgment in Machine Translation Evaluation Campaigns". <http://hltc.cs.ust.hk/iwslt/proceedings/paper_34.pdf>, acedido em 03FEV-2013. Koponen, Maarit, Wilker Aziz, Luciana Ramos, Lucia Specia. (2012), "Post-editing time as a measure of cognitive effort", Workshop on Post-Editing Technology and Practice. <http://perswww.wlv.ac.uk/~in1676/publications/2012/KOPONEN+WPTP2012.pdf>, acedido em 18-MAI-2013. Langlais, Philippe, Thomas Leplus, Simona Gandrabur, Guy Lapalme. (2005), "From the Real World to Real Words: The METEO case". <http://www.iro.umontreal.ca/~felipe/Papers/paper-eamt-2005.pdf>, acedido em 16FEV-2013. Lin, Chin-Yew, Franz Josef Och. (2004), "ORANGE: a Method for Evaluating Automatic Evaluation Metrics for Machine Translation". <http://acl.ldc.upenn.edu/C/C04/C041072.pdf>, acedido em 16-FEV-2013. Linares, Jesus Angel Gimenez. (2005), "Rich Linguistic Knowledge for Empirical Machine Translation". <http://www.lsi.upc.edu/~nlp/papers/gimenez05b.pdf>, acedido em 16-FEV-2013. 130 Linguistic Data Annotation Specification: Assessment of Fluency and Adequacy in ArabicEnglish and Chinese-English Translations. (2002), <http://www.ldc.upenn.edu/ Projects/TIDES/Transl ation/TransAssess02.pdf>, acedido em 17-ABR-2013. Machado, Maria José, Hilário Leal Fontes. (2011), "Machine Translation: Case Study – English into Portuguese —Evaluation of MOSES in DGT Portuguese Language Department Using MOSES FOR MERE MORTALS", Boletim da língua portuguesa nas instituições europeias. <http://goo.gl/C5ncF>, acedido em 03-FEV-2013. Maia, Belinda, Diana Santos, Luís Sarmento. (2004), "Gathering Empirical Data to Evaluate MT from English to Portuguese". <http://repositorioaberto.up.pt/bitstream/10216/23470/2/belindamaiagathering000095638.pdf>, acedido em 16-FEV-2013. Martínez, Lorena Guerra. (2003), "Human Translation versus Machine Translation and Full Post-Editing of Raw Machine Translation Output". <http://www.sceuromix.com/enlaces/MASTER%20IN%20TRANSLATION%20ST UDIES%20BY%20LORENA%20GUERRA-2003.pdf>, acedido em 16-FEV-2013. Mitamura, Teruko. (1999), "Controlled Language for Multilingual Machine Translation". <http://mt-archive.info/MTS-1999-Mitamura.pdf>, acedido em 27-ABR-2013. Papineni, Kishore, Salim Roukos, Todd Ward, Wei-Jing Zhu. (2002), "BLEU: a method for automatic evaluation of machine translation", 311-18. <http://acl.ldc.upenn.edu/P/P02/P02-1040.pdf>, acedido em 03-FEV-2013. Resolução da Diretoria do Colegiado 140. 2003. ANVISA, Brasil. Disponível em <http://www.anvisa.gov.br/legis/resol/2003/rdc/140_03rdc.htm>, acedido em 21JAN-2013. Rios, Miguel, Wilker Aziz, Lucia Specia. (2011), "TINE: A Metric to Assess MT Adequacy.", 6th Workshop on Statistical Machine Translation (WMT-2011). <https://www.aclweb.org/anthology-new/W/W11/W11-2112.pdf>, acedido em 18MAI-2013. 131 Schwitter, Rolf, Anna Ljungberg, David Hood. (2003), "ECOLE: A Look-ahead Editor for a Controlled Language". <http://web.science.mq.edu.au/~rolfs/papers/CLAW03ECOLE.pdf>, acedido em 27-ABR-2013. Specia, Lucia, Atefeh Farzindar. (2010), "Estimating machine translation post-editing effort with HTER", AMTA 2010-workshop, Bringing MT to the User: MT Research and the Translation Industry. <http://transsearch.iro.umontreal.ca/rali/sites/default/files/publis/SpeciaFarzindar_AMTA_workshop.pdf>, acedido em 18-MAI-2013. Specia, Lucia, Nicola Cancedda, Marc Dymetman. (2010), "A Dataset for Assessing Machine Translation Evaluation Metrics", Proceedings of the Seventh conference on International Language Resources and Evaluation (LREC"10). <http://www.lrecconf.org/proceedings/lrec2010/pdf/504_Paper.pdf>, acedido em 18-MAI-2013. Stone, Lisa, András Kornai. (2004), "Automatic Translation to Controlled Medical Vocabularies", STUDIES IN FUZZINESS AND SOFT COMPUTING, 140, 413-34. <http://www.kornai.com/Papers/kornai_stone.pdf>, acedido em 30-JAN-2013. Systran "Symantec - Case Study", <http://www.systransoft.com/systran/corporateprofile/translation-case-studies/symantec>, acedido em 01-MAI-2013. SYSTRAN. (2013), "SYSTRAN Hybrid Technology", <http://www.systran.co.uk/systran/corporate-profile/translation-technology/systranhybrid-technology>, acedido em 16-FEV-2013. Temnikova, Irina. (2010), "Cognitive Evaluation Approach for a Controlled Language PostEditing Experiment". <http://clg.wlv.ac.uk/papers/437_Paper.pdf>, acedido em 27ABR-2013. University Carnegie Mellon. (2010), "About METEOR", <http://www.cs.cmu.edu/~alavie/METEOR/index.html#About>, acedido em 16FEV-2013. 132 Wu, Cuijun, Fei Xia, Louise Deleger, Imre Solti. (2011), "Statistical Machine Translation for Biomedical Text: Are We There Yet?". <http://faculty.washington.edu/fxia/mpapers/2011_AMIA_MT.pdf>, acedido em 03FEV-2013.