Detección y clasificación de falacias prototípicas y espontáneas en español

Detecci´on y clasificaci´on de falacias protot´ıpicas y espont´aneas en espa˜nol Detection and classification of prototypical and spontaneous fallacies in Spanish Ferm´ın L. Cruz, Jos´e A. Troyano, Fernando Enr´ıquez, F. Javier Ortega Departamento de Lenguajes y Sistemas Inform´aticos Universidad de Sevilla, Espa˜na {fcruz, troyano, fenros, javierortega}@us.es Resumen: El empleo de falacias en el seno de los debates p´ublicos en contextos pol´ıticos, sanitarios, econ´omicos y sociales supone un perjuicio en tanto que dificulta el entendimiento entre las partes y facilita la manipulaci´on de la opini´on p´ublica y la propagaci´on de desinformaci´on. Recientemente, han aparecido conjuntos de datos que aglutinan falacias de distintos tipos, lo que habilita la experimentaci´on en tareas como la clasificaci´on autom´atica de falacias. En este trabajo, presentamos el primer corpus de falacias en espa˜nol, con dos secciones diferenciadas: una formada por ejemplos protot´ıpicos extra´ıdos de materiales educativos, y otra por ejemplos espont´aneos extra´ıdos de comentarios on-line a noticias. Ambas secciones incluyen ejemplos de textos no falaces, de tem´atica similar. Los resultados preliminares al abordar las tareas de detecci´on y clasificaci´on usando el recurso que hemos creado muestran que se trata de una tarea desafiante (especialmente cuando se centra en falacias espont´aneas) que podr´ıa ser buena candidata para formar parte de las tareas con las que se eval´uan los ´ultimos avances en modelos de lenguaje. Palabras clave: Recursos ling¨u´ısticos, clasificaci´on y detecci´on de falacias, ajuste de modelos de lenguaje. Abstract: The use of fallacies in public debates in political, health, economic and social contexts is detrimental in that it hinders understanding between the parties and facilitates the manipulation of public opinion and the propagation of misinformation. Recently, datasets containing various types of fallacies have become available, allowing experimentation in tasks such as automatic fallacy classification. In this paper, we present the first corpus of fallacies in Spanish, with two distinct sections: one formed by prototypical examples extracted from educational materials, and the other by spontaneous examples extracted from on-line comments to news items. Both sections include examples of non-fallacious texts of similar subject matter. Preliminary results on the detection and classification tasks using the corpus we have created show that it is a challenging task (especially when focused on spontaneous fallacies) that could be a good candidate to be part of the tasks with which the latest advances in language models are evaluated. Keywords: Linguistic resources, Fallacy classification and detection, Language model tuning. 1 Introducci´on Las falacias l´ogicas, argumentales o argumentativas (en adelante, falacias) son argumentos que parecen v´alidos pero que no lo son (Tindale, 2007). La invalidez de un ´unico argumento da lugar a l´ıneas de razonamiento err´oneas, a pesar de que el resto de argumentos sean s´olidos. Esto hace que la identificaci´on de falacias sea una cuesti´on especialmente interesante y necesaria, ya que ayudar´ıa a desactivar un mecanismo realmente pernicioso en el seno de los debates p´ublicos en diversos contextos (pol´ıtico, sanitario, econ´omico y social, entre otros). El uso de falacias en estos contextos, con o sin intencionalidad, suponen un claro perjuicio en el proceso comunicativo, dando lugar a situaciones indeseables como el equ´ıvoco, la desviaci´on de la atenci´on, el refuerzo de prejuicios y estereotipos, o incluso la manipulaci´on del dis- curso, contaminando los debates y facilitando la propagaci´on de noticias falsas y otros fen´omenos de desinformaci´on. Estos fen´omenos tienen una gran repercusi´on en la sociedad y son por ello un problema de creciente inter´es (Allcott y Gentzkow, 2017; Vosoughi, Roy, y Aral, 2018; Kouzy et al., 2020). En ocasiones, las noticias falsas y las teor´ıas de la conspiraci´on se basan precisamente en el uso de falacias (Langguth et al., 2023). La disponibilidad de sistemas autom´aticos que permitieran detectar el uso de falacias facilitar´ıa la moderaci´on de contenidos en la web, y, desde un punto de vista educativo, permitir´ıa reforzar la capacidad cr´ıtica de la poblaci´on, haci´endola menos vulnerable ante desinformaciones o manipulaciones. Este trabajo es, hasta nuestro conocimiento, el primer intento de procesar este fen´omeno para textos en espa˜nol. Para ello hemos recopilado y anotado un corpus de falacias, que posteriormente hemos usado para entrenar y evaluar las tareas de detecci´on y clasificaci´on de falacias, determinando la existencia y el tipo de entre un cat´alogo de tipos de falacias m´as comunes. Nuestro corpus contiene dos colecciones de falacias extra´ıdas de fuentes muy distintas: las que denominamos falacias protot´ıpicas, y las falacias espont´aneas. Las falacias protot´ıpicas han sido traducidas y posteriormente revisadas a partir del corpus Logic (Jin et al., 2022), un recurso compuesto por falacias en ingl´es extra´ıdas de materiales educativos. Las falacias espont´aneas, por su parte, han sido extra´ıdas de conversaciones reales on-line entre usuarios. Son precisamente estas falacias espont´aneas las que plantean un problema m´as dif´ıcil, pero a la vez m´as ´util e interesante. En nuestros experimentos, hemos realizado un ajuste fino usando los ejemplos de nuestro corpus sobre dos modelos de lenguaje basados en la arquitectura transformers: Flan-T5 (Chung et al., 2022), un modelo multiling¨ue ajustado mediante instrucciones, y RoBERTa-BNE (Guti´errez Fandi˜no et al., 2022), un modelo pre-entrenado sobre un corpus de textos exclusivamente en espa˜nol. 1.1 El concepto de falacia El concepto de falacia se conoce desde la antig¨uedad: ya Arist´oteles hizo una primera catalogaci´on de 13 falacias l´ogicas. Desde entonces, ese cat´alogo no ha hecho m´as que crecer y estructurarse. Las falacias se suelen clasificar en formales y no formales. Las falacias formales son aquellas que pueden detectarse sustituyendo las premisas por s´ımbolos y aplicando reglas l´ogicas. Las no formales, por su parte, son aquellas en las que esto no ocurre. Falacias formales son, por ejemplo, las que parten de un condicional l´ogico o implicaci´on (“si est´a nevando, entonces hace fr´ıo”) y aplican una inferencia incorrecta, por ejemplo, mediante la negaci´on del antecedente, infiriendo incorrectamente la negaci´on del consecuente (“si no est´a nevando, entonces no har´a fr´ıo”). En cuanto a las falacias no formales, existen multitud de clasificaciones y tipolog´ıas. Algunos tipos frecuentes son la falacia ad hominem, consistente en desacreditar a la persona que argumenta, y no al argumento en s´ı; la falacia del hombre de paja, consistente en generar un nuevo argumento falso exagerando o caricaturizando el argumento del oponente, para pasar a criticar este nuevo argumento falso; la falacia de autoridad, que vincula la veracidad de un argumento a la autoridad de quien lo esgrime (o viceversa); o la falacia ad antiquitatem, donde se apela a la antig¨uedad o la tradici´on como elemento verificador de un argumento. Cabe se˜nalar que el uso de un argumen- to falaz no implica la falsedad intr´ınseca de las conclusiones: simplemente, la argumentaci´on no est´a construida de manera correcta. Esto es importante a la hora de anotar posibles falacias, pues no se debe juzgar si la conclusi´on es o no cierta, sino si la argumentaci´on es s´olida. Tampoco se debe considerar falaz cualquier argumentaci´on que no constituya una prueba cient´ıfica e irrefutable de lo que se defiende, siempre que quede claro en la exposici´on que se est´a enunciando una opi- ni´on o una mera posibilidad, y no una certeza sin argumentos s´olidos. Todas estas consideraciones hacen que la tarea de anotaci´on de falacias en textos y, consecuentemente, la de detecci´on y clasificaci´on autom´atica, sean de una pronunciada dificultad. 1.2 Colecciones de falacias Recientemente, se han producido distintos esfuerzos orientados a la recopilaci´on de conjuntos de falacias, primer paso fundamental para la implementaci´on de sistemas de detecci´on y clasificaci´on autom´atica. Los trabajos de Habernal et al. (2017) y Habernal, Pauli, y Gurevych (2018) se centran en la utilizaci´on de juegos serios como mecanismo para reco- Fermín L. Cruz, José A. Troyano, Fernando Enríquez, F. Javier Ortega 54 pilar ejemplos de falacias. Es una alternativa interesante, dado que permite aprovechar el esfuerzo argumental y de razonamiento de los jugadores para anotar tareas que implican un esfuerzo de razonamiento importante, como ocurre con la detecci´on de falacias. Otras propuestas se basan en la anotaci´on manual de textos de distintas fuentes, en concreto foros de discusi´on en Reddit (Habernal et al., 2018) o textos period´ısticos (Da San Martino et al., 2019). Por su parte, Sahai, Balalau, y Horincar (2021) tambi´en anotan manualmente comentarios en foros de discusi´on de Reddit, pero aplicando una idea interesante para obtener una lista de posibles candidatos a falacias: es relativamente habitual que los usuarios usen los nombres t´ecnicos de las falacias para responder a otras intervenciones en la discusi´on. Usando esta informaci´on como etiquetado preliminar, los autores consiguen descargar de Reddit un gran volumen de textos que potencialmente pueden incluir falacias. Tras la selecci´on manual de los ejemplos, obtienen un corpus con m´as de 3.000 textos etiquetados con 8 tipos de falacias. Por ´ultimo, Jin et al. (2022) construyen dos conjuntos de datos diferenciados, uno a partir de ejemplos protot´ıpicos de falacias extra´ıdos de materiales docentes online (Logic), y otro a partir de la anotaci´on manual de noticias de la web Climate Feedback (LogicClimate). Todos estos recursos est´an basados en el ingl´es, salvo (Habernal, Pauli, y Gurevych, 2018) que lo est´a en el alem´an, no existiendo hasta nuestro conocimiento ning´un recurso similar en espa˜nol. Adem´as, no aportan ejemplos de frases que no incluyan falacias, de un g´enero similar a las falacias incluidas, lo que ser´ıa interesante de cara al entrenamiento y validaci´on de detectores de falacias. 1.3 El conjunto de datos LOGIC Una de las secciones del recurso que presentamos en este trabajo est´a basada en el conjun- to de datos Logic (Jin et al., 2022). Logic est´a formado por ejemplos en ingl´es de falacias protot´ıpicas extra´ıdas de diversos materiales educativos on-line (Quizziz, study.com y ProProfs) destinados a la ense˜nanza o la evaluaci´on de estudiantes acerca del entendimiento de las falacias. El recurso est´a formado por 2.449 ejemplos de falacias de 13 tipos. Decimos que se trata de falacias protot´ıpicas precisamente por la fuente de la que han sido extra´ıdas. Se trata de ejemplos muy sint´eticos y claros, en los que el tipo de falacia queda claramente representado (p.ej, “I met a tall man who loved to eat cheese. Now I believe that all tall people like cheese”). Esto las aleja del tipo de falacias que podemos encontrar en textos espont´aneos, escritos en el contexto de un debate, que en muchos casos tienden a ser mucho m´as sutiles y complejas de identificar, como veremos m´as adelante. En nuestro trabajo, no hemos utilizado directamente Logic, sino una versi´on revisada publicada por la organizaci´on Make Sense1, en la que se han eliminado instancias err´oneas o repetidas, y se ha corregido el texto o el tipo de algunos de los ejemplos. Esta versi´on consta de 2.226 ejemplos. 1.4 Clasificaci´on autom´atica de falacias Hasta el momento, los resultados experimentales de clasificaci´on autom´atica de falacias son escasos, y todos para textos en ingl´es. Habernal, Pauli, y Gurevych (2018) aplica SVM (Cortes y Vapnik, 1995) y Bi-LSTM (Hochreiter y Schmidhuber, 1997), consiguiendo con este ´ultimo los mejores resultados (0,421 de F1 con 6 clases). Habernal et al. (2018) usan Bi-LSTM y CNN para textos (Zhang y Wallace, 2017), abordando la tarea de clasificaci´on binaria de un solo tipo de falacia, ad hominem (0,81 de accuracy). Da San Martino et al. (2019) usan la arquitectura BERT (Devlin et al., 2019) con distintas capas finales, implementando distintas granularidades de la tarea de clasificaci´on (a nivel de documento, p´arrafo, oraci´on y palabra); clasifican entre 18 clases, aunque no todas son falacias, pues el trabajo se centra en el an´alisis de t´ecnicas de propaganda en noticias (0,6098 de F1 a nivel de frase). Sahai, Balalau, y Horincar (2021) aplica los mismos algoritmos de Da San Martino et al. (2019) para clasificar entre 8 tipos de falacias (0,5841 de F1 a nivel de comentarios). Por ´ultimo, Jin et al. (2022) reporta resultados con diversos modelos de encoder y encoder-decoder basados en arquitecturas de tipo transformer, siendo los mejores resultados los obtenidos con Electra (Clark et al., 2020) (0,5877 de F1). 1https://github.com/tmakesense/logicalfallacy/tree/main/dataset-fixed Detección y clasificación de falacias prototípicas y espontáneas en español 55 2 La colecci´on de datos FALLACYES Para construir nuestro recurso, al que hemos llamado FallacyES2, hemos recopilado falacias en espa˜nol de dos fuentes diferenciadas. Por un lado, hemos revisado y traducido las falacias protot´ıpicas del conjunto de datos Logic en su versi´on corregida, y hemos a˜nadido ejemplos similares no falaces, para habilitar la experimentaci´on en detecci´on adem´as de en clasificaci´on de falacias. Por otra parte, hemos localizado y anotado ejemplos de falacias espont´aneas a partir de los comentarios a noticias publicadas en la web de agregaci´on de noticias meneame.net3. Tambi´en en este caso hemos incluido ejemplos de textos no falaces extra´ıdos de los mismos comentarios. La inclusi´on de este tipo de falacias surge de la observaci´on del car´acter en ocasiones poco realista de las falacias que llamamos protot´ıpicas; cabe plantearse hasta qu´e punto dicho tipo de falacias ser´ıan de utilidad en la detecci´on de falacias en textos reales, asunto que abordaremos en la secci´on 3. Todo el proceso de anotaci´on fue llevado a cabo por cuatro anotadores, dividiendo las tareas en grupos iguales y realizando reuniones posteriores para revisar los resultados obtenidos. A continuaci´on, explicamos detalladamente el procedimiento seguido para la obtenci´on de ambas secciones del conjunto de datos. 2.1 Falacias protot´ıpicas La traducci´on de las falacias del recurso Logic ha sido llevada a cabo mediante la herramienta DeepL4, y un proceso de revisi´on manual posterior de todas las traducciones para correcci´on de errores. A pesar de que partimos de la versi´on corregida del recurso, hemos encontrado nuevos errores que han sido corregidos: textos que consist´ıan en la definici´on o menci´on expl´ıcita de la falacia en cuesti´on (64 instancias), textos formulados como preguntas de un cuestionario (14), textos err´oneos o incompletos (5), ejemplos duplicados (4), ejemplos que no pueden considerarse falacias a falta de mayor contexto (12), y ejemplos cuya traducci´on no es viable (17). En este ´ultimo caso, se trata de ejemplos de falacias de tipo equivocaci´on, categor´ıa que se basa en gran parte en usar la polisemia 2https://github.com/ITALIC-US/FallacyES 3http://old.meneame.net 4https://www.deepl.com de alg´un t´ermino para realizar razonamientos incorrectos; estos juegos de palabras en ocasiones son imposibles de traducir. El bajo n´umero de ejemplos finales que obtuvimos para esta categor´ıa (27) nos hizo descartar la categor´ıa para nuestro recurso. En total hemos eliminado 143 instancias, adem´as de corregir el texto de 7 instancias y el tipo de falacia asignado a otras 6. Los tipos de falacias incluidos son los siguientes (se indica un acr´onimo para cada uno que usaremos en las tablas y figuras en adelante): •generalizaci´on apresurada (ga): se extrae una conclusi´on general en base a uno o pocos casos. •ad hominem (ah): se ataca a la persona o entidad que argumenta, en lugar de razonar acerca del argumento en s´ı. •ad populum (ap): basa la veracidad (o falsedad) de un argumento en que la mayor´ıa de las personas lo considera cierto (o falso). •falsa causalidad (fc): establece una relaci´on de causalidad entre dos fen´omenos sin aportar evidencias. •razonamiento circular (rc): razonamien- to err´oneo en varios pasos, en el que premisa y conclusi´on se basan una en la otra para demostrar su veracidad. •apelaci´on a las emociones (ae): trata de manipular los sentimientos del receptor para ganar el debate. •pista falsa (pf): introduce un nuevo tema de debate no relacionado directamente con el original, distrayendo la atenci´on sobre el debate original. •deducci´on err´onea (de): se presenta un razonamiento en apariencia l´ogico, pero con errores formales que lo invalidan (falsa analog´ıa, negaci´on del antecedente, afirmaci´on del consecuente,...) •credibilidad (c): basa la veracidad (o falsedad) de un argumento en la opini´on de una autoridad en el tema (falacia de autoridad), o en la opini´on tradicionalmente aceptada (falacia ad antiquitatem). •falso dilema (fd): se presentan dos opciones como las ´unicas posibles, cuando realmente existen muchas opciones posibles. •hombre de paja (hp): se reformulan los argumentos del oponente de manera exagerada o caricaturizada, para pasar a atacar esa nueva versi´on distorsionada de los argumentos. Fermín L. Cruz, José A. Troyano, Fernando Enríquez, F. Javier Ortega 56 •intencional (i): cualquier otro tipo de falacia que no entre en las categor´ıas anteriores, pero en la que quede patente la intenci´on del orador de ganar el debate sin usar argumentos correctos. 2.1.1 Ejemplos no falaces Para poder realizar experimentos no s´olo de clasificaci´on sino tambi´en de detecci´on de falacias, hemos creado manualmente ejemplos de argumentos no falaces, partiendo de las instancias anteriores. La tarea consisti´o en realizar transformaciones a cada uno de los enunciados, de manera que se mantuviese en la medida de lo posible la tem´atica tratada en cada texto, pero haciendo las matizaciones o correcciones necesarias para eliminar el uso de falacias. Por ejemplo, la instancia “A Annie le debe gustar Starbucks porque a todas las chicas blancas les gusta Starbucks”, que es una falacia de generalizaci´on apresurada, dio lugar a la instancia no falaz “A Annie le debe gustar Starbucks porque a ella le gustan las bebidas dulces y Starbucks tiene muchas opciones de bebidas dulces”. Aquellas instancias en que la posible transformaci´on resultaba demasiado complicada o se alejaba del contenido original fueron descartadas. En la tabla 1 se muestran el n´umero de instancias falaces de cada tipo, as´ı como el n´umero de instancias no falaces generadas a partir de cada tipo. Longitud No Tipo Falacias media falacias ga 399 146±109 116 ah 258 139±92 114 ap 191 114±73 109 fc 190 155±105 116 rc 158 109±64 115 ae 140 150±123 96 pf 138 181±100 108 de 141 149±89 115 c 118 152±96 106 fd 120 92±54 109 hp 108 197±99 107 i 122 148±139 107 Total 2.083 144±100 1.318 Tabla 1: N´umero de falacias por tipo y de no falacias generadas a partir de cada tipo incluidas en la secci´on de falacias protot´ıpicas de FallacyES, y longitud media de las falacias (en caracteres). 2.2 Falacias espont´aneas Para obtener ejemplos de falacias espont´aneas (esto es, ejemplos sacados de debates reales), hemos usado como fuente los comentarios a noticias de la web meneame.net. Se trata de un agregador de noticias con un sistema de votaci´on, en la que los usuarios pueden proponer noticias, siendo llevadas a portada aquellas noticias m´as votadas. La comunidad es muy propensa a comentar dichas noticias, estableciendo intensos debates alrededor de temas de actualidad pol´ıtica, econ´omica, social y cultural. Bas´andonos en la misma idea utilizada por Sahai, Balalau, y Horincar (2021), buscamos comentarios con menciones a los nombres de los distintos tipos de falacias (comentario acusador), y almacenamos los mensajes a los que dichas menciones se refieren (comentario candidato a falacia). Por ejemplo, para el t´ermino de b´usqueda “falso dilema”, uno de los resultados es el siguiente: •Comentario acusador:“falacia de falso dilema. Pero no te entiendo, si le das 700 euros a alguien con ingresos eso es RBU. Yo tambi´en estoy de acuerdo en eso: para todos. para mi tambi´en.” •Comentario candidato a falacia:“Prefiero darle 700 euros a un tio que gane 1200 aunque haga alguna treta para conseguirlos que darle no se cuantos millones a OHL o a Florentino para que te construya cualquier mierda y se queden un buen pico la verdad.” Posteriormente, utilizamos todos estos candidatos para anotar manualmente aquellos trozos de los comentarios candidatos que constituyan falacias del tipo correspondiente. Esto no ocurre en la mayor´ıa de los casos, pues muchas veces las acusaciones de falacia no est´an fundamentadas, o es dif´ıcil extraer un trozo de texto con el suficiente contexto como para que la falacia sea inequ´ıvoca. Hemos sido muy rigurosos en esta selecci´on, tratando de quedarnos s´olo con ejemplos que no admitan dudas sobre la existencia de la falacia en cuesti´on. En total, se revisaron m´as de 14.000 comentarios candidatos. Aunque hemos llevado a cabo este procedimiento para los 12 tipos de falacias incluidos en la secci´on anterior del recurso, s´olo hemos encontrado un n´umero significativo de ejemplos para 8 de las categor´ıas. Las categor´ıas no incluidas son aquellas para las cu´ales no hemos localizado un n´umero suficiente de comentarios acusadores (al menos 30), o bien la mayor´ıa de los comentarios candidatos no ten´ıan el suficiente contexto para poder discernir ese Detección y clasificación de falacias prototípicas y espontáneas en español 57 tipo de falacias. En la tabla 2 se muestran el n´umero total de instancias de cada tipo de falacia obtenidas y la longitud media de las mismas. Adem´as del tipo y el texto, para cada una de las instancias tambi´en incluimos en el recurso el titular y el resumen de la noticia de cuyos comentarios se extrajo el texto; dicho contexto podr´ıa ser incluido como entrada en los modelos de detecci´on y clasificaci´on de falacias. Longitud Tipo Instancias media generalizaci´on apresurada 48 172±87 ad hominem 208 144±100 ad populum 67 127±60 apelaci´on a las emociones 38 128±49 deducci´on err´onea 42 224±152 credibilidad 185 164±109 falso dilema 182 128±64 hombre de paja 153 163±73 Total falacias 923 151±93 Total no falacias 917 148±63 Tabla 2: N´umero de instancias por tipo incluidas en la secci´on de falacias espont´aneas de FallacyES, y longitud media de los ejemplos (en caracteres). 2.2.1 Ejemplos no falaces Aunque inicialmente intentamos localizar ejemplos no falaces a partir de los candidatos revisados en el proceso explicado en la secci´on anterior, encontramos que en su mayor´ıa tampoco son buenos candidatos para esta categor´ıa, pues muchos bordean el uso de alguna falacia, o al menos no puede asegurarse su clase a la vista del contexto proporcionado. Para localizar ejemplos no falaces que incluir en esta secci´on del recurso, hemos revisado todo el hilo de comentarios de las noticias para las que hemos encontrado ejemplos de falacias, buscando trozos de participaciones que expresen opiniones o razonamientos sin caer en el uso de falacias. Al usar como fuente los comentarios de las mismas noticias, pretendemos que la tem´atica de los ejemplos no falaces sea similar a la de los ejemplos falaces, para evitar que los modelos entrenados se basen en las posibles diferencias de terminolog´ıa relacionada. Tambi´en hemos analizado la distribuci´on de longitud de las instancias de ambos tipos (falaces y no falaces), para asegurarnos de que no haya diferencias significativas entre ambas que puedan falsear los resultados de evaluaci´on de los modelos entrenados a partir de dichos ejemplos (ver tabla 2). 3 Experimentaci´on En todos los experimentos, hemos procedido a realizar un ajuste fino sobre dos modelos pre-entrenados basados en transformers, uno de tipo encoder-decoder (Flan-T5) y otro de tipo encoder (RoBERTa-BNE), haciendo uso de los ejemplos disponibles en el conjunto de datos que hemos recopilado. Hemos elegido Flan-T5 (Chung et al., 2022) por los buenos resultados alcanzados en diversas tareas de PLN, mejorando el estado del arte en muchos casos. Los modelos Flan-T5 son versiones de los modelos originales T5 (Raffel et al., 2020) que han sido ajustados mediante instruction fine-tuning sobre un amplio conjunto de tareas. Como se trata de un modelo de tipo sequence-to-sequence, es decir, que recibe un texto de entrada y genera un texto de salida, hemos codificado las tareas de detecci´on y clasificaci´on de falacias de la siguiente manera: •Entrada:Posible falacia: <texto ejemplo> •Salida detecci´on:falacia ono falacia •Salida clasificaci´on:<tipo de falacia> Por su parte, hemos elegido RoBERTa- BNE (Guti´errez Fandi˜no et al., 2022) por tratarse de un modelo pre-entrenado exclusivamente sobre textos en espa˜nol: el corpus BNE, un enorme conjunto de textos de 540GB. Este corpus fue elaborado a partir de los textos de todas las webs con dominios .es recopilados anualmente por la Biblioteca Nacional de Espa˜na desde 2009 hasta 2019. En este caso, al tratarse de un modelo de tipo encoder, para realizar el ajuste fino hemos a˜nadido una capa densa final con una neurona para la tarea de detecci´on y tantas neuronas como clases de salida para la de clasificaci´on. De entre los modelos de distintos tama˜nos disponibles, hemos escogido Flan-T5-base (250 millones de par´ametros) y RoBERTa-base-BNE (125 millones de par´ametros), por ser los modelos de mayor tama˜no sobre los que podemos ejecutar el ajuste fino con los recursos de que disponemos actualmente. Debe suponerse por tanto un margen de mejora en los resultados obtenidos, puesto que existen modelos de hasta 11 mil millones y 355 millones de par´ametros Fermín L. Cruz, José A. Troyano, Fernando Enríquez, F. Javier Ortega 58 para Flan-T5 y RoBERTa-BNE, respectivamente. Para tener una referencia basada en bolsas de palabras con la que comparar los resultados, y medir de esta forma la importancia de la estructura del discurso en las falacias, todos los experimentos han sido replicados entrenando un clasificador de tipo Logistic Regression, haciendo uso de pesado tf-idf y considerando unigramas y bigramas. En cada experimento, se han utilizado el 90 % de las instancias disponibles para entrenamiento y el 10 % restantes para evaluaci´on, distribuidas aleatoriamente de manera estratificada. Se han utilizado exactamente las mismas particiones en todos los experimentos. Dado que hab´ıa relativamente pocos datos disponibles, hemos optado por no definir una partici´on de desarrollo, usando valores por defecto para los hiperpar´ametros; existe por tanto en este sentido un margen de mejora con respecto a los resultados aqu´ı mostrados. El c´odigo de toda la experimentaci´on est´a disponible en GitHub para su completa reproducibilidad5. 3.1 Clasificaci´on Los resultados de clasificaci´on se muestran en la tabla 3. Hemos realizado experimentos con las falacias protot´ıpicas (P) y con las espont´aneas (E). Los n´umeros que acompa˜nan a los nombres de los experimentos hacen referencia al n´umero de clases consideradas, indic´andose el n´umero total de instancias en la segunda columna de la tabla. La m´etrica de evaluaci´on es F1 macro-ponderada, dadas las diferencias entre el n´umero de instancias de cada clase en algunos experimentos. 3.1.1 Flan-T5 vs RoBERTa-BNE En todos los casos salvo en el experimento P-8 →E-8, los mejores resultados son obtenidos con un amplio margen por RoBERTa- BNE frente a Flan-T5. Es posible que el preentrenamiento sobre un gran volumen de textos exclusivamente en espa˜nol sea determinante, a pesar de ser un modelo con la mitad de par´ametros que Flan-T5. Por su parte, los resultados del clasificador Logistic Regression son muy pobres, lo que indica la imposibilidad pr´actica de afrontar la tarea de clasificaci´on de falacias desde un modelo de bolsa de palabras. Esto es coherente con la importancia de la estructura discursiva inherente al concepto de falacia. 5https://github.com/ITALIC-US/FallacyES 3.1.2 Protot´ıpicas vs Espont´aneas En relaci´on al experimento P-12, aunque los resultados no son del todo comparables con los mostrados por Jin et al. (2022), puesto que en nuestro recurso los ejemplos han sido traducidos y en algunos casos corregidos (s´olo 143 ejemplos eliminados y 11 corregidos, ver secci´on 2.1), la considerable mejora obtenida (0,6775 frente a 0,5877) parece indicar el mejor desempe˜no de RoBERTa-BNE en la clasificaci´on de falacias en espa˜nol frente a Electra en la clasificaci´on de falacias en ingl´es. La matriz de confusi´on (figura 1) muestra los resultados obtenidos por RoBERTa-BNE a nivel de cada uno de los tipos de falacias. En el experimento P-8 hemos seleccionado ´unicamente las falacias de los tipos que est´an representados en la secci´on de falacias espont´aneas, para que los resultados sean m´as f´acilmente comparables con el experimento E-8. Los resultados obtenidos son claramente inferiores en todos los casos. Si bien esto podr´ıa estar relacionado con la mayor dificultad de la tarea de clasificaci´on de falacias espont´aneas frente a las protot´ıpicas, no podemos asegurarlo, debido al diferente n´umero de instancias en ambas secciones del conjun- to de datos (1475 falacias protot´ıpicas frente a 923 falacias espont´aneas). A la vista de la matriz de confusi´on del experimento E-8 (figura 2), en el experimento E-5 descartamos las falacias de los tipos que obtuvieron peores resultados (aquellos cuyo tipo predicho mayoritariamente fue incorrec- to); las falacias descartadas son precisamente las que tienen un menor n´umero de instancias (apelaci´on a las emociones,deducci´on err´onea ygeneralizaci´on apresurada). Los resultados obtenidos son significativamente mejores que los anteriores, tanto usando Flan- T5 como RoBERTa-BNE, lo que sugiere la necesidad de incluir m´as instancias de los tipos minoritarios para conseguir mejores resultados. 3.1.3 Clasificaci´on inter-g´enero Para comprobar en qu´e medida las falacias protot´ıpicas ser´ıan ´utiles para clasificar falacias espont´aneas, hemos realizado un experimento inter-g´enero, en el que utilizamos los modelos ajustados usando las falacias protot´ıpicas y los evaluamos sobre las falacias espont´aneas (P-8 →E-8). Mantenemos el mismo conjunto de evaluaci´on utilizado en el experimento E-8. Los resultados no dejan lugar Detección y clasificación de falacias prototípicas y espontáneas en español 59 a dudas: los modelos entrenados sobre las falacias protot´ıpicas son de poca utilidad cuando se utilizan para clasificar ejemplos reales de falacias. De todas formas, esta conclusi´on debe ser considerada en el contexto de los experimentos expuestos: no es descartable que otros acercamientos puedan aprovecharse de los ejemplos protot´ıpicos para mejorar el rendimiento de los clasificadores de falacias espont´aneas. Exper. Inst. LR Flan BNE P-12 2.083 0,3907 0,6179 0,6775 P-8 1.475 0,4312 0,7259 0,7459 E-8 923 0,3517 0,6039 0,6385 E-5 795 0,3966 0,6575 0,7575 P-8 →E-8 1.568 0,1173 0,3139 0,2817 Tabla 3: Valores de F1 en la tarea de clasificaci´on de falacias usando Logistic Regression (LR), Flan- T5 (Flan) y RoBERTa-BNE (BNE). ga ah ap fc rc de ae pf i fd c hp ga ah ap fc rc de ae pf i fd c hp 0.51 0.06 0.00 0.06 0.00 0.14 0.00 0.14 0.06 0.00 0.00 0.03 0.00 0.74 0.00 0.00 0.05 0.00 0.00 0.11 0.05 0.00 0.00 0.05 0.04 0.00 0.83 0.00 0.04 0.04 0.00 0.00 0.00 0.00 0.04 0.00 0.05 0.00 0.00 0.82 0.00 0.05 0.05 0.05 0.00 0.00 0.00 0.00 0.00 0.00 0.05 0.05 0.79 0.11 0.00 0.00 0.00 0.00 0.00 0.00 0.09 0.18 0.00 0.00 0.00 0.55 0.09 0.00 0.09 0.00 0.00 0.00 0.14 0.00 0.00 0.00 0.00 0.00 0.77 0.00 0.05 0.05 0.00 0.00 0.00 0.00 0.00 0.09 0.00 0.09 0.27 0.55 0.00 0.00 0.00 0.00 0.00 0.11 0.00 0.00 0.00 0.22 0.22 0.11 0.33 0.00 0.00 0.00 0.15 0.00 0.00 0.08 0.00 0.00 0.08 0.00 0.00 0.69 0.00 0.00 0.00 0.07 0.07 0.00 0.07 0.14 0.07 0.07 0.07 0.00 0.43 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.18 0.09 0.00 0.00 0.00 0.73 Figura 1: Matriz de confusi´on normalizada del experimento P-12 usando RoBERTa-BNE. Las etiquetas de los ejes horizontal y vertical hacen referencia a los tipos predichos y reales, respectivamente. 3.2 Detecci´on Los resultados de detecci´on se muestran en la tabla 4. Hemos realizado tres experimentos: uno sobre las falacias protot´ıpicas, otro con las espont´aneas, y un tercero inter-g´enero. En el caso de las falacias protot´ıpicas, hemos utilizado un conjunto de instancias con ga ah ap de ae fd c hp ga ah ap de ae fd c hp 0.20 0.20 0.00 0.00 0.00 0.20 0.20 0.20 0.00 0.87 0.00 0.00 0.04 0.00 0.00 0.09 0.00 0.00 0.50 0.00 0.12 0.00 0.00 0.38 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.33 0.00 0.00 0.67 0.00 0.00 0.00 0.06 0.12 0.59 0.00 0.24 0.16 0.05 0.00 0.05 0.00 0.00 0.74 0.00 0.00 0.00 0.00 0.00 0.00 0.33 0.08 0.58 Figura 2: Matriz de confusi´on normalizada del experimento E-8 usando RoBERTa-BNE. Las etiquetas de los ejes horizontal y vertical hacen referencia a los tipos predichos y reales, respectivamente. igual n´umero de instancias de ambas clases (falacias y no falacias), evitando que se incluyan parejas de falacia y no falacia relacionadas (recordemos que las no falacias se generaron a partir de transformaciones sobre las falacias). La m´etrica de evaluaci´on es F1 de la clase positiva (falacia). Se observan mejores resultados en la detecci´on de falacias protot´ıpicas en comparaci´on con las espont´aneas, como ocurr´ıa con la clasificaci´on. Sin embargo, a diferencia de dicho experimento, en este caso el n´umero de instancias disponibles en ambas secciones del conjunto de datos es pr´acticamente id´entico, lo que nos permite confirmar la mayor dificultad intr´ınseca de las falacias espont´aneas frente a las protot´ıpicas. De nuevo, RoBERTa-BNE obtiene mejores resultados que Flan-T5, especialmente en el caso de las falacias espont´aneas. En cuanto al experimento inter-g´enero, los resultados confirman las diferencias sustanciales entre ambos tipos de falacias. 4 Conclusiones Desde el punto de vista de su procesamien- to autom´atico, las falacias suponen un desaf´ıo sem´antico muy complejo dada la gran variedad de mecanismos falaces existentes, as´ı como la sutileza que a veces requiere distinguir un argumento falaz de otro que no lo Fermín L. Cruz, José A. Troyano, Fernando Enríquez, F. Javier Ortega 60 Exper. Inst. LR Flan BNE P 1.884 0,8137 0,9297 0,9362 E 1.840 0,6627 0,7892 0,8781 P→E1.879 0,6357 0,6698 0,6524 Tabla 4: Valores de F1 en la tarea de detecci´on de falacias usando Logistic Regression (LR), Flan-T5 (Flan) y RoBERTa-BNE (BNE). es. La complejidad del proceso de anotaci´on llevado a cabo para la construcci´on de nuestro recurso (incluyendo largas sesiones de discusi´on entre los anotadores para discernir la existencia y el tipo de las falacias) nos ha permitido comprobarlo emp´ıricamente. A´un teniendo en cuenta esta dificultad intr´ınseca, los resultados de los experimentos realizados nos permiten ser optimistas en cuanto a las capacidades de las nuevas arquitecturas de modelos de lenguaje basados en transformers para detectar y clasificar falacias. El recurso que hemos generado es, hasta nuestro conocimiento, el primer corpus de falacias en espa˜nol, y el primero, independientemente de la lengua, que incluye adem´as ejemplos de textos no falaces de la misma tem´atica que las falacias incluidas. Esperamos que la disponibilidad p´ublica de este recurso permita a otros investigadores avanzar en la construcci´on de modelos especialmente adaptados al an´alisis de falacias en espa˜nol, permitiendo con ello facilitar la moderaci´on de contenidos en la web y el reforzamiento de la capacidad cr´ıtica de la poblaci´on, haci´endola menos vulnerable ante desinformaciones o manipulaciones. Existe una clara correlaci´on entre el n´umero de instancias de cada tipo de falacia incluidos en el recurso y los resultados experimentales en las tareas de detecci´on y clasificaci´on, lo que nos anima a continuar aumentando el tama˜no del recurso. En este sentido, nuestra intenci´on es explorar m´etodos semisupervisados para encontrar nuevos ejemplos, haciendo uso de los modelos obtenidos con la ver- si´on actual del recurso. Tambi´en pretendemos abordar la anotaci´on de falacias en textos de otros g´eneros, con un especial inter´es en los debates pol´ıticos, un ´ambito en el que, desgraciadamente, el uso de estos mecanismos es mucho m´as frecuente de lo que ser´ıa deseable. Agradecimientos Esta publicaci´on es parte del proyecto PID2021-123005 financiado por MCIN/ AEI /10.13039/501100011033/ y por FEDER Una manera de hacer Europa. Bibliograf´ıa Allcott, H. y M. Gentzkow. 2017. Social media and fake news in the 2016 election. Journal of economic perspectives, 31(2):211–236. Chung, H. W., L. Hou, S. Longpre, B. Zoph, Y. Tay, W. Fedus, E. Li, X. Wang, M. Dehghani, S. Brahma, y others. 2022. Scaling instruction-finetuned language models. arXiv preprint ar- Xiv:2210.11416. Clark, K., M. Luong, Q. V. Le, y C. D. Manning. 2020. ELECTRA: pre-training text encoders as discriminators rather than generators. En 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net. Cortes, C. y V. Vapnik. 1995. Supportvector networks. Machine learning, 20:273–297. Da San Martino, G., S. Yu, A. Barr´on- Cedeno, R. Petrov, y P. Nakov. 2019. Fine-grained analysis of propaganda in news article. En Proceedings of the 2019 conference on empirical methods in natural language processing and the 9th international joint conference on natural language processing (EMNLP-IJCNLP), p´aginas 5636–5646. Devlin, J., M.-W. Chang, K. Lee, y K. Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. En Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), p´aginas 4171–4186, Minneapolis, Minnesota, Junio. Association for Computational Linguistics. Guti´errez Fandi˜no, A., J. Armengol Estap´e, M. P`amies, J. Llop Palao, J. Silveira Ocampo, C. Pio Carrino, C. Armentano Oller, C. Rodriguez Penagos, A. Gonzalez Agirre, y M. Villegas. 2022. MarIA: Detección y clasificación de falacias prototípicas y espontáneas en español 61