Modelo de análisis de sentimiento para el búlgaro

Módelo de análisis de sentimiento para el búlgaro Trabajo de Fin del Máster Interuniversitario de Lingüística Aplicada impartido en las universidades de Santiago de Compostela, A Coruña y Vigo Autora: Velyana Patsova Profesorado tutor: Pablo Gamallo Facultad de Filología Universidad de Santiago de Compostela 2018 1 2 Lo que vieron mis ojos fue simultáneo: lo que transcribiré, sucesivo, porque el lenguaje lo es. Algo, sin embargo, recogeré. (Jorge Luis Borges, El Aleph) 3 Contenido 0. Resumen 6 1. Introducción 7 1.1. Motivación 7 1.2. Objetivos 8 1.2.1. Crear un diccionario 8 1.2.2. Crear un sistema de clasificación que incorpora el diccionario 8 1.2.3. Evaluar el modelo de análisis de sentimiento 8 1.3. Contribución 8 1.4. Organización 9 2. Trabajos relacionados y fundamentos teóricos 10 2.1. Panorama histórico 10 2.2. Trabajos relacionados 10 2.3. Enfoques principales 11 2.3.1. Modelos supervisados 12 2.3.2. Modelos no supervisados 12 2.4. Modelos existentes para la lengua búlgara 14 3. Fundamentación metodológica 15 3.1. Proceso de construcción del léxico 15 3.1.1. Fuente 1 16 3.1.2. Fuente 2 19 3.1.3. Fuente 3 20 3.1.4. Léxico definitivo 21 3.2. Proceso de construcción del modelo de análisis de sentimiento 22 3.2.1. Prototipo del modelo 22 3.2.2. Herramientas usadas 23 3.2.2.1. Etiquedador morfológico: Tree-Tagger 23 3.2.2.2. Clasificador: Classif 24 3.3. Funcionamiento del programa y acceso 24 4. Experimentación 26 4.1. Construcción del corpus de test 26 4.2. Instrucciones para leer los resultados 27 4.3. Precisión del programa – evaluación cuantitativa 28 4.4. Comparación con otros programas 29 5. Evaluación cualitativa 31 5.1. Metodología usada para el análisis cualitativo 31 5.2. Problemas principales en el funcionamiento del modelo y posibles soluciones 33 5.2.1. Detectar los lemas con orientación semántica 33 5.2.1.1. El sistema no detecta las palabras con lemas correspondientes en el diccionario 34 5.2.1.2. Palabras que no tienen lemas correspondientes 4 en el diccionario 35 5.2.1.3. Palabras en lengua extranjera 37 5.2.1.4. Palabras con correspondencias en el diccionario pero sin polaridad relevante en el texto de entrada concreto 37 5.2.2. La negación 40 5.2.3. Oraciones subordinadas adversativas 43 5.2.4. Cuando no hay polaridad – modus irrealis 44 5.2.5. Cuando hay polaridades distintas – varias entidades 47 5.3. Posibles mejoras adicionales 50 5.3.1. Tomar en consideración el peso de la polaridad 50 5.3.2. Reconocimiento de dominio 51 5.3.3. El aspecto pragmático 51 5.3.4. Mayor objetividad 53 6. Conclusión 54 7. Bibliografía 55 8. Anexo 1 59 9. Anexo 2 67 5 Lista de tablas Tabla 1: cuadro de los términos usados para el análisis de sentimiento 11 Tabla 2: diccionarios léxicos de polaridades en la literatura sobre Análisis de Sentimiento 13 Tabla 3: datos estadísticos sobre la información léxica obtenida de Fuente 1 18 Tabla 4: datos estadísticos sobre la información léxica obtenida de Fuente 2 20 Tabla 5: datos estadísticos sobre la información léxica obtenida de Fuente 3 21 Tabla 6: precisión de los sistemas de análisis de sentimiento participadores en el TASS 2017 30 Tabla 7: palabras detectadas que no pueden formar parte del diccionario 35 Tabla 8: lemas que pueden entrar en el diccionario 36 Tabla 9: casos de cambio de polaridad debido a la negación en el texto 41 Tabla 10: casos de cambio de polaridad debido a la precesencia de oraciones subordinadas adversativas 43 Tabla 11: casos de modus irrealis, preguntas, deseos, órdenes, hechos en el futuro, condiciones 45 Tabla 12: casos de varias entidades 48 Lista de figuras Figura 1: número de comentarios por tema en el corpus construido a partir de Fuente 1 18 Figura 2: información estadística sobre el diccionario definitivo 21 Figura 3: estructura del programa de análisis de sentimiento para el búlgaro 23 Figura 4: números de comentarios por tema en el corpus de test 27 6 Resumen: En este trabajo se propone un modelo de análisis de sentimiento no supervisado para la lengua búlgara. Se describen el proceso de construcción de un diccionario de palabras con polaridad, la selección de herramientas adecuadas para la creación del sistema y la manera en que se han integrado todos estos elementos para funcionar juntos. Aparte, realizamos una evaluación cuantitativa y cualitativa del modelo a partir de los resultados del procesamiento de un corpus de test creado especialmente para esta finalidad. Finalmente indicamos cuáles son los problemas principales en el funcionamiento del modelo actual y sugerimos posibles direcciones de trabajo para su mejora. Abstract: In this work (A Model for Sentiment Analysis in Bulgarian) we present a model for a non-supervised sentiment analysis of texts in Bulgarian. It describes the process of building a polarity lexicon, the selection of appropriate tools for the creation of the system and how all these elements have been integrated to work together. In addition, our system goes through a quantity and quality evaluation test based on the results of the processing of a corpus designed especially for this task. Finally, the main problems in the functioning of the present model are pointed out and possible directions of future work are suggested. Резюме: Настоящото изследване представя ненадзираван метод за автоматичен анализ на чувства в текстове на български език. Описват се процесът на построяването на лексикон от думи с емоционален заряд, подборът на подходящи инстурменти за сглобяването на системата и начинът, по който всички елементи се синхронизират, за да работят заедно. Освен това, се осъществява количествено и качествено оценяване на модела, спрямо показаните резултати от обработката на корпус от текстове, събрани специално за целта. На последно място се обръща внимание кои са ключовите проблеми във функционирането на настоящия модел и се предлагат бъдещи посоки за работа с цел неговото подобряване. Resumo: Neste traballo (Modelo de análise de sentimentos para o búlgaro) propónse un modelo de análise de sentimento non supervisado para a lingua búlgara. Descríbense o proceso de construción dun dicionario de palabras con polaridade, a selección das ferramentas axeitadas para a creación do sistema e a maneira na que todos estes elementos foron integrados para funcionar xuntos. Ademais, realízase unha avaliación cuantitativa e cualitativa do modelo a partir dos resultados do procesamento dun corpus de test creado especialmente para esta finalidade. Finalmente indicamos cales son os problemas principais no funcionamento do modelo actual e suxerimos posibles direccións do traballo para a súa mellora. 7 1. Introducción Como ha dicho el propio Aristóteles, el ser humano es un ser social, sus características biológicas lo empujan a vivir en una sociedad. Y como es sabido, lo que esto presupone es el intercambio constante de capitales de todo tipo –económicos, sociales, culturales (Bourdieu, 2000)– . Este intercambio puede ser beneficioso, o no, para los participantes en función de una plétora de factores. En este sentido resulta ser extremadamente importante que una persona esté bien informada antes de tomar la decisión de trocar un recurso propio (dinero, tiempo o voto) por un producto, una obra artística o una persona1, por ejemplo. ¿Y qué mejor manera hay de obtener información sobre el valor de estos que saber la opinión de alguien que ya los ha experimentado personalmente? Pues, quizá saber las opiniones de centenares o miles de personas que también lo han hecho. Si esto ha sido más bien difícil en el pasado, hoy en día, gracias a Internet, el consumidor tiene la oportunidad de acceder a una cantidad suficiente de reseñas ajenas sobre casi cualquier cosa lo cual le ayuda a decidir en qué invertir sus propios capitales. Como consecuencia, los ´vendedores´ enfrentan un gran desafío puesto que ya no pueden contar tan solo con la publicidad que destaca las mejores cualidades de sus productos. No obstante, ellos no dejan de tener acceso a las opiniones sobre sus productos, lo cual les puede ayudar a modificarlos o a crear otras estrategias de éxito. El único problema que queda es la cantidad enorme de las opiniones, por lo cual muchas empresas han ido acudiendo al procesamiento computacional de esta información con el fin de saber cuál es la actitud que prevalece – positiva, negativa o neutral. Justamente en esto reside la utilidad de lo que de aquí en adelante llamaremos análisis de sentimiento. 1.1. Motivación Puesto que el análisis de sentimiento es una de las tareas actuales del procesamiento del lenguaje natural (PLN), en la autora del texto ha surgido la curiosidad de investigar sobre las metodologías existentes que permiten la extracción de opinión de textos en lenguaje coloquial. Dado su origen búlgaro, su curiosidad ha pasado a ser una determinación de usar los conocimientos obtenidos durante el máster y el presente estudio para poder aportar su granito de arena en el desarrollo de modelos de análisis de sentimiento para la lengua búlgara. Por último, pero no menos importante, se ha querido presentar un trabajo de fin del Máster de Lingüística Aplicada realmente aplicable y práctico con posibilidades de seguir siendo desarrollado, mejorado y usado en el futuro. 1 Una persona también puede equivaler a una ideología, un programa político, una empresa o cualquier entidad más grande detrás de ella. 8 1.2. Objetivos Después de haber conocido los enfoques principales existentes en la construcción de sistemas de análisis de sentimiento, para este trabajo se ha escogido crear un modelo no supervisado, basado en la suposición de que las palabras poseen una orientación semántica previa al contexto en el que se encuentran. Por esto, los objetivos principales de este trabajo han sido dos: por un lado, construir un diccionario de palabras búlgaras con polaridad y por otro incorporarlo en un sistema capaz de clasificar textos desconocidos como positivos, negativos o neutrales. Para saber si nuestro trabajo ha sido exitoso, podemos presentar como un tercer objetivo el diseño de una evaluación cabal de nuestro modelo. De esta manera, en realidad hemos tenido 3 objetivos generales para cada uno de los cuales tenemos varios objetivos específicos descritos a continuación: 1.2.1. Crear de un diccionario  establecer un criterio para la construcción del diccionario  asegurar una cobertura suficiente 1.2.2. Crear un sistema de clasificación que incorpora el diccionario  diseñar un prototipo definiendo los módulos claves  escoger las herramientas apropiadas  poner las herramientas a funcionar juntas usando la información del diccionario 1.2.3. Evaluar el modelo de análisis de sentimiento  construir un corpus de test  establecer una metodología para su construcción  establecer una metodología para el análisis de los resultados  dar una evaluación cuantitativa y una evaluación cualitativa 1.3. Contribución Como veremos más adelante en el cuerpo del trabajo, la cantidad de los modelos de análisis de sentimiento para la lengua búlgara, de los que tenemos información, es bastante escasa. No tenemos datos de otro modelo no supervisado similar al nuestro. La información que hemos recogido y presentado en este trabajo puede ser usada incluso para la mejora de otros modelos que se basan en otro tipo de metodología. Aparte, el propio modelo puede ser aprovechado 15 3. Fundamentación metodológica En este apartado vamos a exponer cuáles han sido los pasos que hemos dado para construir un modelo de análisis de sentimiento para la lengua búlgara. Como explicaremos más adelante, hemos escogido trabajar sobre la creación de un modelo no supervisado, basado en un diccionario construido manualmente. En el punto 3.1 describimos el proceso de construcción de un léxico, dando más información sobre las fuentes que hemos usado para este fin en los puntos 3.1.1., 3.1.2. y 3.1.3. Los datos sobre el diccionario definitivo se pueden encontrar en el punto 3.1.4. Después, en el punto 3.2, tratamos el proceso de construcción de un modelo no supervisado, presentando un prototipo para este tipo de sistemas en el punto 3.2.1. y especificando las herramientas que hemos usado para la creación de nuestro programa en concreto. Presentamos más información sobre estas herramientas en los puntos 3.2.2.1. y 3.2.2.2. Finalmente, en el punto 3.3 damos indicaciones sobre el acceso a nuestro modelo y sobre la manera de usarlo. 3.1. Proceso de construcción del léxico A diferencia de Kraychev (2014; 2012), en este trabajo hemos optado por trabajar sobre un modelo no supervisado, basado en un léxico creado exclusivamente para la lengua búlgara con la hipótesis de que su rendimiento va a ser relativamente alto incluso para dominios desconocidos. Además consideramos que la escasez de corpus etiquetados manualmente para el búlgaro dificulta el entrenamiento de modelos de algoritmos supervisados, por lo cual nuestro trabajo podría servir incluso para modelos de otro tipo diferente del que hemos escogido nosotros. Después de haber consultado la literatura existente sobre el tema y dado el tamaño reducido de este trabajo, hemos encontrado oportuno construir el léxico de manera manual, aunque, eso sí, buscando una mayor cobertura gracias a la extracción de información de tres fuentes diferentes y con distintas características, a las que nos referiremos de aquí en adelante como Fuente 1, Fuente 2 y Fuente 3. A partir de ellas hemos generado tres tablas, en las que hemos extraído todas las palabras que según nuestra opinión subjetiva poseen una orientación semántica4, marcando su categoría gramatical5 (sustantivo, verbo, adjetivo, etc.) y asignándoles uno de dos valores cualitativos posibles: positivo/negativo. Al final hemos sumado todas las palabras registradas en un solo diccionario6, donde hemos incluido solo sus 4 Como veremos más adelante en el caso de las Fuentes 2 y 3 se trata de una orientación semántica previa, mientras que en la Fuente 1 hemos seleccionado palabras relevantes a un determinado contexto. 5 Otra denominación: categoría morfosintáctica, según la gramática tradicional. 6 Muchas de las palabras has sido encontradas en más que una fuente y a veces más que una vez en una sola fuente. No obstante han sido registradas una única vez en el diccionario. 16 lemas. A continuación explicamos en detalle el proceso de extracción de palabras de cada una de las tres fuentes. 3.1.1. Fuente 1 La primera fuente a la que hemos recorrido es el fórum BG-MAMMA7. Es uno de los fórums búlgaros más populares en el país – según datos de finales del año 2008 (Yordanov) de hecho es el fórum más grande con más que 8.5 millones de opiniones publicadas y 85 mil usuarios registrados. Según un ranking del año 2015 de las 100 páginas web más visitadas en Bulgaria ocupa el número 27 (E-vestnik). El auditorio del fórum son principalmente mujeres búlgaras madres, no obstante cualquier persona independientemente de su sexo puede crear un perfil, opinar y ser bien recibida. Hemos escogido el fórum sobre todo por la variedad de dominios que presenta: Salud, Belleza, Embarazo y parto, Niños, Educación, Padres, Hogar y familia, Hobby, Compras, Tiempo libre, Organizaciones. Dentro de cada dominio hay múltiples grupos y dentro de cada grupo a menudo hay centenares de temas, algunos de los cuales con centenares de comentarios. Profundizando en la búsqueda se pueden encontrar tanto temas sobre cosmética, como temas relacionados con la compra de un coche o un teléfono móvil. No obstante para nuestro trabajo hemos buscado temas que permiten opiniones de una polaridad claramente marcada. Ha sido necesario tener este filtro dado que algunos temas que tratan temas personales como las relaciones sentimentales son mucho más complicados y no siempre existe una postura definitiva que exprese una opinión positiva o negativa. Como discute Freitas (2013) en su trabajo, «para que una frase sea considerada objetivo de anotación de opinión, debería, de alguna manera, responder a la pregunta hipotética ¨¿Te gustó (esa parte de) [X]?¨» (p.1041), donde X en nuestro caso puede ser una película, un libro, un producto o incluso una persona. Para que esta fuente pudiera aportar para la construcción del léxico definitivo, hemos construido una especie de corpus anotado seleccionando un total de 513 comentarios con polaridad expresada registrando todas las palabras con orientación semántica relacionada con la polaridad total de la(s) opinión(es) expresada(s) en el comentario. Después hemos ordenado estas palabras en una tabla según su polaridad y categoría gramatical, conservando la forma, pero también extrayendo el lema. Por ejemplo, para el comentario siguiente que es de un tema en el cual se dan opiniones sobre una academia y sus profesores: 7 www.bg-mamma.com 17 Възможно е! Аз, обаче съм доволна, детето също много я харесва :))) [Traducción del búlgaro: ¡Es posible! Pero yo estoy contenta, al niño también le gusta :)))] hemos extraído las palabras доволна (contenta) y харесва (le gusta), y respectivamente las hemos ordenado en las columnas “ADJ POS form” (adjetivo positivo – forma) y VERB POS form (verbo positivo – forma) y hemos extraído sus lemas доволен (contento) y харесва,харесвам (gustar) en otras columnas tituladas columnas “ADJ POS lemma” (adjetivo positivo – lema) y VERB POS lemma (verbo positivo – lema), respectivamente. En cuanto a la extracción de los lemas, hace falta dar cuenta sobre algunas características particulares de la lengua búlgara y más concretamente sobre los sustantivos, los adjeticos y los verbos búlgaros. Para los sustantivos hemos usado la forma en singular no actualizada, dado que para expresar el número y la actualización en búlgaro se usan formas sintéticas, por ejemplo tenemos: къща (casa) y къщата (la casa); къщи (casas) y къщите (las casas). Para los adjetivos hemos extraído la forma en masculino, como pasa en el español. No obstante hemos incluido algunas formas de superlativo, dado que, a diferencia del castellano, en búlgaro estas son formas sintéticas. Por ejemplo: хубав (bonito), по-хубав (más bonito) у най-хубав (el más bonito). Finalmente, para los verbos hemos usado la forma de la primera persona en singular, puesto que no existe una forma en infinitivo y también hemos registrado dos lemas ya que en búlgaro el aspecto es una categoría del verbo previa, que se da antes del tiempo; está contenida en el mismo verbo. Por eso algunos verbos poseen 2 formas: perfectiva e imperfectiva. Por ejemplo: ям y яда (1ra persona singular del verbo ´comer´). Es preciso comentar también que en los casos en los que hemos encontrado negación como por ejemplo expresiones del tipo «no gustar» o «no hay problema» hemos clasificado las palabras según su polaridad inherente (gustar – positivo; problema – negativo) y en la columna de comentarios hemos marcado que la negación cambia su polaridad. Otro comentario breve que es conveniente notar es que hemos ignorado palabras con polaridad relevante en el contexto dado, pero que poseen otras acepciones sin polaridad ninguna en general. Un ejemplo es el verbo ставам que tiene polaridad positiva cuando significa estar bien/ no estar mal, pero también tiene una polaridad neutral cuando significa levantarse o pasar/suceder. 18 En la Tabla 3 y la Figura 1 se pueden apreciar los datos más relevantes sobre la información extraída de esta fuente. La tabla completa con todos los comentarios, los meta datos y alguna información complementaria que no hemos usado para la creación de nuestro léxico, pero que se podría usar en trabajos futuros, se puede encontrar visitando el siguiente enlace8. Tabla 3: datos estadísticos sobre la información léxica obtenida de Fuente 1 Polaridad Categoría Gramatical ADJETIVOS VERBOS SUSTANTIVOS ADVERBIOS INTERJECCIÓN lemas rep.* lemas únicas ** lemas rep. lemas únicas lemas rep. lemas únicas lemas rep. lemas únicas lemas rep. lemas únicas Positiva 658 166 252 59 76 43 74 28 1 1 Negativa 124 79 134 87 113 64 14 8 - - Total: 535 lemas únicas para incluir al léxico definitivo. * Lemas repetidas: los números representan los lemas de todas las formas con polaridad que se han registrado en los comentarios del corpus (incluso estas que se repiten). ** Lemas únicas: representan solo las valores únicas. En otras palabras si una palabra aparece más que una vez en la tabla, la contamos solo una vez. Figura 1: número de comentarios por tema en el corpus construido a partir de Fuente 1 8https://github.com/gamallo/bulgarian_sentiment_analysis/blob/master/resources/bgmamma_metadatos.xlsx 0 5 10 15 20 25 30 35 40 45 productos cosméticos depilación producto para perder peso deporte - tarjeta de abono marcas de lavavajillas bodas la aplicación Viber aplicaciones usadas juego de computador Sims2 juegos de misterio compras online libros electrónicos reality show marcas de teléfonos restaurantes academia y sus profesores actividades deportivas para niños teatro Número de comentarios por tema 19 3.1.2. Fuente 2 La segunda fuente en la que hemos confiado ha sido el Corpus Nacional del Búlgaro9 desarrollado en el periodo 2001-2009 por colaboradores de los departamentos de lingüística computacional y de lexicología y lexicografía del Instituto de la Lengua Búlgara Prof. Lyubomir Adreichin. Hacia el año 2014 el núcleo del corpus contiene unos 1,2 billones de palabras10 y más que 240 000 textos que están divididos en 9 categorías. La categoría que más nos ha interesado a nosotros ha sido «ficción11 – habla informal», dado que el habla informal y espontánea se suele caracterizar por poseer más subjetividad y más a menudo permite la expresión de sentimientos y opiniones. Aunque el sistema de acceso a los recursos y herramientas del corpus no permite consultar y descargar el sub-corpus de textos caracterizados como habla informal, sí permite el acceso a todos los diccionarios de frecuencias, que en realidad son listas de todas las palabras encontradas en cada una de las categorías de textos. De esta manera hemos consultado el fichero creado para reflejar todas las palabras (73 623) encontradas en la categoría de interés junto con su frecuencia absoluta que varía entre 1 y 303 146. Para nuestros fines hemos decidido considerar solo las palabras con frecuencia absoluta igual o mayor que 10, que equivalen a un total de 14 532 palabras. De todas ellas hemos seleccionado manualmente12 solo las palabras que hemos considerado como portadoras de una orientación semántica previa y las hemos clasificado según su polaridad (positiva o negativa) y su categoría gramatical (adjetivo, verbo, sustantivo, adverbio o interjección). De esta manera hemos extraído un total de 1272 lemas13. En la Tabla 4 se pueden apreciar algunos datos estadísticos sobre el resultado de extracción de palabras de 9 http://dcl.bas.bg/bulnc/ 10 El corpus también incluye 47 corpora paralelos de un volumen de 4,2 billones de palabras. 11 Lamentablemente el corpus no recoge un sub-corpus con registros de habla informal auténtica. También tenemos que reconocer que según nuestro juicio, aunque no tenemos una información confirmada, los textos recogidos son subtítulos de películas extranjeras traducidas al búlgaro. Sacamos esta conclusión dado que hemos encontrado algunos nombres de actores y actrices norteamericanos como Hathaway, Morgan, Freeman, De Niro, Stiller, etc. En este sentido tenemos que reconocer que esta fuente puede sufrir la crítica de no reflejar el estado real de la lengua búlgara. Justamente por esa razón usamos un criterio triple para la creación del léxico final, incluyendo los comentarios del fórum mencionado en el punto anterior. 12 Dado el tamaño reducido de los recursos para la realización de este trabajo, en el proceso de selección y determinación de la polaridad ha participado solo una persona, la autora del texto. Para obtener resultados más robustos y una mayor objetividad, sería conveniente delegar esta tarea a una comisión que integre un número mayor de «jueces» independientes. 13 En un principio todas las palabras del diccionario de frecuencias eran lemas, con algunas excepciones. Siempre que hemos encontrado una forma, hemos considerado oportuno cambiarla y poner el lema respectivo. También es preciso subrayar que a esta lista se han incorporado algunas palabras mal escritas, como por ejemplo опастно (en vez de опасно), убаво (en vez de хубаво), мошенник (en vez de мошеник). Hemos decido dejarlas, dado que no todos los comentarios en internet siempre tienen una ortografía excelente, lo cual no quita importancia a su polaridad. 20 interés de esta fuente. Para obtener más información y consultar todas las palabras que hemos recogido se puede visitar el siguiente enlace14. Tabla 4: datos estadísticos sobre la información léxica obtenida de Fuente 2 Polaridad Categoría gramatical Suma Adjetivos Verbos Sustantivos Adverbios Interjecciones Positiva 276 86 159 50 1 572 Negativa 200 169 306 25 - 700 Total: 1272 lemas 3.1.3. Fuente 3 El tercer recurso que hemos usado para expandir y mejorar nuestro léxico final, ha sido el léxico sugerido por Cláudia Freitas (2013) para la lengua portuguesa. Como hemos señalado en la Tabla 1, podemos observar que en él se recogen 256 adjetivos positivos, 121 adjetivos negativos, 69 verbos positivos, 55 verbos negativos, 52 sustantivos positivos y 47 sustantivos negativos. Nuestra metodología en este caso ha consistido en la traducción selectiva de la mayor parte de las palabras sugeridas por Freitas y en la ampliación de la lista obtenida a través de la búsqueda de sinónimos. La traducción ha sido selectiva, puesto que no todas las palabras que poseen una orientación semántica previa en portugués lo hacen también para el búlgaro, como por ejemplo el verbo «vibrar». Otra diferencia observada para las dos lenguas, y que se ha tenido que tener en cuenta, es que en algunos casos para ciertas palabras en portugués, como por ejemplo «perfeção», que son sustantivos, no existen equivalentes de la misma categoría gramatical en búlgaro. Eso en sí es un problema fácilmente superable si pensamos que estе sustantivo precisamente suele aparecer como parte de la expresión «à perfeção». Aunque en este caso hemos mantenido las 6 categorías sugeridas por Freitas, si hubiéramos añadido dos más para los adverbios positivos y negativos respectivamente, íbamos a encontrar muy fácilmente el equivalente a esa expresión que podría ser «перфектно»/«безупречено»/«идеално». En cuanto a la herramienta que hemos usado para encontrar sinónimos de la lista de palabras traducidas, esta ha sido el diccionario de la lengua búlgara Chitanka15 (Читанка)16 que existe 14 https://github.com/gamallo/bulgarian_sentiment_analysis/blob/master/resources/Source2.xlsx 15 https://rechnik.chitanka.info/ 16 Dato curioso: la chitanka es un manual con textos recogidos que se usa en el primer año en el colegio en Bulgaria, para que los niños aprendan a leer. 21 desde el año 2010. Su base de sinónimos ha sido desarrollada en colaboración con el proyecto БГ Офис (BG Office; Radnev, 2000-2004), cuyo objetivo es crear un programa de mantenimiento de la lengua búlgara para productos con código libre abierto como OpenOffice.org, aspell, ispell, Mozilla y otros. Expandiendo a nuestra lista con los sinónimos encontrados y manualmente seleccionados, en definitiva, hemos obtenido un número total de 1703 lemas, clasificados según su polaridad y categoría gramatical como se puede apreciar en la Tabla 5. Todos los datos y la lista de palabras se pueden descargar a través del siguiente enlace17. Tabla 5: datos estadísticos sobre la información léxical obtenida de Fuente 3 Polaridad Categoría gramatical Suma Adjetivos Verbos Sustantivos positiva 382 156 251 789 negativa 363 248 303 914 Total: 1703 lemas 3.1.4. Léxico definitivo De esta manera, usando la información léxica extraída de las tres fuentes señaladas arriba, construimos nuestro léxico final. Muchos de los lemas que hemos encontrado previamente han coincidido en los 3 recursos, por lo cual los hemos contado solo una vez. Así, al final, el diccionario contiene 2695 lemas en orden alfabético. La información estadística sobre la polaridad y las categorías gramaticales se puede consultar en el Figura 2. El diccionario completo con todas las palabras recogidas se puede consultar en el Anexo 1. Figura 2: información estadística sobre el diccionario definitivo 17 https://github.com/gamallo/bulgarian_sentiment_analysis/blob/master/resources/Source3.xlsx 21% 18% 9% 14% 14% 21% 2% 1% Información estadística sobre el diccionario ADJ POS (Total: 580) ADJ NEG (Total: 485) VERBO POS (Total: 234) VERBO NEG (Total: 385) SUST POS (Total: 380) SUST NEG (Total: 557) ADV POS (Total: 49) ADV NEG (Total: 25) 22 3.2. Proceso de construcción del modelo de análisis de sentimiento 3.2.1. Prototipo del modelo Tener el diccionario definitivo es solo un primer paso en nuestro camino hacia la creación de un analizador de sentimiento para la lengua búlgara. Una vez superadа esta etapa, es necesario pensar en un proceso automatizado que utilice el diccionario construido para poder definir la polaridad de textos desconocidos, clasificándolos como positivos o negativos. Para ello nuestro sistema tiene que incorporar dos módulos claves: un etiquetador morfológico (PoS18 tagger) y un clasificador. La finalidad del etiquetador es atribuir a cada forma encontrada su lema, su categoría morfosintáctica e información morfológica. Para este modelo solo se tomará en cuenta el lema, dada la información de entrada que necesita el segundo módulo, el clasificador. Para cada texto de entrada, este es capaz de buscar formas que coincidan con los lemas en el diccionario. Cada vez que detecta una correspondencia tiene que asignar una polaridad a la forma encontrada usando la información que contiene el diccionario. Aparte de anotar las palabras encontradas como positivas o negativas, el clasificador tiene que ser capaz de calcular la polaridad global sumando todas las polaridades locales encontradas y calculando cuál prevalece. En el caso de que no encuentre ninguna palabra con orientación semántica o si el número de palabras positivas y negativas coincide, el clasificador debería ser capaz de clasificar el texto de entrada como neutral. Así, el prototipo de nuestro programa tiene la arquitectura que se puede apreciar en la Figura 3. Primero se necesita un texto de entrada que queremos analizar. Este texto pasa por el etiquetador morfosintáctico que lo devuelve anotado con información sobre lemas, categorías morfosintácticas e información morfológica. Así el texto de entrada, ya anotado, está listo para entrar el segundo modulo – el clasificador. Como explicamos arriba, este detecta los lemas que coinciden con la lista de lemas en nuestro diccionario, les asigna una polaridad y después calcula la polaridad global del texto, que puede ser positiva, negativa o neutral. 18 PoS – las siglas de Part of Speech 23 Figura 3: Estructura del programa de análisis de sentimiento para el búlgaro 3.2.2. Herramientas usadas Debido a las limitaciones de los conocimientos computacionales de la autora y a la extensión reducida de este trabajo, en vez de crear un etiquetador morfológico y un clasificador propios, se ha obtenido el acceso a dos herramientas de este tipo ya existentes que, con la ayuda del tutor de este trabajo Pablo Gamallo, se han puesto a funcionar juntas integradas en un prototipo a libre disposición en el repositorio de código abierto Github19. A continuación ofrecemos una breve descripción de ambas herramientas. 3.2.2.1. Etiquetador morfológico: TreeTagger El etiquetador TreeTagger es una herramienta para la anotación de textos con información sobre categorías verbales y lemas. Ha sido desarrollado por Helmut Schmid (1994,1995) en el Instituto de Lingüística Computacional de la Universidad de Shuttgart. Por ahora funciona para 23 lenguas, entre las cuales el búlgaro. Para obtener más información sobre la herramienta y para descargarla se puede visitar la página web respectiva20. Dado su tipo de 19 https://github.com/gamallo/bulgarian_sentiment_analysis 20 http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/ Texto de entrada Etiquetador Texto anotado Diccionario Clasificador Texto de salida clasificado (+/-/0) 24 licencia, el software de TreeTagger se puede acceder de forma gratuita con tal de que su uso esté relacionado con fines educativos o de investigación21. Deberíamos dar cuenta de que en el proceso de trabajo hemos encontrado otra herramienta similar desarrollada para el búlgaro llamada Граматика (Gramática) y desarrollada por el mismo grupo БГ Офис (BG Office; Radnev, 2000-2004), mencionado anteriormente. Puesto que el Tree-Tagger es más conocido y más usado para sistemas de este tipo, para este trabajo hemos confiado en él. No obstante, como una tarea futura, se podría investigar más sobre la herramienta de los autores búlgaros y ensayar una versión de nuestro sistema usándola en vez del etiquetador de Schmid. El Граматика es de código libre por lo cual se puede descargar y modificar. Es accesible e través del siguiente enlace22. 3.2.2.2. Clasificador: Classif Esta herramienta llamada Classif es desarrollada por el Centro Singular de Investigación en Tecnologías de la Información, en Santiago de Compostela, España. Es un clasificador muy básico que solo cuenta el número de lemas positivos o negativos del texto de entrada consultando un diccionario de polaridades. Está escrito en el lenguaje Perl23. Es de código abierto y se puede acceder a través del repositorio de software Github24. 3.3. Funcionamiento del programa y acceso La manera en la que funciona el programa coincide con el proceso presentado en la Figura 3. Los módulos se aplican a un texto de entrada usando una serie de comandos en una línea de comandos en tubería, es decir, el resultado de un comando es la entrada del siguiente comando. El software es desarrollado para ser usado con el sistema operativo Linux. Si esto no es posible, se puede descargar el software Cygwin25, que es una colección de herramientas desarrollada por Cygnus Solutions para proporcionar un comportamiento similar a los sistemas Unix en Microsoft Windows. Como hemos mencionado anteriormente, también es necesario tener instalado el lenguaje computacional Perl26. 21 http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/Tagger-Licence 22 bgoffice.sourceforge.net/grammar/index.html 23 https://learn.perl.org/installing/unix_linux.html 24 https://github.com/gamallo/bulgarian_sentiment_analysis 25 https://www.cygwin.com/ 26 https://www.perl.org/ 31 5. Evaluación cualitativa En el apartado anterior hemos calculado de forma cuantitativa la precisión de nuestro modelo de análisis de sentimiento. No obstante, con el fin de hacer una evaluación cualitativa más profunda, hemos considerado conveniente repasar los resultados del clasificador de forma manual y aplicar nuestro conocimiento pragmático como seres humanos –portadores y usuarios del lenguaje natural–. Por un lado, hemos investigado los casos donde el clasificador no ha logrado acertar la polaridad correcta y hemos buscado maneras de evitar estos errores en el futuro. Por otro lado, en los casos donde la polaridad de salida del modelo ha sido correcta, hemos buscado cuántas veces el sistema ha podido encontrar la polaridad del texto de entrada basándose verdaderamente en los «conocimientos» con los que lo hemos equipado, y cuántas veces, en cambio, ha acertado «por suerte». Además, hemos averiguado si el programa ha logrado siempre detectar las palabras que incorporan nuestro diccionario y también si en los textos de entrada del corpus de test hay palabras que no hemos incluido en nuestra lista de lemas, pero que sí merecen estar allí. A base de toda la información obtenida, vamos a sugerir mejoras futuras para nuestro modelo. Hemos organizado este punto de la siguiente manera: en la sub-sección 5.1. presentamos una breve descripción de la metodología que hemos seguido para la evaluación cualitativa; en la sección 5.2. definimos una serie de problemas repetitivos, que hemos ido observando durante el análisis cualitativo, y que debilitan el rendimiento de nuestro modelo, por lo cual también sugerimos una serie de soluciones que podrían lidiar con ellos; finalmente, en el 5.3, añadimos varias ideas más sobre posibles mejoras, que hemos observado en otros modelos similares al nuestro. 5.1. Metodología usada para el análisis cualitativo La metodología que hemos seguido para este tipo de análisis ha sido bastante sencilla. Hemos creado una tabla32 similar al corpus de test pero con información adicional. Aparte de las columnas ya existentes –Texto, Polaridad real, Resultados del clasificador y Precisión–, hemos añadido 6 columnas más en las cuales hemos apuntado nuestras observaciones de una manera organizada, lo cual nos ha ayudado a identificar los problemas claves en el funcionamiento de nuestro programa y así pensar en posibles mejoras futuras. A continuación se puede consultar el contenido de cada una de las 6 columnas adicionales: 32 https://github.com/gamallo/bulgarian_sentiment_analysis/blob/master/resources/resultados_ev_cualitativa.xlsx 32  ¿Detecta todas las palabras en el diccionario? – En esta columna marcamos si durante el proceso de análisis de sentimiento se han encontrado correctamente todas las palabras en el texto de entrada cuyos lemas coinciden con los lemas recogidos en nuestro diccionario. Los valores posibles aquí son yes (sí) y no (no). En el caso de no, siempre hemos especificado qué palabras se han omitido.  ¿Hay palabras que no hemos incluido en el diccionario? – Como es de suponer, lo que marcamos en esa columna son las palabras que aparecen en los textos del corpus de test que poseen una polaridad relevante que ayudaría a acertar la polaridad del texto de entrada respectivo, pero que no están incluidas en nuestro diccionario. Como veremos más adelante, algunas de ellas sí merecen ser agregadas a nuestra lista de lemas. No obstante este no es el caso para todas, por razones relacionadas con la multiplicidad de acepciones que pueden poseer algunas de ellas.  ¿Ha acertado por suerte? – Para rellenar esta columna hemos mirado solo los casos donde el sistema ha asignado la polaridad correcta al texto de entrada. En el caso de que ha acertado basándose en la información con la que ha sido construido, hemos puesto como valor no (no), mientras que en los casos cuando consideramos que la salida ha sido correcta por casualidad, el valor yes (sí). En un principio para todos los textos con polaridad real33 neutral hemos puesto que su polaridad se ha acertado por suerte, puesto que muchas veces en los textos donde no hay subjetividad, o si la hay sin que esté claro si es positiva o negativa, (los dos casos que hemos etiquetado como textos neutrales), no deja de haber palabras con orientación semántica. Y como ya lo hemos especificado, las únicas veces cuando el sistema puede clasificar un texto como neutral es si no encuentra ninguna palabra con orientación semántica, o si el número de palabras positivas y negativas es igual – consideramos que a diferencia de los textos con polaridad positiva o polaridad negativa donde suelen prevalecer más palabras de una de las dos polaridades, en este caso la suerte tiene un papel más grande. Aun así, ha habido otros casos de textos con polaridad real positiva o negativa que también se ha acertado por casualidad, como veremos más adelante.  ¿Por qué no ha reconocido la polaridad?/ Problemas registrados– En esta columna, como se puede deducir de su nombre, hemos intentado explicar brevemente a qué se debe el fallo del sistema, haciendo un análisis del texto de entrada y de los resultados del etiquetador morfológico y del clasificador. Además de esto, hemos marcado todos 33 La polaridad asignada manualmente por la autora del trabajo. 33 los problemas relacionados con el funcionamiento de nuestro modelo que hemos encontrado con el fin de poder introducir mejoras en el futuro.  Reglas que ayudarían a mejorar el sistema – En esta columna hemos ido anotando brevemente ideas sobre reglas morfosintácticas que podríamos desarrollar con el fin de enriquecer nuestro modelo y hacerlo más funcional.  Comentarios adicionales – Aquí hemos dejado espacio para cualquier comentario adicional y relevante a los hechos observados durante el análisis cualitativo de los resultados demostrados por el clasificador. 5.2. Problemas principales en el funcionamiento del modelo y posibles soluciones Si miramos cuántas valores yes hay en la columna ¿Ha acertado por suerte? de la tabla mencionada en el punto anterior, descubriremos que en todas las veces que el analizador ha acertado la polaridad real del texto de entrada, –que son 169–, 59 de ellos han sido por casualidad. En este sentido podríamos juzgar que en realidad la precisión del programa que hemos señalado antes no es correcta y que de hecho el sistema tiene un rendimiento mucho más bajo: a base de este nuevo tipo de información deberíamos asignarle una precisión de 36%, en vez de los 56% calculados anteriormente. Justamente por esta razón es importante analizar los textos uno por uno, notar cuáles son los problemas principales, categorizarlos, presentarlos y comentar cómo se podrían evitar. Algunos de ellos han sidos recurrentes tanto para los casos donde se ha acertado la polaridad real, como para los casos donde esto no se ha logrado. En algunos casos, también se ha observado una combinación de varios problemas actuando a la vez; de hecho muchos de estos problemas están interrelacionados. Hemos ido seleccionando ejemplos para cada «fenómeno» para facilitar la comprensión. 5.2.1. Detectar los lemas con orientación semántica Como hemos recalcado ya varias veces, nuestro modelo de análisis de sentimiento cuenta con un método donde las palabras del texto de entrada se procesan por separado y si se descubre que alguna de ellas coincide con una de las palabras en el diccionario creado para el modelo se le asigna la polaridad respectiva. En teoría parece ser un procedimiento bastante sencillo donde no se deberían esperar problemas. No obstante, en realidad, esto no es así. Después del análisis cualitativo que hemos realizado, comprobamos que, en algunos casos, el sistema no detecta algunas palabras en el texto de entrada, aunque estas sí tienen su lema correspondiente en el diccionario. En otros casos aparecen palabras con polaridad que es relevante para calcular la polaridad global del texto, pero que lamentablemente no hemos incluido en el 34 diccionario, por lo cual se pierde información valiosa. Además, también ocurre que el modelo detecta palabras que están presentes en el diccionario de polaridades, pero que en el texto de entrada dado no expresan polaridad. Finalmente, incluso hay casos donde hay lemas en lenguas extranjeras. A continuación miramos cada uno de estos cuatro casos con más detenimiento. 5.2.1.1. El sistema no detecta las palabras con lemas correspondientes en el diccionario Hemos observado este problema en 73 de los 300 textos del corpus de test en algunos de los cuales hay más que una palabra que no se ha detectado. El total de las palabras con lemas correspondientes en el diccionario que tuvieron que ser detectados, pero que no lo fueron, es 88. Este es un problema bastante grave, puesto que en muchos casos esta ha sido la única razón por la cual la polaridad no se ha adivinado correctamente como por ejemplo en el caso del comentario décimo «на мен ми харесва» (a mí me gusta donde «харесва» significa gusta). El verbo «харесвам» está en el diccionario, no obstante en este caso el sistema no lo ha detectado y ha asignado una polaridad neutral al texto de entrada. Lo mismo pasa en el comentario número 14: « Таа песен е мноо яка!!!!!! » (Está canción es muy chula!!!!!!), donde no se ha detectado «якa» por lo cual en vez de asignar una polaridad positiva, el texto de entrada se ha considerado como neutral. Estos dos casos, como otros, son extraños, puesto que en otros textos de entrada que contienen las mismas palabras el sistema sí ha detectado los lemas respectivos. Por ejemplo para el comentario 22 «Тази песен е много яка И на мен ми е любима» (Esta canción es muy chula A mí también me es favorita) que es muy similar al comentario 14, sí se ha detectado «якa». Y en el comentario 278º «Що бе, моят си е екстра. :lol: Доволен съм. :lol: На теб какво не ти харесва в смартфоните? :roll:» (Cómo así, el mío está genial. Estoy contento. ¿Qué es lo que no te gusta a ti de los smart-phones?), sí se ha detectado «харесва», a diferencia del comentario número 14. Se trata, probablemente, de un problema del etiquetador morfológico que hemos usado, por lo cual sería conveniente buscar otras alternativas y avergiuar si el modelo mejora o empeora. También se puede intentar mejorar el propio Tree-Tagger, enviando un informe a su autor o a los responsables del entrenamiento del modelo para el búlgaro. Sin embargo, podría ser un problema de codificación del texto de entrada, ya que los caracteres cirílicos del búlgaro dan lugar a más problemas de procesamiento que los caracteres latinos. 35 5.2.1.2. Palabras que no tienen lemas correspondientes en el diccionario Como hemos señalado más arriba, también hay casos en los que el sistema no ha detectado ciertas palabras con polaridad relevante, simplemente porque no las ha encontrado en el diccionario de polaridades. Se trata de 97 formas, algunas de las cuales se repiten. Las hemos considerado cuidadosamente y hemos ido descartando algunas que poseen más que una acepción por lo cual es difícil incluirlas en el diccionario de polaridades. Estas se pueden apreciar en la Tabla 7 que da información sobre el texto de entrada del que provienen, sobre su significado en el contexto dado, y finalmente sobre otra acepción frecuente de la misma palabra que se caracteriza por no tener polaridad, por lo cual no la podemos usar: Tabla 7: palabras detectadas que no pueden formar parte del diccionario Palabra Texto(s) de procedencia Significado para este contexto Otras acepciones posibles Forma Lema еба, бах еба, ебавам 1, 7, 11, 201 Una especie de interjección negativa similar a ´joder´. Puede usarse también como interjección positiva, de forma similar a ´hostia´. брутална, брутален брутален 17, 74 ´Brutal´ en el sentido positivo. ´Brutal´ puede tener significado negativo. изложи, изложила излагам, изложа 23 ´Hacer el ridículo´. ´Enseñar algo´ - no tiene polaridad. става ставам 31, 146, 156, 216 ´Estar bien´; ´no estar mal´. ´Levantarse´. La forma става se puede confundir también con el sustantivo búlgaro que significa ´articulación´ (anatom.). класа клас 42 ´Clase´; ´categoría´. Un grupo de alumnos en el colegio. най най 55 ´El/la/lo mejor´. Como hemos explicado más arriba en el trabajo, най es una partícula que se usa para formar el grado superlativo: por ejemplo най-хубавият (el más bonito), pero también най-грозният (el más feo). Solo en el caso cuando se usa solo la partícula se puede considerar independientemente. El problema es que a veces la gente suele escribir esas formas sintéticas sin el guión, por lo cual se puede producir confusión. мачкай мачкам 61 ´Dale´; ´sigue así´;´eres brutal´. ´Machucar´, ´aplastar´. Puede no tener polaridad ninguna, o polaridad negativa. кърти къртя 64, 82 ´Ser brutal´. ´Reventar´. Puede no tener polaridad ninguna, o polaridad negativa. скъпи скъп 94, 95 y otros ‘Caro’ – sentido negativo. ‘Caro’ puede tener también un sentido positivo. En búlgaro, también se puede usar con el sentido de ´cariño´. евтини евтин 97, 137, etc. ‘Barato’ – sentido positivo. ‘Barato’ también puede tener un sentido negativo como sinónimo de algo con mala calidad. 36 редовно редовно 115 ´Con frecuencia´, ´a menudo´. Puede tener un sentido positivo si se usa en combinación con los verbos ´usar´ o ´comprar´ por ejemplo, pero también puede tener una polaridad neutral en muchos otros casos. карам карам 147 ´Regañar´. ´Hacer´, ´conducir´ - que no tienen polaridad. За За 168, 176 ´A favor´ (antónimo de ´en contra´). Puede significar la preposición ´para´. студено студен 192 ´Frío´ en el sentido negativo. ´Frío´ también puede tener una polaridad positiva o neutral. единствен единствен 209 ´Único´ en el sentido positivo. ´Único´ puede tener una polaridad neutral. смешен смешен 231 ´Gracioso´ pero en el sentido negativo; algo que da risa por ser absurdo. ´Gracioso´ puede tener una polaridad positiva. ежедневно ежедневно 232 ´Cada día´, ´todos los días´. Puede tener un sentido positivo si se usa en combinación con los verbos ´usar´ o ´comprar´ por ejemplo, pero también puede tener una polaridad neutral en muchos otros casos. работен работен 282 ´Útil´ - en realidad no tiene este sentido, pero el autor del texto lo ha usado de esta manera. ´Laboral´. случих случа 283 ´Acerté´, ´tuve suerte´ - sentido positivo. ´Pasar´, ´suceder´. En cambio hemos seleccionado una serie de palabras que sí merecen entrar en el diccionario de polaridades. Corresponden con los siguientes lemas (consúltese Tabla 8): Tabla 8: lemas que pueden entrar en el diccionario Adjetivos Verbos Sustantivos Adverbios Interjecciones Polaridad positiva топ, искрящ, отзивчив, безвреден, благотворен, икономичен, изумен, старателен, оптимален, ортопедичен, солиден, пресен, железен, адекватен изкефя, старая хит, намаление, специалист, внимание, знание, хъс, пречистване, опазване, чистота cтарателно евала Polaridad negativa рязък, канцерогенен, калоричен, противопоказен, изтормозен, токсичен, замърсен, травмиран, нечовешким, удавен изоставам, бавя, издънвам, издъня, избягвам, лишавам, лиша, изнудя, страдам, пропука келеш, изкуственяк, отрова, непоносимост, прищявка, косопад, вредност, гнусотия, скот, превземка, агресия 37 Conviene destacar también que hay ciertas expresiones que contienen más de una palabra y que ayudarían a acertar correctamente la polaridad de los textos de entrada, no obstante, en esta etapa del trabajo consideramos solo palabras separadas. 5.2.1.3. Palabras en lengua extranjera En realidad aquí podemos destacar un único ejemplo de nuestro corpus de test, que es el comentario número 80: Моята точна дефиниция е the best. (Mi definición exacta es the best). Aquí el clasificador ha adivinado correctamente la polaridad positiva, pero esto ha sido por cuestiones de suerte, dado que aunque en búlgaro точна (exacta) puede tener una polaridad positiva, este no ha sido el caso. Si no hubiera sido por esta casualidad, el sistema no habría podido extraer la información de la expresión inglesa the best. Aunque aquí ha sido tan solo un ejemplo, consideramos que es importante pensar sobre esta cuestión, puesto que en el internet se observa cada vez más la presencia del multilingüismo (Leppänen y Peuronen, 2012), y especialmente la presencia del inglés. Por eso no se debe descartar la idea de pensar en una versión de este modelo que pueda filtrar la(s) lengua(s) en el texto de entrada y en el caso de que haya otra lengua detectada, distinta del búlgaro, enviar la información a otro clasificador de la lengua detectada que esté conectado al clasificador para el búlgaro. Otra posibilidad sería conectar el clasificador para el búlgaro con traductores automáticos que procesen las partes del texto en lengua extranjera antes de que pasen por el clasificador. Dando un paso más allá, también se podría pensar en un sistema que pueda tratar los casos de multigrafismo, puesto que a veces, y a pesar de lo mal visto que está, los usuarios búlgaros de la red escriben usando el alfabeto latino en vez del cirílico. No obstante, crear un analizador que pueda procesar estos casos es difícil, puesto que no hay criterios establecidos sobre la transliteración y todos los usuarios transcriben a su manera los sonidos que no tienen representación en el alfabeto latino. Por ejemplo la letra búlgara ´ъ´ puede ser sustituida por ´a´ o ´u´, ´ц´ se puede encontrar como ´ts´, ´tz´ o ´c´, etc. 5.2.1.4. Palabras con correspondencias en el diccionario pero sin polaridad relevante en el texto de entrada concreto Esta parte del análisis cualitativo revela quizá el mayor problema conceptual en el funcionamiento de nuestro modelo. En 62 de los 300 textos de entrada34 se detectan palabras 34 Son los comentarios con los siguientes números: 80, 92, 96, 99, 104, 105, 110, 112, 118, 121, 129, 130, 137, 140, 141, 144, 150, 152, 153, 154, 156, 157, 158, 160, 165, 166, 167, 168, 169, 170, 172, 175, 176, 177, 182, 186, 190, 193, 194, 196, 218, 218, 220, 224, 226, 228, 231, 237, 241, 243, 253, 254, 255, 258, 260, 262, 274, 283, 286, 287, 289 y 295 38 que tienen correspondencias con el diccionario de polaridad, pero que en el caso concreto analizado no expresan polaridad, debido al contexto en el que se encuentran. A continuación vamos a dar varios ejemplos para ilustrar mejor la complejidad del asunto. Ejemplo 1: texto número 168 Не мога да кажа със сигурност дали съм за или против. Аз самата около 3-4 години не ядях месо-само риба. Месото ми миришеше. И нищо не можех да направя срещу това. Добре, че лекарката ме разбра и ме посъветва да замествам месото с бобови растения. Traducción: No puedo decir con certeza si estoy a favor o en contra. Yo misma no comía carne durante 3-4 años, solo pescado. La carne me olía mal. Y no podía hacer nada en contra de eso. Menos mal*, que la médico me comprendió y me aconsejó sustituir la carne con legumbres. (*La traducción literal es: bien, que). Si miramos la salida de nuestro modelo de análisis de sentimiento, neg:против|pos:добре|neu, veremos que ha acertado la polaridad neutral del texto. No obstante esto ha sido «por suerte» puesto que ha encontrado una palabra positiva, otra negativa, y haciendo los cálculos las ha neutralizado. En realidad, como se puede ver en la traducción al español, estas dos palabras, que normalmente significan en contra y bien, en este contexto no expresan ningún tipo de polaridad. El autor o la autora no toma ninguna posición concreta, sino presenta varios puntos de vista. Además esta ´respuesta´ está muy fuertemente relacionada con el tema que se comenta por los usuarios en el fórum, que es A favor o en contra de ser vegetariano. Resulta que el sistema tiene que contar con un «conocimiento» mucho más profundo y completo para poder lidiar con ejemplos de este tipo. Ejemplo 2: texto número 118 Oт H&M е изгодно, но от България е голямо предизвикателство. Понякога не приемат бг карти, трябва фирма превозвач и много често просто не обработват поръчките - трият ги. Малко е въпрос на късмет. Много съм се ядосвала с тях.. Traducción: H&M es rentable, pero comprar desde Bulgaria es un reto. A veces no aceptan tarjetas búlgaras, hay que conseguir una empresa de lógistica y muy a menudo simplemente no procesan los pedidos – los borran. Es un poco cuestión de suerte. Me he enfadado muchas veces con ellos.. A pesar de los errores a la hora de considerar la polaridad de los lemas encontrados, en el ejemplo anterior sí se ha acertado la polaridad. No obstante no siempre contamos con esta 39 «suerte». Si miramos la traducción del comentario número 118 no nos quedará duda ninguna de que se expresa una opinión negativa. Aun así, la salida del sistema aquí es la siguiente: pos:късмет|neg:ядосвам|neu; en otras palabras el texto se clasifica como neutral. Esto se debe al hecho de que en el diccionario la palabra късмет se considera como positiva, pero, como se puede ver, en este contexto hace parte de una expresión que es más bien crítica y negativa. Aparte, el sistema no detecta la palabra изгодно que sí está en el diccionario, por lo cual le quedan una palabra positiva y otra negativa, que equivalen a una polaridad neutral. Tampoco podemos sugerir una solución concreta para los casos de este tipo donde se necesita un conocimiento pragmático. Si bien, no descartamos la oportunidad de pensar en una mejora para este tipo de problema después de un análisis detallado solo de casos de este tipo. Ejemplo 3: texto número 219 Точно такива впечатления имам и за Варна ... :roll: Снощи ходихме в едно ресторантче и останах супер разочарована...фузилите разварени , пилешкото сурово , а синьо сирене нямаше... :angry: Мъжо нали е готвач , не се стърпя и им го рекна , ама какво от това....едва ли нещо ще се промени... :roll: Traducción: Tengo exactamente las mismas impresiones para Varna35 … Anoche fuimos a un pequeño restaurante y me quedé súper decepcionada … Las pastas estaban cocidas demasiado tiempo, el pollo estaba crudo, no había queso azul… Mi marido, como es cocinero, no se aguantó y se lo dijo, pero qué más da… no creo que algo vaya a cambiar… La salida del clasificador en este caso tampoco es correcta: pos:супер|neg:разочаровам|neu. Se trata de un comentario negativo que se ha clasificado como neutral. No obstante, aquí sí podemos sugerir una solución concreta de cómo tratar este tipo de problemas. Tal y como podemos observar, la palabra супер (súper) en este contexto no expresa una polaridad positiva, como nos enseña el diccionario, sino desempeña el papel de un cuantificador que aumenta el peso de la palabra negativa разочарована (decepcionada). La solución para este caso sería incorporar una regla composicional a nuestro sistema que use la información sobre la categoría gramatical de las palabras encontradas. En este caso la regla sería contar la polaridad de супер solo si especifica un sustantivo o verbo, y no hacerlo cuando especifica otro adjetivo o adverbio. Podríamos aplicar esta regla a una serie de palabras como por ejemplo адски (literalmente infernal), уникален (único), изключителен (excepcional), entre 35 Una ciudad en Bulgaria. 40 otros. La única excepción para los sustantivos sería cuando estos son negativos, como por ejemplo tontería. Allí las palabras de esta serie se tendrían que considerar como cuantificadores nuevamente. A modo de conclusión para este sub-punto, conviene señalar que cada caso es único, por lo cual se puede dedicar un trabajo entero solamente a este tipo de análisis. Por consiguiente no profundizamos más en el análisis, observando de manera más bien superficial que la dirección que se debería seguir para solucionar los problemas de este tipo es el análisis semánticopragmático. A continuación presentaremos otro tipo de problemas para los cuales otros autores ya han sugerido soluciones más concretas. 5.2.2. La negación Así llegamos a un problema bastante concreto: los casos donde la negación afecta la polaridad previa de las palabras. Para entender esta complicación se puede pensar en cualquier ejemplo aleatorio incluso en español: no es lo mismo decir algo es bueno que algo no es bueno. Tan solo añadiendo la partícula no cambiamos la polaridad de la palabra bueno a 180º. Es lo que Saurí en su trabajo llama switch negation (2008). No obstante, la negación puede venir en distintas formas a través de palabras como ninguno, ningún, sin, nadie, etc., o incluso de formas más indirectas. También puede venir en distintos lugares; no es necesario que esté directamente ´pegada´ a la palabra con polaridad como pasa en el siguiente ejemplo inventado: Ninguno de los platos en este restaurante me gustó. Se puede intuir que se trata de un problema mucho más complicado de lo que parece, que requiere de un análisis sintáctico profundo, y al cual también se puede dedicar un estudio entero. Aquí tan solo vamos a citar a Taboada que propone dos métodos para tratar este asunto (2011); ambos incluyen la búsqueda de ´marcadores´ a la izquierda de la palabra con polaridad. Las ideas que la autora seguiere pueden ser un buen punto de partida para pensar en cómo mejorar nuestro modelo en este aspecto en el futuro. Lo que sí podemos hacer por ahora es señalar cuáles son los casos en el corpus de test donde nuestro sistema no ha podido detectar la negación y el cambio de polaridad. Esto ocurre en 30 de los 300 textos de entrada. En la Tabla 9 hemos sacado solo las partes relevantes de los textos respectivos marcando la palabra cargada con polaridad y la(s) palabra(s) que expresan la negación. Para ayudar al lector no búlgaro hablante, también hemos proporcionado una traducción básica. En ella se pueden apreciar las múltiples maneras de expresar una negación, en base a lo cual sería posible diseñar una serie de reglas composicionales que la detecten. 47 286 Искам нещо здраво и не много скъпо за поддръжка. От къде мога да получа адекватни съвети. Quiero algo que sea estable y no muy caro para mantener. ¿De dónde puedo obtener algún consejo bueno? 292 Искам да е стабилна, да мога винаги да разчитам на нея. Quiero que sea estable, que siempre pueda contar con él. 296 Защо rachona, какъв е проблемът? ¿Por qué, rachona, cuál es el problema? 5.2.5. Cuando hay polaridades distintas – varias entidades Como explicamos en el punto anterior, la categoría polaridad neutral que hemos usado durante la etiquetación manual de polaridad de los textos del corpus de test, en realidad ha sido una especie de «cajón de sastre» que ha alojado en sí toda una serie de textos que no expresan una opinión positiva o negativa explícitamente o por completo. No obstante, aparte de usarla para clasificar las situaciones donde hemos registrado modus irrealis, también hemos recurrido a ella en dos casos más: cuando los autores de los textos han destacado características negativas y características positivas de una misma entidad, por un lado, y, por otro, cuando se han referido a varias entidades a la vez, a veces atribuyéndoles valoraciones de distintas polaridades. A estas alturas ya se puede intuir que el primer caso se podría tratar a base del conocimiento que tenemos sobre el funcionamiento de las oraciones subordinadas adversativas puesto que en la mayoría de las veces cuando se expresan opiniones mixtas sobre una misma entidad, estas suelen ser unidas por una conjunción adversativa. De esta manera el problema en el que nos tenemos que enfocar en este apartado es el tratamiento de los textos de entrada en los cuales aparecen opiniones sobre varias entidades distintas. De forma similar a los puntos anteriores podemos dar un ejemplo inventado para facilitar la comprensión: Hace tiempo que no uso el Skype y ya lo desinstalé del teléfono. Ahora me es mucho más cómodo usar el WhatsApp. Imaginémonos que tenemos un conjunto de textos con opiniones sobre la utilidad de Skype. Si solamente buscamos las palabras con polaridad positiva o negativa concluiremos que en este texto de entrada se expresa una opinión positiva sobre la utilidad de Skype, puesto que hemos encontrado la palabra de polaridad positiva cómodo. No obstante, como portadores del lenguaje natural sabemos que este adjetivo en realidad se refiere a otro programa diferente de Skype y que las opiniones sobre esta entidad concreta no son positivas. Por eso es importante saber detectar y tratar los casos de este tipo. Como es de suponer, aquí tampoco vamos a presentar una solución completa para este modelo, pero sí vamos a especificar que para solucionarlo hay que tomar en cuenta la información sintáctica y la extracción de información. Como han explicado Alonso, Vilares y 48 Gómez-Rodríguez (2018b), es necesario convertir la información no estructurada (el texto en lenguaje natural así como está) en información estructurada, lo cual vendría a ser la extracción de información. De esta manera se puede proceder al reconocimiento de entidades, la resolución de correferencias y la detección y clasificación de relaciones. Más concretamente, se debería crear un sistema que pueda reconocer la existencia de distintos nombres (personas, organizaciones, lugares, objetos) y expresiones temporales o expresiones numéricas en el texto, que pueda encontrar todas las palabras en el texto que las pueden sustituir (pronombres o deícticos) y que, finalmente, consiga extraer las relaciones de dependencias entre ellas (afiliación, parte-de, etc.) De ahí las opiniones sobre cada entidad se pueden clasificar de manera que solamente se extraiga la que nos interesa. A continuación presentamos algunos ejemplos recogidos del corpus de test donde los usuarios se refieren a varias entidades. Notaremos que a veces existe una relación directa entre ellas, cuando se hacen comparaciones con el fin de destacar cierta cualidad de una de las entidades. Otras veces puede no haber ningún tipo de relación. En ciertos casos se puede destacar una única entidad, frente a un conjunto de entidades del mismo tipo, convirtiendo la entidad enfocada en ´exclusiva´, etc. Los datos se pueden consultar en la Tabla 12 y se pueden usar para la creación de reglas composicionales con el fin de mejorar nuestro modelo de análisis de sentimiento (hemos marcado las palabras y expresiones con polaridad en negrita y subrayado las entidades distintas). Tabla 12: casos de varias entidades Núm. Parte relevante del texto Traducción al español Tipo de relación entre las entidades 33 "Nad zakona" е по-добра. Ма и тая е яка. Nad zakona es mejor. Pero esta mola también. Comparación de una entidad con otra. (+,+) 63 Така се прави музика в България , Криско може пасти да яде Así se hace música en Bulgaria, Krisko ¨puede comer tartas¨ [traducción literal, significa que es peor] Contraste entre dos entidades a favor de una de las dos. (+,-) 65 А се пробутваме на другите страни с мазни чалги и напълно безсмислени песни. А тази песен е написана и изпята заради болката в сърцето… Y lo que hacemos es promovernos en los otros países con chalga38 cursi y canciones completamente privadas de sentido. Y esta canción ha sido escrita y cantada por el dolor en el corazón… Contraste entre dos entidades a favor de una de las dos. (-,+) 112 За съжаление точно Lamentablemente justamente Comparación entre dos 38 Estilo de música . 49 поради тази причина онлайн бизнесът в България изостава в сравнение със западните сайтове por esa razón el negocio de las compras en línea en Bulgaria retrocede en comparación con las páginas web extranjeras. entidades en contra de una de ellas. (-,+) 170 че свинското е наймръсното месо - това всеки трябва да го знае полезното месо е телешкото, пилешко, патешко, риба също месото е незаменим източник на желязо и протеини que el cerdo es la carne más sucia – esto lo tiene que saber todo el mundo la carne saludable es el vacuno, el pollo, el pato, el pescado también la carne es una fuente irreemplazable de hierro y proteínas Varias entidades independientes. (- ,+,+,+,+,+) 174 Ами месо ям рядко. Но протеини - задължително. По магазините има соев гранулат който е удобен, вкусен и полезен. Pues yo carne, como raras veces. Pero proteínas – obligatoriamente. En las tiendas hay granulado de soja, que es cómodo, delicioso y saludable. Varias entidades independientes. (-,+,+) 203 Моделът е NATURE - гарантирам ти, че няма да съжаляваш, а и това са пари,кото се дават веднъж и според мен е изключително важно. Сега видях, че много хвалят някакви - Лайф :roll: , погледни и Магнифлекс и тези Екон, за тях също отзивите са добри El modelo es NATURE – puedo garantizar que no te vas a arrepentir, además eso es dinero que se da solo una vez y para mí es algo muy importante. Ahora acabo de ver, que recomiendan mucho algunos tales Life :roll: , mira también Magniflex y estos Ekon, las reseñas sobre ellos son buenas también. Varias entidades independientes. (+,+,+,+) 217 Последно много приятно изненадана останах от "Фиш&Грил" - на Спартак. 2 пъти вече ям страхотен октопод и чèрнокоп и то на прилични цени. Обслужването също е добре, само обстановката е малко семпла. Азиатския ресторант "Пасифик" - срещу Софияленд - също вечè няколко пъти не се издънват. Всичко, което съм опитала беше вкусно и добре изглеждащо. Últimamente tuve una sopresa grata en Fish&Grill – al lado de Spartak. Ya he comido dos veces allí: unos pulpo y pescado maravillosos y a un precio muy razonable. El servicio también está bien, solo el interior es un poco sencillo. El restaurante asiático Pacific – en frente de Sofialend – tampoco ha fallado todas estas veces que he estado. Todo, lo que probé, fue rico y se veía bien. Tienen una ensalada de pepinos maravillosa..) Por cuestiones de tradición como cada semana en los restaurantes de mi barrio Cactus, Pod Lipite y Varias entidades independientes. (+,+,+,+,+,+) Entidades que son partes de otras entidades. (+,+,+,+,-,+,+,+,+,+,+,+) 50 Имат уникална салата от краставици..) Традиционно хапвам ежеседмично в кварталните Кактус, под Липите и Вратата. Повече от година нямам забележки. Сушито в Хамачи също е отлично. Vratata. Ya más que un año no tengo observaciones malas. El sushi en Hamachi también es excelente. 263 Плажовете ни са под всякаква критика! Единствения истински чист плаж който съм посещавала е на Албена. ¡La situación de nuestras playas es despreciable! La única playa verdaderamente limpia que he visitado es en Albena. Se destaca una entidad exclusiva frente al resto de las entidades de su tipo. 5.3. Posibles mejoras adicionales A partir de todo lo que hemos presentado en este apartado dedicado a la evaluación cualitativa de nuestro modelo, podemos decir que coincidimos totalmente con Vilares, Alonso y GómezRodríguez (2013) para quienes «el análisis sintáctico es necesario para lograr un análisis de sentimiento robusto y fiable» (p.1). Justamente, por esta razón, pensamos que sería de gran beneficio usar la información que acabamos de presentar para incorporar un análisis sintáctico a nuestro modelo con el fin de mejorar su rendimiento y aumentar su potencial. No obstante antes de proceder a la parte de las conclusiones sobre este trabajo nos gustaría mencionar de forma muy breve varias ideas más sobre cómo se puede enriquecer el actual analizador de sentimientos para el búlgaro. 5.3.1. Tomar en consideración el peso de la polaridad Si queremos aprovechar al máximo el consabido calculador de orientación semántica (SOCAL) desarrollado por Taboada y su equipo (2011), deberíamos de considerar e implementar dos más de sus características. La primera es que en vez de un sistema binario, o como en nuestro caso ternario (positivo-negativo-neutral), el SO-CAL usa una escala de valores numéricos que varía entre -5 y 5. Usando un sistema de clasificación de este tipo daría resultados mucho más rigurosos puesto que toma en consideración el «peso semántico» que en realidad es muy relevante: no es lo mismo decir bueno que excelente, ni malo que asqueroso, por ejemplo. Además, Taboada toma en consideración la posible intensificación o atenuación de la polaridad previa de una palabra: dependiendo de si se encuentra cerca de un intensificador (amplifier) o de un atenuador (downtoner) el peso de su orientación semántica puede aumentar o disminuir, respectivamente. Por ejemplo no es lo mismo decir este libro es 51 bueno que este libro es súper bueno, o estoy cansado que estoy algo cansado. Tenemos confianza en que introduciendo este matiz a nuestro modelo ayudaría a obtener resultados más precisos. 5.3.2. Reconocimiento de dominio De forma similar al reconocimiento de entidades del que hablamos en el punto 5.2.5., podríamos pensar en una manera de detectar el dominio con el cual está relacionada la opinión que se expresa. Esto nos permitiría incluir algunas palabras en el diccionario que hemos excluido dado que cambian de polaridad según el contexto temático. Por ejemplo en el ámbito de la belleza y la cosmética la palabra seco, tanto en español, como en búlgaro, se caracterizaría con una orientación semántica previa negativa: se suelen hacer publicidades de productos contra la piel seca y el cabello seco por ejemplo. No obstante, en el contexto de marcas de lavavajillas, sería algo positivo cuando los usuarios comparten que sacan sus platos secos de la máquina. 5.3.3. El aspecto pragmático No podemos negar que quizá el mayor desafío que tienen que enfrentar los sistemas de este tipo, es el aspecto puramente pragmático de los textos de entrada que puede aparecer bajo un sinnúmero de formas. Podemos citar tan solo tres ejemplos bastante ilustrativos de nuestro corpus de test, que son el comentario número 70, el número 299 y una parte del comentario número 137 (hemos marcado las palabras con orientación semántica en negrita): Núm. 70.: Питаш как сбъркахме? Сбърках аз! Ти не си! Сбърках лъжите си, ПИСНА МИ.... Traducción: ¿Me preguntas dónde fallamos? ¡Fallé yo! ¡Tú, no! Fallaron mis mentiras, ESTOY HARTO… Núm. 299.: Сещам се за един стар виц, Двама си говорят за коли, хвалят се кой какво си е купил. - Знаеш ли какво, аз си имам "Ибиса"!!! - Иби са ти, аз си купих "Мерцедес". Сега сериозно, макар че не съм шофер, ето някои скромни наблюдения: […] Traducción39: Ahora recuerdo un chiste viejo, Dos personas están hablando de coches, cada uno jactándose de su compra. – Sabes qué, yo tengo un Ibiza!!! – 39 Hemos mantenido la ortografía original 52 Jódete tú40, yo me compré un Mercedes. Ahora en serio, aunque no soy conductor, he aquí algunas observaciones modestas: […] Núm. 137: Толкова е "вредна" стевията,че в много държави я ползват масово. Traducción: La estevia es tan ¨perjudicial¨ que tiene un uso masivo en otros países. Nuestro modelo de análisis de sentimiento ha clasificado el primer texto como negativo, puesto que ha encontrado solo palabras con orientación semántica negativa. No obstante, en realidad, este comentario es una cita de la canción que se comenta, lo cual se podría considerar como una reacción positiva de la persona que opina puesto que parece que se identifica con la letra de la canción. Aquí tenemos un matiz muy fino y difícil de ser detectado por un sistema computacional si este no haya sido especialmente entrenado para buscar partes de la letra de una canción en los comentarios sobre ella. En el segundo ejemplo, por otro lado, nuestro clasificador ha adivinado correctamente la polaridad neutral que le habíamos asignado, pero como ya hemos explicado esto ha sido por suerte; como se puede apreciar en este caso tenemos un chiste que no es relevante para la búsqueda de orientación semántica en el texto. En cuanto al tercer caso, aunque la única palabra que el programa ha detectado en esta parte es вреден (perjudicial), es obvio que se trata de una ironía. En este caso concreto las comillas podrían ayudar al sistema a filtrar el aspecto irónico para encontrar la polaridad real, pero hay que estar consciente de que existen muchas maneras distintas de expresar este aspecto pragmático que no siempre son tan fáciles de detectar. Aquí hemos presentado tan solo tres ejemplos que se diferencian bastante entre sí, pero en realidad existen muchos más que son aún más diversos, lo cual prácticamente reduce bastante las oportunidades de crear un criterio robusto para su detección y el tratamiento. No obstante, podemos sugerir una dirección de trabajo relacionada con el aspecto pragmático que sí podría mejorar el funcionamiento de los sistemas de análisis de sentimiento. Se trata precisamente de Emoji –los ideogramas usados en mensajes electrónicos e internet en general. Como punto de partida recomendamos leer el trabajo de Philipp Wicke (2017) quien explica como «los emojis han llegado a ser una parte sustancial de nuestra comunicación verbal, sustituyendo cada vez más y más palabras» citando una estadística del año 2015 según la cual un 92% de la 40 La pronunciación de la palabra Ibiza en búlgaro es muy similar a una pronunciación dialectal de la expresión jódete. 53 «población de internet» usa Emoji (p.2). Wicke destaca el hecho de que todas las grandes redes sociales como Facebook, Twitter e Instagram aplican el análisis de sentimiento a base de las estadísticas sobre el uso de los emojis por sus usuarios (p.2). Dado el alto uso de los emojis consideramos que muy a menudo ellos pueden ayudar a interpretar un comentario difícilmente inteligible por un analizador de sentimiento debido a fuertes indicadores pragmáticos, por ejemplo. En realidad podemos aplicar lo que vimos en el punto 5.3.1. y dar un mayor peso a la orientación semántica de los emojis puesto que su significado es mucho más estable que el de las palabras cuyo sentido puede variar según el contexto. En realidad el punto que defiende Wicke en su trabajo es que los ideogramas pueden ser considerados primitivos semánticos tal y como se entiende el concepto por Wilks (1975), Schank (1972) y Wierzbicka (1996). 5.3.4. Mayor objetividad La última sugerencia que haremos sobre cómo mejorar nuestro modelo es quizá la más obvia y la más fácilmente realizable. Para la construcción de una parte del diccionario de polaridades en este trabajo, hemos usado un corpus de unos 500 comentarios etiquetado manualmente por una sola persona, la autora del texto; y para la construcción del corpus de test hemos recogido 300 textos, también etiquetados manualmente solamente por la autora del texto. Consideramos que para conseguir una mayor objetividad en el proceso de trabajo y los resultados, sería necesario ampliar el tamaño de los corpus y encargar un grupo mayor de personas con la tarea de etiquetar y analizar los textos de forma manual. 54 6. Conclusión Si ahora volvemos a las primeras páginas de este trabajo y miramos la lista de los objetivos que nos habíamos propuesto, se puede decir que hemos cumplido con todos ellos: A final de cuentas construimos un diccionario de 2695 palabras con polaridad positiva o negativa estableciendo tres criterios distintos de recogida, de tres fuentes distintas, con lo cual aseguramos una mayor cobertura. Después diseñamos el prototipo de un modelo capaz de incorporar la información del diccionario y encontramos las herramientas necesarias (TreeTagger y Classif) para poner el sistema de análisis de sentimiento a funcionar de verdad. Luego construimos un corpus de test de 300 textos de 14 dominios distintos que procesamos usando nuestro modelo y así conseguimos un 56 % de precisión. Finalmente diseñamos una especie de rúbrica para la evaluación cualitativa donde pudimos ver el rendimiento real de nuestro programa en una serie de aspectos concretos. No obstante, justamente durante la evaluación cualitativa, el último de nuestros objetivos principales, observamos una serie de problemas muy serios en el funcionamiento del modelo que construimos. Hemos observado que el acierto en la clasificación de una parte significante de los textos se debe no tanto a las capacidades de nuestro sistema, sino a la casualidad. A partir de este problema de gran gravedad surgió la necesidad de establecer una serie de objetivos nuevos cara al futuro. Sobre todo, se confirmó la necesidad de enriquecer el sistema de análisis de sentimiento actual con un módulo de análisis sintáctico para poder resolver una serie de casos problemáticos. Dado el limitado tamaño de este trabajo no hemos presentado soluciones definitivas, pero sí puntos de partida y un conjunto de datos útiles para que las imprecisiones encontradas puedan ser tratadas en el futuro con el fin de mejorar el modelo actual. Aun así y a pesar de todos los problemas cualitativos encontrados, es importante señalar que estos tipos de sistemas, cuando trabajan con una gran cantidad de datos, pueden ser de gran utilidad para detectar tendencias en redes sociales, por ejemplo, incluso con una precisión relativamente baja de acierto (60-70%). En la era de la tecnología Big Data se busca más la eficiencia del sistema (su rapidez y robustez) que la calidad del mismo, ya que la mejora de la calidad (normalmente asociada al procesamiento de más información lingüística) puede redundar en problemas de eficiencia computacional. En este sentido es recomendable tener en cuenta este debate sobre la relación entre los aspectos de calidad y eficiencia e intentar buscar un equilibrio entre los dos. 55 Bibliografía Alonso, M., Gómez-Rodríguez, C. y Jesús Vilares. 2013. Clasificación de polaridad en textos con opiniones en español mediante análisis sintáctico de dependencias. Enlace: http://www.grupolys.org/biblioteca/VilAlo Gom2013a.pdf (último acceso: 8 de julio de 2018). Alonso, M., Gómez-Rodríguez, C. y Jesús Vilares. 2018 (a). Curso de La información lingüística en internet dentro del Máster Interuniversitario de Lingüística Aplicada. Tema 1. Universidad de A Coruña. Alonso, M., Gómez-Rodríguez, C. y Jesús Vilares. 2018 (b). Curso de La información lingüística en internet dentro del Máster Interuniversitario de Lingüística Aplicada. Tema 6. Universidad de A Coruña. Benevenunto, F., Ribeiro, F. and Matheus Araújo. 2015. Métodos para Análise de Sentimientos em mídias sociais. Short course in the Brazilian Symposium on Multimedia and the Web (Webmedia). Manaus, Brazil. October, 2015. Enlace: http://homepages.dcc.ufmg.br/~fabricio/do wnload/webmedia-short-course.pdf (último acceso: 8 de julio de 2018). Biber, Douglas and Edward Finegan. 1988. Adverbial stance types in English. Discourse Processes, 11(1):1-34. Bourdieu, Pierre. 2000 (1983). Las formas del capital. Capital económico, capital cultural, y capital social. En Poder, derecho y clases sociales. Bilbao: Desclée. pp. 131-146 Bradley, M. M. and Lang, P.J. 1999. Affective norms for English words (ANEW): Stimuli, instruction manual, and affective ratings. Technical report, Center for Research in Psychophysiology, University of Florida. Cambria, E., Speer, R., Havasi, C., and Hussain, A. 2010. Senticnet: A publicly available semantic resource for opinion mining. In AAAI Fall Symposium Series. Conrad, Susan and Douglas Biber. 2000. Adverbial marking of stance in speech and writing. In Geoff Thompson, editor, Evaluation in Text: Authorial Distance and the Construction of Discourse. Oxford University Press, Oxford, pages 56-73. Das, S., Chen, M. 2001. Yahho! For Amazon: Extracting market sentiment from stock message boards, Proceedings of the Asia Pacific Finance Association Annual Conference (APFA), Vol. 35/2001. Dave, K., Lawrence, S. and Pennock, D. 2003. Mining the peanut gallery: Opinion extraction and semantic classification of product reviews. In Proceedings of WWW, p. 519-528. Esuli and Sebastiani. 2006. Sentiwordent: A publicly available lexical resource for opinion mining. In Proc. LREC E-vestnik. 2015. Топ 100 сайтове в България - най-отпред са поща abv.bg и порталът dir.bg (Top 100 páginas web en Bulgaria –entre las primeras abv.bg y dir.bg.) Artículo en E-vestnik del 26.02.2015. Enlace: http://evestnik.bg/22370/top-100-saytove-vbalgariya-poshta-abvbg-portalat-dirbg-nayotpred-ot-mediite-offnewsbg-e-parvi/ (último acceso: 8 de julio de 2018). 56 Freitas, Cláudia. 2013. Sobre a construção de um léxico da afetividade para o processamento computacional do portugués. RBLA, Belo Horizonte, v. 13, n. 4, p. 1031-1059. Helmut Schmid. 1994. Probabilistic Partof-Speech Tagging Using Decision Trees. Proceedings of International Conference on New Methods in Language Processing, Manchester, UK. Helmut Schmid.1995. Improvements in Part-of-Speech Tagging with an Application to German. Proceedings of the ACL SIGDAT-Workshop. Dublin, Ireland. Hu, M. and Liu, B. 2004. Mining and summarizing customer reviews. Proc. KDD,04, pages 168-177. Hutto, C. J. and Gilbert, E. 2014. Vader: A parsimonious rule-based model for sentiment analysis of social media text. Jones, Karen Sparck. 2001. Natural language processing: a historical review. University of Cambridge. Enlace: https://www.cl.cam.ac.uk/archive/ksj21/his tdw4.pdf (último acceso: 8 de julio de 2018). Kraychev, Boris (Крайчев, Борис). 2014. Извличане и анализ на мнения и чувства от текст от онлайн източници (Extracción y análisis de opiniones y sentimiento de textos de recursos en línea) – resumen de tesis doctoral del año 2012. Universidad de Sofía ¨San Clemente de Ojrida¨. Enlace: http://digilib.nalis.bg/dspviewerb/srv/view er/08f57abf-bfcc-49d6-941a0e185077478b?tk=CPV6v7_MSdaUGg4Y UHdHiwAAAABbMO_9.- 2mr9m3VbJU_-NgFST-0UA (último acceso: 8 de julio de 2018). Langacker, Ronald W. 1985. Observations and speculations on subjetctivity. In John Haiman, editor, Iconicity in Syntax. John Benjamins, Amsterdam and Philadelphia, pages 109-150. Leppänen, Sirpa y Peuronen, Saija. 2012. Multilinguism on the internet. In MartinJones, M., Blackledge A., and Creese Angela. The Routledge Handbook of Multilingualism. London and New York: Routledge. Link: http://www.academia.edu/613308/Multilin gualism_on_the_Internet (último acceso: 8 de julio de 2018). Lyons, John. 1981. Language, Meaning and Context. Fontana, London. Martínez-Cámara, Díaz-Galiano, GarcíaCumbreras, García-Vega, Villena-Román. 2017. Resumen de TASS 2017. TASS 2017: Workshop on Semantic Analysis at SEPLN, septiembre 2017, págs. 13-21. Enlace: http://ceur-ws.org/Vol1896/p0_overview_tass2017.pdf (último acceso: 8 de julio de 2018). Martínez-Cámara, Díaz-Galiano, GarcíaCumbreras, García-Vega, Villena-Román. 2018. The democratization of deep learning in TASS 2017. Enlace: https://www.researchgate.net/publication/3 24039591_The_democratization_of_deep_ learning_in_TASS_2017 (último acceso: 8 de julio de 2018). Pango, Bo and Lillian Lee. 2004. A sentimental education: Sentiment analysis using subjectivity summarization base don 56inimum cuts. In Proceedings of the 42nd Meeting of the Association for Computational Linguistics, pages 271-278, Barcelona. 63 удивлявам, удовлетворя , удовлетворявам, улесня , улеснявам, унизя, усмихвам, усмихна, успея, успокоя, успокоявам, успявам, усъвършенствам, ухая, харесам, харесвам, хваля, ценя подведа, подвеждам, подигравам, подлудявам, подплаша , подплашвам, покваря , покварям, покруся , покрусявам, поомръзвам, поомръзна, порежа, пострадам, потискам, потисна, потреса, потресавам, потресвам, потрисам, похабявам, пощурявам, прахосам, прахосвам, пребия, прегрея, презирам, прекъсвам, прекъсна, пренебрегвам, пренебрегна, претоваря, преувелича , преувеличавам, прецака, прецакал, прецакам, прецаквам, преча, пречкам, принудя, принуждам, притесня , притеснявам, пробутам, пробутвам, проваля , провалям, проклинам, прокълна, пропадна, пропилея, пропъдя, пропъждам, просроча , просрочвам, псувам, разваля , развалям, развикам, развращавам, разглезя, разгневя, разгневявам, раздразня, разкайвам, разкая , разкрещя, разнебитвам, разнебитя , разочаровам, разпадна, разруша , разрушавам, разстройвам, разстроя, разтревожа , разтревожвам, разядосам, разядосвам, разяждам, раня , ранявам, саботирам, самоубия, сгрешавам, скандализирам, скапвам, скапя, скарам, смутя, смущавам, смърдя, сплаша, спъвам, спъна , срина, сритам, страхувам, стресирам, стресна, стряскам, счупя, съжаля, съжалявам, съжелявам, сърдя, съсипвам, съсипя, терзая, тероризирам, тормозя, тревожа, тровя, убивам, убия, уволнявам, увредя, увреждам, угнетя , угнетявам, ужася , ужася, ужасявам, умарям, уморя, уморявам, умра, унижа , унижавам, унищожа , унищожавам, уплаша , уплашвам, усложня , усложнявам, усуквам, утежня, утежнявам, фрасна, хабя, хитрувам, хленча, човъркам, шибам, шикалкавя, шокирам, ядосам, ядосвам SUSTANTIVOS Positivos (Total: 380) Negativos (Total: 557) автентичност, адмирация, айнщайн, акъл, ангел, ангелче, аплодисмент, апогей, аромат, безкористие, безопастност, безсмъртие, бестселър, бижу, благо, благодарност, благодат, благоденствие, благополучие, благородие, благородство, благословия, благосъстояние, благотворителност, блаженство, блясък, богиня, бодрост, бонбонка, бонбонче, браво, вдъхновение, великолепие, величественост, величество, величие, веселба, веселие, вещина, взаимност, взаимопомощ, вкусотия, връх, възбуда, възбуденост, възбуждане, възвишеност, въздигане, възможност, възнаграждение, абсурд, авария, агония, акцидент, алкохолик, алчност, ангажимент, апатит, апатия, арогантност, атентат, банкрут, беда, бедност, бедствие, безвкусица, бездарност, бездейност, бездействие, безделник, безнадеждност, безобразие, безпокойство, безпорядък, безрасъдство, безсилие, безсмисленост, безсмислица, безсъзнание, безсъние, безумие, безутешност, безучастие, безчестие, беля, бич, боза, боклук, болест, болка, бреме, будала, буламач, бъзльо, бърлога, варварин, вещица, византийщина, вина, високомерие, враг, враждебност, вреда, врява, възмущение, възражение, гад, гадене, гадина, гадняр, 64 възпитание, възстановяване, възторг, възторженост, възхищение, възход, вълнение, вълшебник, вълшебство, въодушевление, галеник, гальовност, гениалност, гений, герой, геройство, готовност, далновидност, дар, дарба, дарение, дарование, даровитост, деликатес, деликатност, дисциплина, добрина, добродетел, добродушие, доброта, доброчестина, добруване, добряк, довереник, доверие, доволство, достоверност, достойнство, драгоценност, другар, другарство, дружба, дружност, единодействие, единодушие, единомислие, екзалтация, експерт, екстаз, екстра, елегантност, еликсир, елит, емоция, емпатия, енергия, ентусиазъм, естетика, еуфория, ефект, жажда, жар, желание, живост, жизненост, жизнерадост, забава, забавление, забавляване, задоволство, задружност, заложба, зарибявка, заслепение, заслуга, захлас, зенит, злато, знаменитост, идол, избава, изблик, избраник, известност, издигнатост, изненада, изобилие, изобретателност, изтънченост, изумление, изящество, именитост, интелект , интелигентност, интерес, кеф, колективност, коприна, кралица, красавец, красавица, красота, крехкост, култура, куриоз, късмет, късметлийка, късметлия, легенда, леснина, леснота, ловкост, лоялност, лукс, лъскавина, любезност, любимец, любимка, любов, магия, магнетизъм, магьосница, майстор, майсторство, мания, мекота, мерак, мечта, милосърдие, мир, могъщество, мощ, мъдрост, нагон, награда, надареност, надежда, наклонност, напредък, наслада, наслаждение, настроение, находчивост, начетеност, нежност, нетърпение, новост, обаяние, обич, облекчение, образец, одушевление, омайност, оптимист, оргазъм, оригиниалност, орисница, откритие, отличие, отличителност, отмора, отстъпка, очарование, очарователност, патос, перфектност, пич, пишност, плам , пламенност, плътност, плюс, победител, победителка, поддръжник, подкрепа, подобрение, поздрав, поздравление, полза, помирение, помощ, помпозност, попадение, порив, постижение, похвала, похват, почивка, почит, почитател, почтеност, празник, предимство, преднина, прелест, преуспяване, привилегия, привлекателност, привърженик, привързаност, признание, приказка, пристрастеност, приятност, прогрес, прозорливост, промоция, проницателност, гадняри, гадост, гаф, гибел, главоболие, гламавщина, глезотия, глупак, глупачка, глупост, гнет, гнида, гнус, гняв, говедо, горест, горчивина, господинчо, грешка, грешник, гробище, грозник, грозотия, грубиян, грубост, грях, губене, гузност, гъз, гърчене, двуличие, дебелак, дебил, демоде, демон, депресия, дефект, дефицит, дивотия, дискомфорт, донос, доносник, досада, досадливост, досадник, дразнене, дразнение, дразнител, драка, драма, дрисня, дъно, дъртак, дявол, егоизъм, егоист, егоистка, екскремент, ехидност, жал , жалба, жалост, женкар, женчо, жертва, жестокост, животинство, забавяне, забележка, забелжка, заблуда, заблуждаване, заболяване, загуба, загубеняк, загубеняци, задник, задръстване, закъснение, замърсяване, застой, затлъстяване, затруднение, злина, зло, злоба, злополука, злополучие, злост, злоупотреба, злочестина, злощастие, зомби, зор, идиот, идиотка, идиотщина, изверг, изгнание, издънка, изкуственост, измама, измамник, измет, измислица, измъчване, изнасилване, изнасилвач, изнемощяване, изнемощялост, изнудване, изнурение, изнуреност, изоставане, изостаналост, изпитание, изпражнение, изрод, изтезание, изтощаване, изтощение, изтощеност, изцепка, изчадие, изчерпване, инфантилност, инцидент, капан, катаклизъм, катастрофа, кахър, кич, клевета, клише, клопка, клоун, коварство, копеле, копеленце, корупция, кочина, крадец, крадла, кражба, крайност, кретен, криза, критика, кръвоизлив, кръвопиец, курва, кусур, кучка, кучко, кървене, лайнар, лайно, лекомислие, лентяй, лешояд, лигльо, лиготия, липса, лицемер, лицемерие, лишение, луд, лудост, лукавищина, лукавство, лунатик, лъжа, лъжец, лъжкиня, лъжливост, малодушие, малоумник, мамка, мангал, мародер, маскарлък, мекушавост, меланхолия, мелодрама, мигрена, мизерия, мизерник, минус, монотонност, мошеник, мошенник, мръсник, мръсница, мръсотия, мудност, мутра, мухльо, мъка, мързел, мърлявщина, мъчение, мъчнотия, нагаждач, наказние, напаст, напрежение, нараняване, насилие, нахалство, нацист, неблагоразумие, невежество, невменяемост, неволя, негодуване, негодувание, недоволство, недоимък, недоразвитост, недоразумение, недостатък, недостатъчност, недостиг, недъг, неефикасност, незнание, неискреност, 65 просветеност, просперитет, професионалист, професионалистка, процъфтяване, прочувственост, първенец, радост, разбирателство, развлечение, развличане, разкош, разнеженост, разнообразие, разпаленост, разтоварване, разум, разцвет, рай, резултат, респект, ръкостискане, рядкост, самородност, сантименталност, свобода, сговор, сговорчивост, сгода, себеуважение, сила, симпатия, симпатяга, сияние, скромност, скъпоценност, слабост, слава, сладина, сладост, сладур, сладурана, сладурче, слисване, слънчице, смайване, смелост, солидарност, специалитет, сплотеност, спогодба, спокойствие, сполука, споразумение, способност, сръчност, стабилност, страст, страстност, стремление, схватливост, съвършенство, съгласие, съгласуемост, съдействие, съкровище, съобразителност, съпричастност, сътрудничество, сюрприз, такт, талант, трепач, триумф, тънкост, тържественост, тържество, уважение, увереност, увеселение, увлечение, увличане, угода, удивление, удобство, удоволствие, улеснение, умение, унес, усещане, усмивка, успех, успокоение, утеха, уют, фаворит, фантазия, фен, феномен, финес, финност, харизма, хармония, хатър, храброст, хубавец, хубавица, царица, цъфтеж, чар, чест, честност, човещина, чувственост, чудноватост, чудо, шампион, шедьовър, щастие, щастливец, щедрост неистина, некадърник, некадърност, нелепост, немота, немощ, ненавист, ненормалник, неодобрение, неопитност, неподготвеност, непохватност, неприличие, неприятел, неприятност, непълнота, нерви, нередност, несгода, несериозност, неспособност, несправедливост, несръчност, несъвършенство, неточност, неуважение, неудачник, неудобство, неудоволствие, неумелост, неумение, неуспех, неутешимост, нехайник, нехранимайко, нечистотия, нещастие, низост, нищета, нищожество, носталгия, обезверение, обезкуражаване, обезнадежденост, обезсилване, обезсърчение, обида, обирджия, объркване, огорчение, олигофрен, омаломощение, омраза, опасение, опасност, опастност, оплакване, осакатяване, оскъдица, отворко, отврат, отегчение, отегчителност, отказ, откачалка, отмалялост, отпадналост, отравяне, отчаяние, падение, пакост, паразит, параноик, параноя, пародия, парцал, пасивност, педераст, песимизъм, петно, печалбарство, пикльо, пияница, плиткоумие, плъх, повреда, повреди, повръщане, повърхностност, подигравка, подкуп, подлец, подлизурко, подлост, подмазвач, позор, позьор, поквара, покруса, покушение, помия, поразия, порок, посмешище, прасе, прахосник, предател, предателство, презрение, прекаляване, премеждие, пренапрежение, пресилване, пресиленост, престореност, престъпление, престъпник, престъпност, претенция, преувеличение, преумора, пречка, припадък, присмех, притворство, притеснение, проблем, провал, проведа, произшествие, проклетия, проклетник, проклятие, просрочване, простак, проститутка, простотия, пръдня, псе, психар, психопат, пульо, пустош, путка, пъзльо, пън, пърхот, равнодушие, развала, развалина, развратник, раздразване, раздразнение, разочарование, разпад, разруха, разсипник, разстройство, разсърдване, расизъм, резил, саботаж, самозван, сатана, сбиване, свинство, свинщина, свиня, сган, селяк, селяндур, селянин, скандал, скапаняк, скотщина, скръб, скука, слабак, слабост, смешник, смотаняк, смрад, смут, смущение, смърт, смях, сноб, сопол, сополанко, спад, спънка, срам, срамота, срязване, страдалчество, страдане, страдание, страх, страхливец, стрес, студ, сухар, счупване, съжаление, съклет, сърцебиене, съсипия, таратайка, тарикат, теглило, тегота, тения, терзание, терор, 66 тероризъм, тиквеник, тиня, тиранин, тормоз , тормозене, трагедия, тревога, трудност, тъга, тъпак, тъпанар, тъпачка, тъпотия , тъпоумие, тягост, убийство, убийца, угриженост, удар, ужас, уличница, умора, унижение, унилост, униние, унищожение, упадък, усложнение, ущърб, фалш, фалшивост, фалшификат, фалшификация, фашист, фиаско, фира, флегматичност, хиена, хулиган, цирей, цирк, цървул, чекия, чудовище, чума, шарлатания, шибаняк, шизофрения, шут, щета, юда, яд , яд, ядосване, ярост ADVERBIOS Positivos (Total: 49) Negativos (Total: 25) безопасно, безплатно, благодарение, бързо, великолепно, весело, вкусно, възхитително, добре, елегантно, ефективно, забавно, забележително, задоволително, идеално, красиво, лесно, любезно, мило, мъдро, найдобре, най-хубаво, нежно, очарователно, перфектно, по-безопасно, по-добре, посигурно, по-силно, по-спокойно, по-хубаво, прекрасно, приятно, противно, спокойно, страхотно, съвършено, трогателно, удивително, удобно, умно, успешно, фантастично, хyбаво, хитро, храбро, чисто, чудесно, щастливо безсмислено, болезнено, гнусно, грозно, грубо, досадно, жалко, зле, интелигентно, лошо, напрегнато, нелепо, неприлично, нервно, несправедливо, неудобно, опасно, отчаяно, подозрително, по-трудно, против, скучно, тъжно, тъпо, ужасно 67 ANEXO 2: CORPUS DE TEST Y RESULTADOS Núm. Texto Pol. real Resultados del clasificador Acierto 1 ебал съм ти МАЙКАТА кучко. Прътиме в затвора в зона51 ако искаш НЕ МЕ ИНТЕРЕСУВА NEG neg:кучка|neg TRUE 2 Като гледам в България работата е доста зле.... Жалко! NEG neg:зле|neg:жалк о|neg TRUE 3 Ебаси кучката задника си показва сочи среден пръст сочи майкоооооо ����� NEG neg:кучка|neg:зад ник|neg TRUE 4 Имаш хубав глас POS pos:хубав|pos TRUE 5 Стига сте я обиждали NTR neu TRUE 6 не виждаш ли че си кръгла курва бе NEG neg:курва|neg TRUE 7 Еба си курвата малка па мамка му на 14 години е а ми се прави на на проститутка NEG neg:курва|neg:ма мка|neg TRUE 8 Супер якото!!! POS pos:супер|pos:як| pos TRUE 9 песента. мие. много. яка POS neu FALSE 10 На мен ми харесва POS neu FALSE 11 Ебалсам ти майката NEG neu FALSE 12 #Най добрата рапарка POS pos:добър|pos TRUE 13 Обичам те братовчедкеее�������������� POS pos:обичам|pos TRUE 14 Таа песен е мноо яка!!!!!! POS neu FALSE 15 Каква беше тази простотия!!! NEG neg:простотия|neg TRUE 16 Най-добрата песен POS neu FALSE 17 песента е брутална :) POS neu FALSE 18 Ного ме кефиш�������� POS neu FALSE 19 обичам те Сузи POS pos:обичам|pos TRUE 20 Браво бе Сузи много яко пееш POS pos:браво|pos TRUE 21 Каската пее супер POS neu FALSE 22 Тази песен е много яка И на мен ми е любима ��������������������������� POS pos:як|pos:любим |pos TRUE 23 По добре махни тоя пръст, че кат гледам май си обладана от идиотщина.Някво малко лапе ши са показва разголена.Напрао не мога да повярвам как изложи баща си.Ужас.Аз ако бях на нейно място щях да се извинявам на баща си , че така съм го изложила и не само баща си излага ами и България. NEG pos:добре|pos FALSE 24 Сузанита е боклук,който не знае как звучи������������ NEG neu FALSE 25 Сузанита много яки песни правиш Аз съм големия ти Фен съм POS pos:як|pos TRUE 26 Еееее колко е яко POS neu FALSE 27 Прекрасна песна и прекрасна дама POS pos:прекрасен|po s:прекрасен|pos TRUE 28 Супер������ POS neu FALSE 29 Браво. Сузиииии�����LOVE POS pos:браво|pos TRUE 68 30 Квиса те зи срадни пръсти ма курва аз не праяа така ���������� NEG neg:курва|neg TRUE 31 Трита става POS neu FALSE 32 Тя си е сложила повече силикон от колкото може да пее NEG neu FALSE 33 "Nad zakona" е по-добра. Ма и тая е яка. POS pos:по-добра|pos TRUE 34 Тва порно има яка музика :) POS pos:як|pos TRUE 35 Готина песен POS pos:готин|pos TRUE 36 Обичам тази песен! LOVE TITA! ♡♡♡ Това е моята любима песен! POS pos:обичам|pos:л юбим|pos TRUE 37 Тита,� те! POS neu FALSE 38 Идола ми POS pos:идол|pos TRUE 39 СУПЕР xXx xXx xXx POS pos:супер|pos TRUE 40 много е свежо POS neu FALSE 41 леле по-тъпа песен не можа ли да напишеш?! NEG neu FALSE 42 Тита е пърче от класа POS neu FALSE 43 Тита е най-яката ��� Чакам още от следвай ме��� POS neu FALSE 44 Яака си тита POS neu FALSE 45 Ти си уникална Тита много-красива сладка обичам те.Ще ходя на Happy enurji tur ще те видя как пееш готините си песни. POS pos:уникален|pos: сладка|pos:обича м|pos:готин|pos TRUE 46 Мн яка песен POS neu FALSE 47 Тита ти си най-добрата����������� POS neu FALSE 48 Най - хубавата певица е Тита и всички твои снимки POS pos:хубав|pos TRUE 49 Супер си Тита!��� POS pos:супер|pos TRUE 50 Тита, се едно си избягала от публичен дом. Не си за YouTube. NEG neu FALSE 51 страхотна песен и клип POS pos:страхотен|pos TRUE 52 много. си. готина. и сладка. Продалжавай в същия дух POS pos:готин|pos:сла дък|pos TRUE 53 Тита много си добра��� POS neu FALSE 54 аз сам ти голяма фенка ❤❤ POS neu FALSE 55 Николчето е най POS neu FALSE 56 Тази песен е с 1% по-готина от антилопа � POS neu FALSE 57 Защо да се опитам да бъда тъп като тебе NEG neg:тъп|neg TRUE 58 Защо дачсецопитам да съм като теб тъп и алчен NEG neg:тъп|neg:алчен |neg TRUE 59 Тъпо NEG neu FALSE 60 Хащаг супер POS neu FALSE 61 Мачкаййй,Тотооо!❤�� POS neu FALSE 62 Тото разбрах за яна мн съжалявам тази песен е за нея написана NTR neg:съжалявам|ne g FALSE 63 Така се прави музика в България , Криско може пасти да яде ..... POS neu FALSE 64 Направо кърти�� POS neu FALSE 65 Тва е... А се пробутваме на другите страни с мазни чалги и напълно безсмислени песни. А тази песен е написана и изпята заради болката в POS neg:пробутвам|ne g:мазен|neg:безс мислен|neg:болка FALSE 69 сърцето… Браво, Чиче!♡ |neg 66 На който му е любимата песен да хареса��❤ ❤ POS pos:любим|pos TRUE 67 Мноооого добро! Браво чичиии! POS pos:добро|pos:бр аво|pos TRUE 68 Много добра песен продължавай така и за напред,ако ви хареса натиснете лайк. Благодаря! POS pos:добър|pos:хар есам|pos TRUE 69 Обожавам ви!!!! #СКАНДАУСАБОГОВЕ POS pos:обожавам|pos TRUE 70 Питаш как сбъркахме? Сбърках аз! Ти не си! Сбърках лъжите си, ПИСНА МИ.... NTR neg:лъжа|neg FALSE 71 Не знам,но на тази песен винаги се разчуствам доста� толкова силна песен със смислово съдържание .. рядко се чуват такива песни ЕВАЛА�❤ POS pos:силен|pos TRUE 72 Надявам се още толкова смислени български песни да се направят и в бъдеще. POS pos:смислен|pos TRUE 73 Тото уникален си !стискам палци Яна да ти прости и пак да се съберете....!!!❤ POS pos:уникален|pos TRUE 74 Текста е БРУТАЛЕН! .. не ми давай шанс пак да те лъжа ... <3 POS neg:лъжа|neg FALSE 75 Страхотна е �� POS pos:страхотен|pos TRUE 76 Така остави нека боли, то сърцето издържа... � NTR neu TRUE 77 Яна ще ти прости рано или късно NTR neu TRUE 78 Тото като каза келеш много ме изкефи POS neu FALSE 79 Дай муу Чичее ❤ POS neu FALSE 80 Моята точна дефиниция е the best POS pos:точен|pos TRUE 81 Най - яката песен дори И баща ми я слуша �☺�☺�☺ POS pos:як|pos TRUE 82 Нямам думи! Песента е просто супер! Любима ми е няма и ден който, да съм пропуснала,да я слушам! Нямам какво,да овъртам песента кърти! Не искам,да чувам,че времето лекува без тебе няма време спряло е на 0.�����❤❤❤❤❤❤ POS pos:супер|pos:лю бим|pos TRUE 83 Обичам тази песен и този човек! Всяка думичка е от сърце и личи! Гордея се с теб ❤ Ти си моят пример POS pos:обичам|pos:го рдея|pos TRUE 84 Най Якия Страхотни песни правиш Най добрия Обичам те ��� POS pos:як|pos:страхот ен|pos:добър|pos :обичам|pos TRUE 85 Топ! POS neu FALSE 86 Браво!! Само така ©®опа ХИТА на Сезона POS pos:браво|pos TRUE 87 Снимах се само с Лъчо в Пз ама с теб неможах.�� NTR neu TRUE 88 И аз се разплаках на тази песен POS neu FALSE 89 Всяка я наричам Яна Търся те във всяка чаша ~~~~~~~~ NTR neu TRUE 90 Искам в Spotify ��� NTR neu TRUE 91 Аз пазарувам от английския амазон и съм POS pos:доволен|neg: FALSE 70 страшно доволна, нещата идват за около седмица и не съм имала проблем ако искам да си върна нещо. 8) проблем|neu 92 Купувам бижута от медицинска стомана от http://www.azola.bg/bizuteria.html. В общи линии само познати модели, които са с гарантирано качество. Бижутата с кристали според мен крият риск, защото не знаеш колко са качествени материалите. В някои магазини виждам наистина прозрачни и искрящи кристали, а в други са мътни все едно си ги залял с белтък NTR pos:бижу|pos:гара нтирам|pos:бижу| pos:качествен|pos :прозрачен|pos FALSE 93 Аз по принцип не пазарувам от чужбина. Вече не. Има толкова качествени стоки и коректни търговци и в България, че няма смисъл да давам повече пари по пътни разходи. Ето например, от два-три месеца съм се зарибила да пазарувам от тук: http://www.cliche.bg. Имат страхотни моделчета дрешки, хората са много коректни и мили, и което е по-важно: мога да връщам дрехата, ако първоначално съм се заблудила за номера и не ми става в последствие. POS pos:качествен|pos :коректен|pos:зар ибя|pos:страхотен |pos:коректен|pos :мил|neg:заблудя |pos TRUE 94 Егати скъпите парцали :shock: Някаква си обикновена блузка за 75лв :shock: NEG neg:парцал|neg TRUE 95 В цената влиза и женската, затова е толкова скъпо. :lol: Някои дрешки ми харесаха като модели, но не и цените им. Аз, като виден маниак на тема обувки, първо се насочих към тях, но останах много разочарована. Изкуственяци и кич за много пари. А исках да си напълня очите. :cry: NEG pos:харесам|pos:в иден|neg:разочар овам|neg:кич|neu FALSE 96 Пазарувам много от един, единствен сайт - Beyond the Rack.Там намаленията на маркови дрехи, чанти, обувки и бижута достигат до 80%. POS pos:бижу|pos TRUE 97 От Германия и аз не съм..но сега пуснах поръчка в този сайт wholesale-dress.net Има много евтини неща, за съжаление цената на доставката е почти колкото трябва да платя за продуктите. :roll:, Аватар NTR neg:съжаление|ne g FALSE 98 Има доста китайски сайтове с безплатна доставка. Сега съм си поръчала копие на iPhone 4 от един китайски сайт и го чакам. С безплатна доставка ;) POS pos:безплатен|pos :безплатен|pos TRUE 99 Аз не разбирам защо въпроса е точно от Германия :roll: стара е темата, едва ли автора ще ми отговори :lol: , Иначе аз пазарувам почти само от сайтове. Канел, я ме светни за чайната, може нещо да харесам :) NTR neg:стар|pos:харе сам|neu TRUE 100 От tinydeal и аз съм си поръчвала; мр3 - много съм доволна, от 2-3 години съм с него и не ми е създало никакви проблеми. :D POS pos:доволен|neg: проблем|neu FALSE 71 101 Аз не пазарувам по интернет, защото не мога да преценя за дадено нещо само по снимка дали става или не, било то дреха, обувки, аксесоари и т.н. Но моят приятел често пазарува и то най вече от ebay английския :) NEG neu FALSE 102 Аз пазарувам доста неща от интернет. Придобих този навик от Щатите, но там никога нямаш проблем с връщането на стоките. Досега всъщност не ми е случвало да върна нещо, де. Иначе като вече съм си България, пазарувам от родни сайтове, от Амазон (и немския, и английския, зависи кой дава по-ниска цена), а с приятеля ми пазарувам разни джаджи от eBay.de. Последният ми телефон пък е от един чешки сайт... :D POS neg:проблем|neg FALSE 103 Преди от Редута, сега не пазарувам NTR neu TRUE 104 Да се "похваля" - оная вечер в несвяст гледах разни сайтове...цъках до безкрай и в петък получавам съобщение от спиди, че пратката ми ще пристигне на адрес.... Не знам какво съм си поръчала, не знам от къде съм го поръчала, текстил било :roll: , ще си го взема утре....и повече никога няма да гледам онлайн магазини като почивка в два през нощта :evil: мноу съм проЗ, дано поне съм си избрала нещо хубаво, че и с връщане не знам как ще се оправя :oops: А съм сигурна, че никъде не съм се регистрирала....и нямам потвърждение в пощата...мистерия.... NTR pos:похваля|pos:п очивка|pos:хубав| pos:сигурен|pos FALSE 105 Вики, не те знам къде си поръчвала, но миналата есен си поръчах едни ботушки по интернет и от спиди-то ми се обадиха, че нямат възможност да ми доставят пратката, а да отида аз да си я получа от офиса им :shock: Казах им, че изобщо няма да отида /явно не ми е било писано да имам тези ботушки/ и не отидох, но и те повече не ме потърсиха, тъй че мисля, че не си длъжна да приемаш поръчката. NTR pos:възможност|p os FALSE 106 сигурно, гризе ме и любопитство какво е, утре ще видя дали мога да видя първо, а после да го върна ;) NTR neu TRUE 107 Вики, ама как така ?? :shock: :shock: NTR neu TRUE 108 ох, Ескейп, и аз не знам...не помня...гледах няколко сайта.....и на.... NTR neu TRUE 109 по интернет само резервирам, нищо не купувам NTR neu TRUE 110 върнах го :) без да разбера какво е - по хисторито си гледах къде съм цъкала и им писах на всички, че по грешка може би съм си поръчала-ни вопъл, ни стон. Никога вече няма дори да надничам в онлайн магазини :evil: NTR neg:грешка|neg FALSE 111 не бих рискувала NEG neu FALSE 72 112 За съжаление точно поради тази причина онлайн бизнесът в България изостава в сравнение със западните сайтове. Дано в бъдеще тази тенденция се промени, тъй като в натовареното ни ежедневие много по-лесно и бързо да пазаруваш онлайн. Аз лично съм поръчвала от laredoute.fr и ebay. NEG neg:съжаление|ne g:натоваря|pos:бъ рзо|neg TRUE 113 горчивата истина NEG neg:горчив|neg TRUE 114 пазаруването по интернет е винаги по бързо и по лесно POS pos:бързо|pos:лес но|pos TRUE 115 Редовно пазарувам от амазон и H&M . POS neu FALSE 116 Аз пък редовно си пазаря от България колкото и да не вярваме хората последно време станаха по любезни и коректни скоро бях си поръчала едни ботуши на Пума доставиха ми ги но още не беше дошло време да ги обувам и си стояха в кутията и какво се рових из интернет и в сащия сайт нов модел по-хубави звъннах и хората ми ги смениха без проблем даже и много любезни бяха. www.cornersport.eu POS pos:любезен|pos: коректен|pos:нов |pos:похубави|neg:пробл ем|pos:любезен| pos TRUE 117 аз досега само от България съм си поръчвала и ми бавят поръчката често, какво ли че стане ако от чужбина си поръчам..., Аватар NEG neu FALSE 118 Oт H&M е изгодно, но от България е голямо предизвикателство. Понякога не приемат бг карти, трябва фирма превозвач и много често просто не обработват поръчките - трият ги. Малко е въпрос на късмет. Много съм се ядосвала с тях.. NEG pos:късмет|neg:яд освам|neu FALSE 119 Вече има магазин на марката, но в София. NTR neu TRUE 120 не е в раздела мода, но аз всички книги ги пазарувам по интернет и отстъпката ми е минимум 15%, което никак не е малко. , отделно, имам няколко сайта, които са проверени и от които пазарувам - купувала съм дрехи, чаршафи, аксесоари и т.н. POS pos:отстъпка|pos TRUE 121 За да дам тон, ето предложение от мен: Д-р Пламен Илиев стоматолог Кабинетът се намира на спирката на трамвай 20 при младежкия театър. Ул. Бачо Киро 6, етаж 4, ап. 10. Приема вторник и петък от 8.30 до 12 ч., останалите дни от 13.30 до 18 ч., Защо съм безкрайно щастлива от него? Защото: 1. Е много внимателен и се старае да не причинява болка. При него се сяда с уговорката "ако усетите и най-малка болка, дайте ми знак и ще спра" (да, и говори на "вие"). Много внимателен, извинява се за всяко неудобство, което трябва да изтърпиш. 2. работи добре. Досега няма зъб, който да ми е правил, и след това да е имало проблем, нещо недоправено, направено не както трябва или POS pos:младежки|pos :щастлив|pos:вни мателен|neg:болк а|neg:болка|pos:в нимателен|neg:не удобство|pos:доб ре|neg:проблем|n eg:болен|pos:разу мен|pos:добър|p os:красив|pos:щас тлив|pos TRUE 79 се запита нужно ли му е това и тн,аз самата не консумирам месо от много години,но съм виждала злощастните последствия от липсата на месо върху доста млади момичета.При всички хора обаче,здраве и красота се постига с някои лишения-от захар,сладкиши,консервирани и стабилизирани продукти и тн,всички ги знаем,но забравяме :)))и да не забравя-правете си сутрешната гимнастика,лишете се от 10 мин излежаване,заслужава си :))) 170 ами не разбрах какво му е общото между вегетарианство и месоядство, не се ли изключват взаимно :roll: че свинското е наймръсното месо - това всеки трябва да го знае полезното месо е телешкото, пилешко, патешко, риба също месото е незаменим източник на желязо и протеини естествено, не е препоръчително всеки ден да се консумира, но поне 4 дни в седмицата е добре колкото до суровоядството - противопоказно е за много заболявания NEG neg:свински|pos:п олезен|pos:незам еним|pos:добре| neg:заболяване|p os FALSE 171 Вегитарианка съм от десет години. Не съм умряла. Но и на никого не бих препоръчала да стане вегитарианец ако не му е "отвътре", просто защото е модерно май напоследък :wink: POS neg:умра|pos:пре поръчам|neu FALSE 172 Аз пък съм месоядно животно отвсякъде - свинско, телешко, агнешко - всичко ям:))) :twisted: :twisted: :twisted: Всеки има право да си избира дали да консумира или не консумира месни продукти. За мен лично зеленчуците са храна за истинската храна! :lol: :lol: :lol: NEG neg:свински|pos:и стински|neu FALSE 173 по време на бременност и кърмене трябва да се набляга на месцето; желязото, което се съдържа там, никое зеленчукоподобно не може да ти го осигури :!: NEG pos:осигуря|pos FALSE 174 Ами месо ям рядко. Но протеини - задължително. По магазините има соев гранулат който е удобен, вкусен и полезен. Изварата - също, яйца - всеки ден, сирене, кашкавал, зеленчуци, ядки - без тях не мога. Общо взето, следвам това което тялото ми подскаже. Направо не разбирам "пържолната" страст на голям процент от мъжете. Сигурно е нещо хормонално обусловено, знам ли :wink: POS pos:удобен|pos:вк усен|pos:полезен |pos:страст|pos TRUE 175 Аз не съм вегетарианка, но бих искала да споделя нещо, което "плаши" приятелките ми - тъй като съм християнка по време на постите не ям нищо от животински произходВъзкресенските пости са много дълги - над 40 дни - в които не ям мляко, яйца, нищо от NTR neg:плаша|neg:об ривам|neg:стране н|pos:положителе н|neg:страничен| pos:ефект|neg FALSE 80 животински произход, но мисля че това е времето, когато се храня най-пълноценно, защото отделям време да си приготвям храна, пък и откривам толкова заместители на кашкавал, месо... а по принцип не ям месо, мисля че се обривам от него... малко е странно за обяснение Аз обаче постя по религиозни причини с цел пречистване на душата, не на тялото, положителното влияние на тялото ми и функционирането му е страничен ефект:) 176 Аз съм за вегетарианство, но се оказва че месото не трябва да се подценява. По принцип не съм особено месоядна и реших съвсем да се откажа от месо, но се появи лек косопад. Търсейки причината за него стигнах и до месотоявно организма има нужда от него, та дори в минимални количества. NEG neg:откажа|pos:ле к|neu FALSE 177 предполагам че е такакогато бях малка мама казваше че всяко нещо си има място в стомахчето ми-шоколада, морковите и т.н. Само че има хора, които са се отказали от месото по едни или други причини - темпорално или перманентно! това е и до нагласа... що се отнася до косопада ти - аз имах този проблем по едно време - мислех си че е защото не ям месо, не пия достатъчно вода или друго нещо хранително и съвсем забравих да се погледна в огледалото на душата си - бях толкова изтормозена и нещастна - тъкмо се бях разделила с гаджето си и т.н..... Сега се храня безумно рядко - само когато усещам че ще умра от гладнямам стимул да се храня, не съм и гладна, но ходя много пеша, спортувам, смея се и съм много спокойна -и косата ми се чувства перфекно! NTR neg:откажа|neg:п роблем|neg:неща стен|neg:безумен |neg:умра|pos:спо коен|neg FALSE 178 Аз мисля ,че месо трябва да се консумира наймного два пъти в седмицата и то да се набляга на пилешкото и телешкото,които са без тлъстини.Все пак трябва да мислим за холестерола си,който се повишва от животинските мазнини.Така че за мен е поздравословно да се храним повече със зеленчуци и плодове и вместо олио,да използваме зехтин,тофу и повече ленено семе.От млечните продукти като млякото,най много 1,5% . , Например аз,всяка сутрин закусвам с мюсли и нискомаслено мляко,а обед и вечер наблягам на салатите и по-малко на месото. :wink: Аз съм на принципа-"Колкото помалко месо,толкова по-добре" :wink: NTR pos:по-добре|pos FALSE 179 аз съм съгласна с теб, но това е когато става NTR neu TRUE 81 въпрос за теб:) всичко е относително и зависи от отделния организъм-от какво има нужда, как го понася и т.н.... 180 Да,разбира се че всеки организъм е индивидуален :wink: . Човек сам решава дали да се храни здравословно или не. :roll: NTR neu TRUE 181 Зима е, студено е. Тези дни често си говорим за студа на вън. Поради тази, а и други причини ми хрумна да дам ход на темата. Бих искала да ви попитам с какво отоплявате жилището си, колко квадрата е, колко ви струва отоплението на месец/сезон? Доволни ли сте от топлинния източник, който ползвате към настоящия момент? Какви са неговите плюсове и минуси? Мислите ли да го сменяте с друг източник за отопление и поради какви причини? NTR neg:студ|pos:дово лен|pos:плюс|neg :минус|neu TRUE 182 Ток.Инверторни климатици с мощност по - голяма от необходимата. Добре е, но при -18 си ми е хладно, но аз съм зиморничава. Това е апартамента, който ремонтирам в момента.80 м2 При майка ми, където съм в момента, климатици и радиатори. Трудно се отоплява.Сметките са около 200лв.Жилището е голямо с високи тавани и някой ден смятам да го газифицирам. NEG pos:необходим|p os:добре|neg:труд но|pos FALSE 183 97 м2, 2 инв. климатика. Доволна. Последната сметка - 93 лв. Плюсовете - бързо затопля, икономично, чисто. Минуси - при по-ниски температури топли по-малко ефективно. Бих заменила с камина, ако имаше как и имаше кой да ми слугува. Много зависи от помещението, изолацията, изложението, етажа.... POS pos:доволен|pos: бързо|pos:чист|ne g:минус|pos:ефект ивно|pos TRUE 184 панелка 88 кв.м. изолирана с външна изолация, включително и отгоре, защото е на последен етаж. Централно парно - работят радиаторите само в хола и кухнята, в двете спални не е пускано парно. Последна сметка 300 лева + 50 кинта за ток :evil: Никога повече :evil: NEG neu FALSE 185 Охх..болната ми тема. Изцяло съм на ток. Зимата плащам оп 300-400 лв.. 75 кв, последен етаж , север-запад изложение NEG neu FALSE 186 Изцяло на парно. 60 кв. м. Отоплява се целият апартамент. Сметките са неприятни (последната и най-високата - 265 лв, в това число и топлата вода), но не бих заменила парното за нищо друго. Последен етаж, изложение север-юг (уж, но ми се струва, че е леко югоизтоксеверозапад). POS neg:неприятен|po s:топъл|neu FALSE 187 Що толкова много? NTR neu TRUE 188 Щото някой редовно ме краде.. 2 г подред ме няма по 1 месец зимата - сметката все е 350 лв.. NEG neg:жалба|neg:кр ада|neg TRUE 82 Всички възможни жалби съм пуснала - няма оправия засега. Или ме крадат и ли Чез си прави каквото иска. Но твърдят, че е лектромера си ок. 189 Ток-климатици, почти никога не се спират.Мисля, че не са ни малки сметките, когато беше много студено, обаче у нас си беше достатъчно приятно. Тоест съм по скоро доволна от отоплението.Когато се преместя в къща непременно с камина :) POS pos:приятно|pos:д оволен|pos TRUE 190 Ток - инверторни климатици 3 бр., но едната стая не я ползваме и реално работят 2 бр. Последната сметка беше 107 лв. Сега очаквам повече, защото работят нон стоп. И в найголемите студове се отопляше мн. добре, не ми е било студено.Апартаментът е 2 големи стаи + средна кухня, води се 66 кв. чиста площ, на 1 етаж. POS neg:студ|pos:добр е|pos:чист|pos TRUE 191 Аз съм твърдо за локалното парно. Това бе начина, по който се отоплявах, докато живеех при родители си. Изложението югоизток. Там апартамента е изолиран отвън и на тавана. Отоплението бе само на дърва, правят доста помалко боклук, отколкото въглищата. Отопляемата жилищна площ бе 60 км. Котелът бе в банята и с него се топлеше и водата. Доста често чувам от различни места, че климатиците намаляват своята ефективност и дори спират да отопляват при температури под -10 градуса. Виждам, че доста от вас са споделили, че се отопляват с климатици. Може ли да посочите марката климатик и приблизителните технически характеристики. Сметките, които сте посочили за ток ми се струват доста приемливи. Това за санирани жилища ли са? POS neg:боклук|pos:пр иемлив|neu FALSE 192 120 кв. м. тухла, изолация. Отопляваме се с климатици - 3 броя и радиатори, когато завее е зафучи. В коридора винаги ми е студено. :evil: Последна сметка - 340 лв за ток. Предишната не я знам, както и изравнителната не се знае каква ще е. NEG neu FALSE 193 Не се отопляваме с нищо. И направо сме изумени с мъжо :roll: В ново жилище сме, верно, че го строиха много старателно, собственикът си я построи за фамилията, продадоха няколко апартамента, всички стени са опаковани и отвън, и от вътре с най-дебелия фибран. А под него хубава, качествена червена тухла. Но никога не бих повярвала, че при -20 навън, у нас е плюс 20-21. Сметките за тока са в порядък 30 - 36 лева. Имаме и бойлер Аристон с електронно управление, нагласен да се включва POS pos:нов|pos:хубав |pos:качествен|po s:плюс|pos TRUE 83 и изключва само нощем. Апартаментът е южен, вътрешен, има само една външна стена, другите са тераса. Климатиците ги пускам от време на време, просто, за да се движат малко, да не им стане нещо. В същото време, в къщата на сина ми, която е огромна и е къща, 400 лева не стигат. В кабинета имам подово отопление, защото настилките са мрамор - къде 200 :( 194 Елина...признах те. :o :thumbsup: Точно това се очаква от качественото строителство и изолация + изложение, разбира се... :wink: Ние сме на ток, изцяло, поради липса на комини в сградата. :shock: Отопляваме се с 4бр климатици, които се оказаха достатъчни, дори и в тези небивали студове. Сметките...последната беше 220лв., новата сигурно ще е нагоре... :roll: Със сигурност е изгорен ток, т.к. сме пет човека на почти 100кв , като не пестим от бойлера и топлото. :wink: POS pos:качествен|neg :липса|pos:достат ъчен|neg:студ|pos :нов|pos:сигурен| pos:топъл|pos TRUE 195 Елина, чета те и направо не мога да повярвам... :shock: :) Не се топлите с нищо и поддържате оптимална температура в помещението..При родителите ми парното работи около 2-3 часа в дните, когато температурата отвън е около и малко под 0 градуса и по 5-6 часа, когато е -1020 градуса, изолация има на всички стени (фибран 4 см.) и не пада под 18 градуса. Мислех, че ситуацията е супер, ама ти ме разби направо. Вероятно при вас е изолирано с подебел фибран. Изложението, както споменах е юго-изток, като две от стаите са с източно изложение и една е с южно. С вътрешни стени е само спалнята. NTR pos:поддържам|p os:супер|pos FALSE 196 Ако темата не е за този раздел ,няма лошо да се премести , където и е мястото... :roll: Значи трябва да избера матраци , които да отговарят на нуждите и финансите ни..В никакъв случай с пружини...,изпатих си от Тед :?, още имам следи по ребрата от излезлите пружини :shock: Ориентирала съм се към пенолатекса на Екон , ако някой има мнение и ползва такива латексови матраци , да помага :) Прочетох в нета за тях , но мненията са в двете крайности и още се чудя... :roll: NTR neg:лошо|pos:пом агам|neg:крайнос т|neg FALSE 197 Една позната си взе матрак на Нани.Много е удобен.Но нямам представа за цената. POS neu FALSE 198 На мен също ми предстои избиране на матраци, така че ще следя темата внимателно. NTR neu TRUE 199 Рама, ще погледна моя матрак какъв е и ще ти докладвам, горещо препоръчвам. Има лятна и зимна страна и калъфка, която се пере в пералнята. Не е мек и не потъваш в него, но в POS pos:препоръчвам| pos:мек|pos:преп оръчвам|pos:добъ р|pos TRUE 84 никакъв скучай не е и твърд. Сега видях, Sensofeel - латексов, немски са. Пак ти го препоръчвам горещо. Сега погледнах и за някакви мнения в нета и всичките са много добри. Нямам никкаъв спомен за цената, но прочетох, че са около 800 -1000лв., другите как вървят? Ако проявиш инерес, питай за подробности. 200 Ние приключихме с избора на матраци ...Сега в детската са Нани, в спалнята е латексов - пенолатекс на Екон...Много съм доволна от него , не може да се сравни с пружинните матраци ...Лягаш и потъваш ... :nod: POS pos:доволен|pos TRUE 201 Бах ти цените :shock: Мен, за какъв размер матрак е тази цена :?: NEG neu FALSE 202 И нашия е такъв -пенолатекс и сме много доволни.Ортопедични са. Рама ,те са подобие на италианските ,но цените са по -приемливиоколо 300-400. Поне преди 6 години бяха толкова. POS neu FALSE 203 Ами за спалня 1800/2000 мисля :roll: , ти разбираш немски, напиши името и ще ти излязат резултати на немски. Значи, моят е струвал 809лв., но това преди 2г., сега може да са по-евтини. Моделът е NATURE - гарантирам ти, че няма да съжаляваш, а и това са пари,кото се дават веднъж и според мен е изключително важно. Сега видях, че много хвалят някакви - Лайф :roll: , погледни и Магнифлекс и тези Екон, за тях също отзивите са добри :wink POS pos:резултат|pos:г арантирам|neg:съ жалявам|pos:хвал я|pos:добър|pos TRUE 204 Мен, вчера се разбра, че няма да мога да си занеса мебелите от спалнята в новия апартамент. В този смисъл разходите ми се вдигат повече от планираното. Вчера ме сюрпризираха с едни 250 лв (не че са много, но са абсолютно неочаквани). Просто ще е пълен абсурд да дам 1000 лв за матрак :( NEG pos:нов|neg:абсур д|neu FALSE 205 Да, напълно те разбирам, то всеки разбира от хубаво, ама.... Разгледай тези другите, отзивите за тях също са много добри :wink: POS pos:хубав|pos:доб ър|pos TRUE 206 Аха , точно :nod: , цените са доста по-ниски от чужбинските , а качеството не отстъпва...Мен ме светна Радост за , което вечно ще я благославям... :pray: Нашият е с размер 160см /190см и струва около 400лв...+ подматрачната рамка илезе над 500лв. , което е на половината от Дормео , примерно... :roll: POS pos:радост|pos:бл агославям|pos TRUE 207 Обърках се малко. Този пенолатекс на фирма Нани ли е? Българска? Колко е гаранцията? NTR neg:объркам|neg FALSE 208 Нашата спалня е купувана преди около пет години, но матракът и струваше или 200 или 250 POS pos:доволен|pos:у добно|pos:нов|ne TRUE 85 лв. С две лица (зимно-лятно), но сме ги забравили кое какво беше и си го обръщаме както ни падне (може да е съвсем наобратно, а може и да сме налучкали :lol: ). Много съм доволна - спи се удобно, като нов е (не е измачкан или нещо такова), абе, към днешна дата никакви проблеми. Помня, че ни предлагаха най-различни и изискването ни беше "средна хубост", респ. цена. Е, оказа се идеален. g:проблем|pos:ид еален|pos 209 Неее на фирма Екон , те са единственните , които произвеждат бг латексови матраци по италиански лиценз...Имат солидна гаранция , но ще трябва да проверя из документите , колко години са.... , POS neu FALSE 210 А , Нани са друга фирма пружинни матраци ..На мен вторите не ми допадат , пробвах да спя на детското легло една нощ..., ами твърдичко си е.... :| NEG pos:допадам|pos FALSE 211 Имам чувството, че от година на година добрите ресторанти намаляват в София. Кои са според вас местата с наистина добра храна? NEG pos:добър|pos:до бър|pos FALSE 212 Ванили, каква кухня предпочìташ? Какъв клас ресторанти също. NTR neu TRUE 213 Говорим само за добра храна или за комбинация от манджа и обстановка? NTR pos:добър|pos FALSE 214 В 'Чорбаджийска среща'' съм яла най-вкусно сготвената храна,и разнообразна..Обстановката е битова. POS neu FALSE 215 За добра храна. Много добра. Класът е без значение. Моите впечатления от този град са, че средната и лоша кухня е в средния клас заведения. В този ред на мисли очаквам прилична атмосфера от мястото, където храната е много добра. NTR pos:добър|pos:до бър|neg:лош|pos: приличен|pos:доб ър|pos FALSE 216 Имаше една крайно долна кръчма с прекрасна готвена храна до моето бачкане, ама смениха готвача и вече не става. Навремето Ротисерията ми харесваше, но я няма вече. Чорбаджи Марко е добро за битова кръчма. NEG pos:прекрасен|po s:харесвам|pos:до бър|pos FALSE 217 Последно много приятно изненадана останах от "Фиш&Грил" - на Спартак. 2 пъти вече ям страхотен октопод и чèрнокоп и то на прилични цени. Обслужването също е добре, само обстановката е малко семпла. Азиатския ресторант "Пасифик" - срещу Софияленд - също вечè няколко пъти не се издънват. Всичко, което съм опитала беше вкусно и добре изглеждащо. Имат уникална салата от краставици..) Традиционно хапвам ежеседмично в кварталните Кактус, под Липите и Вратата. POS pos:приятно|pos:и зненадам|pos:стр ахотен|pos:прили чен|pos:добре|po s:семпъл|pos:вкус но|pos:добре|pos :уникален|neg:заб ележка|pos:отлич ен|pos TRUE 86 Повече от година нямам забележки. Сушито в Хамачи също е отлично. 218 Има едно италианско ново ресторантче; "Театро" се казва. На Ангел Кънчев, към Патриарха. Минималистично, но много симпатично, готвачът им за сега е супер. Останах приятно изненадана и от гръцкия р-т в клуб "Макси". Дългогодишен фен съм на Махалото, ама чувам, че нещо кухнята май са я развалили. Ниагарите също си държат на доброто ниво на храната. POS pos:нов|pos:ангел |pos:супер|pos:пр иятно|pos:изнена дам|pos:фен|neg: разваля|pos:добъ р|pos TRUE 219 Точно такива впечатления имам и за Варна ... :roll: Снощи ходихме в едно ресторантче и останах супер разочарована...фузилите разварени , пилешкото сурово , а синьо сирене нямаше... :angry: Мъжо нали е готвач , не се стърпя и им го рекна , ама какво от това....едва ли нещо ще се промени... :roll: NEG pos:супер|neg:раз очаровам|neu FALSE 220 Ниагарите все още са на ниво. Харесвам "Манастирска магерница", но не съм го посещавала от година. Също давам глас за "Пасифик". Рибният ресторант на Ариана беше много добър. Има няколко турски ресторанта, които ми харесват, но не знам дали си падаш по такъв вид кухня.... Охх, сещам се за един страхотен ресторант с прекрасна кухня, но убий ме в момента не се сещам нито как се казва, нито как точно да обясня къде се намира, днес ще попитам и по-късно ще напиша. POS pos:харесвам|pos: добър|pos:харесв ам|pos:страхотен| pos:прекрасен|ne g:убия|pos TRUE 221 За мен добър ресторант си остава "Дитер". Спокойна и приятна обстановка обстановка, добро обслужване, отлична кухня. , Когато ми се прияде пица (това е единственото нещо, което не мога да сготвя) ходим в Червената къща. Но пък тъй като ям там само пица, не мога да кажа нищо за другата кухня. Но общо взето за добра кухня се допитвам до брат ми. Той като бивш готвач ме насочва винаги вярно. POS pos:добър|pos:спо коен|pos:приятен |pos:добър|pos:от личен|pos:добър| pos:верен|pos TRUE 222 С моят кокоши график.... :lol: ,лягам рано-ставам рано... :| Апропо, ако някой съгражданин знае ресторант с добра италианска кухня , нека сподели....., че от проба -грешка взе да ми писва.... :smirk: NTR pos:добър|pos FALSE 223 В "Кара Иван" кухнята според мен е много добра, но обслужването хич го няма. В "Етно" миналата година ходих два-три пъти и всичко беше много добро, но сега не знам. POS pos:добър|pos:до бър|pos TRUE 224 Аааа, турска манджа много обичам... И темата не е лична, но не мога да се сдържа да не кажа, че храната в Червената къща е доста зле, заедно с пиците. Шамп, права си. Личните ми NEG pos:обичам|neg:з ле|neg:зле|pos:ум ение|pos:професи онален|pos:нов|n FALSE 87 впечатления са, че излезе ли се от големите градове и курорти, вероятността храната да е зле приготвена е към 98%. И обикновено се дължи на семейността на бизнеса - презумпцията е, че всяка баба има поне, ако не и по-добри, умения на професионален готвач. Вчера разчиствах някакви хартии и намерих листче, в което съм short list-нала ресторанти за РДто ми миналата година. Стана ми странно, че една година по-късно не мога да добавя нито едино ново място, а някои от старите са свалили нивото. И ми хрумна да ви питам за нови места. eg:стар|pos:нов|p os 225 Само за София ли става дума? :roll: NTR neu TRUE 226 Днес, докато си правех кафето, слушах "опашката" на сутрешния блок на БТВ, където някакъв професор обясняваш как трябва да се храним здравословно и какво не трябва да има в храните ни - разните му там оцветители, емулгатори, подобрители. Колко е вредно да се ядат мазни, солени и сладки храни, как трябва да се ядат по 400грама минимум на ден пресни зеленчуци и т. н. :arrow: неща, което повечето хора знаят. Оказва се, че на пазара няма продукти, които да не съдържат някоя от вредните съставки, вкл. плодовете и зеленчуцитена пазара, които бъкали от нитрати, пестициди и пр. химия. Ха, сега, де. :roll: Ако тръгнем да разплитаме кълбото, ще се окаже, че няма какво да се яде. :? Замислих се за вредностите, които ни обгръщат, плод на научния прогрес и....се сетих за микровълновата фурна. Този уред, почти неразделна част от всяка кухня, преди време, бе размазан с чук в едно предаване и анатемосан като нещо изключително вредно :!: Поразрових се и ето какво открих:http://www.bbteam.org/articles/3727_mikrovalnovata-furnapriyatel-ili-vrag-v-kuhnyata#axzz1DXi8CL1H Интересно ще ми бъде да споделите мнения по темата "За" или "Против" микровълновите фурни. NEG neg:мазен|pos:сла дък|neg:вреден|p os:прогрес|neg:вр еден|neg TRUE 227 Нямам мнение, защото нямаме такава фурна вече. Животината първо й отряза кабела, за да не я ползвам в негово отсъствие, после я остави до боклука. NTR neg:боклук|neg FALSE 228 И аз съм без такава, трети месец. Ванили ме накара да се замисля изобщо необходима ли ми е. И да ви кажа никак не ми липсва. :shock: Мислех, че е невъзможно домакинството ми без нея. Няма да си купя вече. Най-вероятно отново ще започна да я ползвам, а щом мога NEG pos:необходим|ne g:липсвам|neu FALSE 88 без нея, не виждам смисъл. 229 Против! Имах, но я подарих на свекито, че нейната се счупи. Иначе я ползвах само за печене на слънчоглед. Преди 6-7 години разказваха за един опит с кърма - ако се притопли на микровълнова печка става дори токсична. То вярно, че не можем да избегнем всички вредности, но поне тези, които можем, да избегнем. NEG neg:против|neg:сч упя|pos:верен|ne g TRUE 230 а неговите доводи какви бяха NTR neu TRUE 231 Аз пък си имам микровълнова от доста години и съм доволна. Вярно, доста рядко я ползвам, но предвид размерите си, не ми заема много място, не ми пречи, дори ми спестява понякога доста от времето. Не готвя в нея, експлоатацията й стига до притопляне/размразяване. Ще бъде силно казано, че без нея не мога да живея, но след като ме улеснява, а и не я ползвам често, "големите" вреди от уреда едва ли са толкова големи. :wink: Ако следваме сляпо логиката, че това/онова е вредно, не трябва да работим на компютър, защото монитора вреди, не трябва да ползваме автомобил, градски транспорт, защото се "наслаждаваме" на изгорели газове. И т.н. , примерите са хиляди. А инфото от статията, за загубата на ценни съставки от храната, е меко казано смешен! Не, защото наистина е смешно, а защото така или иначе ядем храна, която е натъпкана с боклуци още преди да стигне до микровълновата, за да си загуби "ценните" качества. POS pos:доволен|neg: преча|pos:улесняв ам|neg:вреда|neg :вреден|neg:вред а|pos:наслаждава м|neg:загуба|pos: ценен|neg:боклук |neg:загуба|pos:ц енен|neg FALSE 232 Ползвам си я ежедневно - топля манджи и варя мляко или вода..) POS neu FALSE 233 Ползвам си я за притопляне на чай, вода и ядене. От сто години имам, но така и не се научих да готвя нещо в нея. :oops: , Освен варени картофи за по - бързо. Имам приятелка, която готви страхотни манджи в МВ, включително - крем - карамел, който става за броени минути. То, ако зема да гледам кое е вредно - само доматите и краставиците от нашата градина стават за ядене, че нямат никъв тунинг, освен редовното поливане :wink: :wink: POS pos:бърз|pos:стра хотен|neg:вреден |pos TRUE 234 Променяла някакви молекули до вредни. Нещо за белтъчини ми се върти. Не помня вече, беше преди 2-3 години. NTR neg:вреден|neg FALSE 235 От доста време се опитвам да се храним относително здравословно, та микровълновата влезе в историята преди две години,когато се заговори, колко вредна била и от тогава събира NEG pos:здравословен |neg:вреден|neg:г нус|pos:късметли йка|neu FALSE 95 градинки, парковете.. 268 Хмм.., ще се наложи да съм по-рязка... 8) Виждам ,че някои от вас са абсолютно наясно какво оставят след себе си по плажовете...Хубу , ама що не го осъзнавате и в онзи момент , когато си хвърляте фаса или опаковката от сладолед на пясъка..!?Или там разпускате , слънцето ви е напекло мозъка и мисленето е останало някъде по пътя между София и Варна... :? И какво, като няма кошче на близо , аз си събирам боклуците в торбичка и ги изхвърлям на излизане.. :idea: Нищо лично към никого ,но след инвазията на целокупният бг. народ към морето ...остава кочина и смрад...Така е и по планините..., за жалост. :? Хубавото е ,че винаги имаме избор , да си променим манталитета или да тънем в собственните си л...на. :confused: NEG neg:боклук|neg:ко чина|neg:смрад|n eg:жалост|pos:хуб ав|neg TRUE 269 Хей, аз не съм забучвала фасовете :oops: На море се съм ходила от 8 години :shock: Изхвърлям си боклуците и опаковките извън плажа! NTR neg:боклук|neg FALSE 270 Не го приемай лично , критиката е към абсолютно всички..., към самите варненци ,бургазлии и т.н. или мислиш ,че те не замърсяват.. :? Заради такива "съвестнни" съграждани , обикаляме километри с колата, докато намерим по-чисто местенце... :smirk: NEG neg:критика|neg TRUE 271 Кои са най-качествените мобилни телефони, за които се сещате? Аз до скоро мислех, че е Samsung, но явно не е така., ---It's ParTy TiMe If YoU ClI NTR neu TRUE 272 Какво разбираш под "качествени" ? :D Единственото което мога да кажа от опит е, че Sony Ericsson са най-здрави и издръжливи. POS pos:качествен|pos TRUE 273 Няма такова животно , всички телефони имат и предимства и недостатъци . Това е все едно да попиташ коя е най-добрата марка автомобили . Интересно ми е какъв отговор очакваш , че задаваш такъв въпрос ? :lol: :lol: NEG pos:предимство|n eg:недостатък|pos :най-добрата|pos FALSE 274 Ами искам да си купя нов телефон и се допитвам до вас. :P NTR pos:нов|pos FALSE 275 така е, фен съм им :wink: POS pos:фен|pos TRUE 276 И аз. :wink: От години ползвам само Сони Ериксон, нямам лошо попадение. Може и вече да съм пристрастна, но само в техните модели намирам екстрите, външния вид и цената, които ме удовлетворяват. POS neg:лош|pos:попа дение|pos:екстра| pos:удовлетворяв ам|pos TRUE 277 само не ме кефят смартфоните /ма по принцип, иначе моя го търпя :lol: /, ма то ся други няма на практика :evil: NEG neu FALSE 278 Що бе, моят си е екстра. :lol: Доволен съм. :lol: POS pos:екстра|pos:до TRUE 96 На теб какво не ти харесва в смартфоните? :roll: волен|pos:харесва м|pos 279 тъпи са :haha: NEG neg:тъп|neg TRUE 280 Стига бе! :haha: NTR neu TRUE 281 :thumbsup: E, има какво още да се желае като дизайн, но като работа са номер 1. Ако искаш да работи, трябва ти точно Сони Ериксон! Сега пък като ме прочетат, да не вземат още да им надуят цените :ninja: . POS neu FALSE 282 И аз съм от феновете на Сони Ериксон. Много ми е работен. Освен тва 4 пъти го блъсках в земята (тва при бурни дебати :twisted: ) и 4 пъти сглобявах тленните останки и...още работи стадалеца! :shock: 8) В момента "абоната е извън линия", благодарение на ония мошеници от Мтела(да ги ева! :evil: ). POS pos:фен|pos:благо дарение|neg:мош еник|pos TRUE 283 И моите досега са били само Сони, ама на последния панелът му се пропука много бързо..., та нещо не случих, май. NEG pos:бързо|pos FALSE 284 Миналият ми беше Сони Ериксон, ама малко падна на цимента и вътрешният му дисплей си замина :? NEG neu FALSE 285 навремето имах Сони Ериксон.. :roll: спомням си, че още тогава не бях впечатлена.. :smirk: все нещо му се случваше на горкия.. :retard: :unibrow: Не мога да се оплача от Нокията, от всички телефони, които съм сменила, само тези ми излезнаха железни.. :roll: А! и един Панасоникцели 3 години го морих милия...какво ли не преживя..от падане от втория етаж до "давене", губене и т.н. :lol: NTR neg:оплача|neg:гу бене|neg FALSE 286 Мисля, че тук ще получа най-адекватни идеи. Искам да си купя кола.Първата ми лична ще е.Колебая се много. Понеже съм млад шофьор не искам нещо скъпо и лъскаво.Искам нещо здраво и не много скъпо за поддръжка. От къде мога да получа адекватни съвети.Всички ми казват различни неща.Едни хвалят едни марки, изтъкват дефекти на други.Втори пък ме съветват съвсем друго. Вие какво ще ми препоръчате.Към кого ще ми кажете да се обърна за адекватен съвет. Консултантите по автокъщите разбират колкото мен и хич нямам доверие. Например искам да е дизел.Знам, че зимата пали от раз.Само че много хора ми казват, че е по-добре бензинов.Повече вървял.И въобще имам цял куп въпроси, които не знам как и къде да ги задам.Насочете ме към нещо. NTR pos:млад|pos:здр ав|pos:хваля|neg: дефект|pos:довер ие|pos:подобре|pos FALSE 287 :lol: Омагьосан кръг, от който излизане няма. Всеки "специалист" аргументирано оборва другите. Няма такова нещо като най-добър NEG pos:омагьосам|po s:най-добър|pos FALSE 97 избор (всъщност има - служебна и в гаранция :lol: ), затова си я избери по цвят и дизайн. И не слушай другите - какво значи бензиновата "повече върви" - ти ще се състезаваш по светофарите ли? 288 Ти каква искаш? комби, хечбек, или седан. Кажи 4-5 марки и модели и ще се опитаме да те насочим NTR neu TRUE 289 Хечбек искам. Искам сеат ибиза 1.9 TDI. Предлагат ми и едно Пежо 306 дизелово пак. Предлагам ми и едни Ауди А3 , от което съм се отказала, защото не знам дали няма да ми е трудно да я поддържам. NTR neg:откажа|neg:тр удно|pos:поддър жам|neg FALSE 290 Seat ibizata даа идялно е. Може да влезеш в техният форум да четеш малко за тази марка и който я кара да ти каже 2-3 думи за нея. POS neu FALSE 291 Ще ми дадеш ли линк на форума. NTR neu TRUE 292 Да Ружке и аз това търся. :( Но най-вече искам да е здрава, но всички ми говорят различно.Просто не искам всеки ден да съм в сервиза.Искам да е стабилна, да мога винаги да разчитам на нея. NTR pos:здрав|pos:ста билен|pos FALSE 293 Благодаря! Моля, модераторът да изтрие темата. NTR neu TRUE 294 А, защо да я трие. И аз съм със същия проблем. На мен все ми препоръчват голф 3-ка. Какво мислят по-разбиращите? NTR neg:проблем|pos: препоръчвам|neu TRUE 295 хубави и здрави коли :) аз ли4но мн харесвам 4 ките ,....е и 5 не са лоши ,ама са "леко" скъпи4ки:).Made in Germany все пак:) :nod: аз исках такава,но впоследствие се полу4и друга....:) POS pos:хубав|pos:здр ав|pos:харесвам| neg:лош|pos:лек| pos TRUE 296 Защо rachona, какъв е проблемът? NTR neg:проблем|neg FALSE 297 Ами не знам не мисля, че е за тук.Малко импулсивно я пуснах. NTR neu TRUE 298 Аз съм фен на френските автомобили.Имам Пежо 206 от няколко години и съм доволна,малка с 4 врати и икономична. За сега по визия най ми харесва Пежо 407 в черно,направо ми е легнала на сърце. POS pos:фен|pos:харес вам|pos TRUE 299 Сещам се за един стар виц, Двама си говорят за коли, хвалят се кой какво си е купил. - Знаеш ли какво, аз си имам "Ибиса"!!! - Иби са ти, аз си купих "Мерцедес". Сега сериозно, макар че не съм шофер, ето някои скромни наблюдения: - японски коли = много скъпа поддръжка, скъпи части, -> по-добре автомобил с европейски произход; - италиански коли = кекави коли - все нещо им е повредено раавалено потрошено дефектирало и т.н., всяка седмица има нещо да се поправя; - колкото по-малко електроника NTR neg:стар|pos:хвал я|pos:подобре|neg:кекав| neg:повредя|pos:у мен|pos:подобре|neg:стар|n eu TRUE 98 (датчици сензори и други умни устройства), толкова по-добре; - масово мнение - че "Голф" е не кола, а диагноза, "голфаджия" е синоним на "талибан на пътя"; - ако си купуваш "на старо", приготви си поне 500 кинта допълнителна инвестиция за подмяна на важни компоненти, които трябва да се сменят след покупката; също се приготви през първата една година честичко да поправяш едно-друго. 300 И на мен Тойотите са ми легнали на сърце, също така знам, че са страшно здрави и качествени.Но японското си е японскоскъпо за поддръжка.Иначе ми е легнала Тойота Аурис на сърцето. POS pos:здрав|pos TRUE