Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais

Автоматическое выявление терминов образования и науки лингвистическими методами ERIKA RIMKUTĖ Университет Витаутаса Великого КЛЮЧЕВЫЕ СЛОВА: корпус, термины образования и науки, лингвистические методы, лемматическая форма, грамматическая форма ВВЕДЕНИЕ Корпусная лингвистика и компьютерная лингвистика в Литве уже вступили во второе десятилетие своего развития — начало этих научных направлений можно связать с основанием Центра компьютерной лингвистики Университета Витаутаса Великого (см. http://tekstynas.vdu.lt) в 1994 г. Были подготовлены несколько корпусов, программ автоматического анализа и синтеза речи1. Тем не менее принципы корпусной лингвистики пока мало применяются в терминологии и терминографии. В статье 2010 г. «Возможности автоматического выявления терминов литовского языка» (Rimkutė 2010) рассмотрено, в какой степени корпуса используются при составлении различных терминологических трудов в Литве. Термины литовского языка можно найти в нескольких международных базах данных и терминологических банках; подготовлено немало электронных терминологических словарей или баз данных2, однако все литовские электронные терминологические словари по существу составлены на основе словарей терминов. Большинство литовских словарей подготовлено на основе сравнительно небольших массивов текстов и языковой интуиции; следовательно, можно утверждать, что в Литве по-прежнему преобладает прескриптивный подход к отбору и описанию терминов. В статье предлагается представить результаты проекта3, посвящённого выявлению и описанию терминов образования и науки и связанным с автоматическим выявлением терминов 1 Полный перечень литуанистических ресурсов, подготовленных до 2011 г., можно найти http://sruoga.vdu.lt/lituanistiniai-skaitmeniniai-istekliai/lituanistiniu-istekliu-sarasas. 2 Ссылки приведены в упомянутой статье. 3 Это проект, финансируемый Советом по науке Литвы: «Автоматическая идентификация терминов образования и науки» (ŠIMTAI 2) (номер договора LIT-2-44). Основные цели проекта: 1) разработать и апробировать методологию автоматического распознавания терминов в корпусе текстов на литовском языке как новый инструмент упорядочения терминологии, 2) создать специализированный корпус текстов по образованию и науке, 3) на основе специализированного корпуса подготовить толковый словарь терминов образования и науки и онтологию этой области. 54 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais …постановлением, их описанием. Идея проекта, посвящённого автоматическому выявлению терминов, возникла после того, как было замечено, что существующие нормативные источники4 довольно неполны, ориентированы на самые общие термины образовательной политики и почти совсем не охватывают область научной политики; в них не успевают приводить новые термины, возникающие в практической работе, а специалисты по нормированию терминологии не успевают их нормировать. Однако традиционное нормирование довольно субъективно, поэтому употребление и нормы следует обосновывать методами корпусной лингвистики. Таким образом, в этой статье будет рассмотрен ещё довольно новый для Литвы способ отбора и анализа терминов, который мог бы значительно облегчить работу терминологов и придать ей большую объективность. АВТОМАТИЧЕСКОЕ ВЫЯВЛЕНИЕ ТЕРМИНОВ Для автоматического выявления и определения терминов определённой области была выбрана одна область — наука и образование. Был собран корпус текстов по образованию и науке (далее — ШО) объёмом 4 млн слов, при составлении которого ориентировались на две основные темы: 1) научные исследования и 2) обучение. В области научных исследований основное внимание уделялось политике в сфере научных исследований и политике в сфере высшего образования. Из области обучения была взята послесредняя ступень образования, а особое внимание уделялось высшему образованию и непрерывному обучению. В качестве дополнительной области была включена также профессиональная подготовка. При составлении корпуса ставилась цель охватить тексты различных жанров и типов, например: законы, другие политические документы высших органов власти (постановления, заявления и решения Конституционного суда Сейма Литовской Республики, Правительства Литовской Республики и Президента Литовской Республики и др.); стратегические документы; акты, обеспечивающие исполнение законов; документы учреждений и проектов по реализации политики в области науки и образования; документы научных и учебных учреждений; информационные издания, исследования состояния отрасли, оценки, технико-экономические обоснования; пресс-релизы, материалы дискуссий. Имея репрезентативный, хорошо сбалансированный корпус текстов исследуемой области5, можно автоматически выявлять термины. Для этой цели чаще всего используют- 4 Можно упомянуть Банк терминов Литовской Республики, «Энциклопедический словарь терминов педагогики» Л. Йовайши (2007), тезаурус TESE [дата обращения: 2012-05-20], доступен в интернете: http://eacea.ec.europa.eu/education/eurydice/documents/tese/pdf/teselt_005_alphabetic.pdf. 5 Репрезентативность и размер корпусов — одни из наиболее сложных вопросов корпусной лингвистики. Можно полагать, что корпус ШО достаточно хорошо представляет выбранную область. Более спорным является вопрос о его размере: например, англо-итальянский корпус юридических текстов Bononia Legal Corpus (BOLC) насчитывает около 18 млн слов (Rossini Favretti et al. 2001). Terminologija | 2012 | 19 55 ются три типа методов: статистические, лингвистические и гибридные модели, сочетающие статистические и лингвистические методы. Было проведено несколько экспериментов, целью которых было определить наиболее подходящие методы выявления терминов. Были испытаны следующие статистические методы: 1) функция программы WordSmith Tools Keyword Clusters; 2) метод машинного обучения KEA; 3) метод извлечения коллокаций с использованием инструмента LICE (подробнее см. Grigon worth et al. 2011). По результатам этих исследований был сделан вывод, что для литовского языка наиболее подходят лингвистические методы. Далее кратко описаны особенности этих методов. Основное преимущество статистических систем выявления терминов состоит в том, что им не нужны большие базы данных с примерами терминов, размеченными людьми. Кроме того, они не зависят от языка. Основной принцип работы статистических систем заключается в том, что часто совместно употребляемые слова связаны между собой и могут рассматриваться как термины. Лингвистические методы обычно опираются на морфологическую разметку и порядок слов. Для применения лингвистических методов необходимы морфологически аннотированные корпуса. При использовании лингвистических методов выявления терминов обычно определяют, в каких грамматических формах могут употребляться термины. При определении грамматических форм необходимо учитывать особенности языков. Например, для аналитических языков важно определить часть речи терминов. Для литовских терминов часть речи также очень важна, однако необходимо знать, какая ещё информация о грамматических категориях требуется для автоматического выявления терминов. Было замечено, что для литовского языка важны также категории числа и падежа, тогда как категория рода при автоматическом выявлении терминов не имеет особого значения6. Tyrinėtojų (pvz., Bowker 2002) nustatyta, kad beveik neįmanoma pritaikyti kitoms kalboms sukurtų terminus nustatančių įrankių, ypač tų, kurie naudoja lingvistinius metodus. Pavyzdžiui, tipiška anglų kalbos terminų struktūra yra bdv. + dkt., dkt. + dkt., o prancūzų kalbai būdingi modeliai yra dkt. + bdv., dkt. + prl. + dkt. Taigi norint taikyti lingvistinius terminų atpažinimo metodus, reikia sukurti programą, kurioje būtų atsižvelgta į tam tikros kalbos gramatinę sistemą. Далее в этой статье будут представлены попытки автоматического выявления терминов литовского языка с использованием лингвистических методов. Следует отметить 6 Категория рода становится актуальной в случаях синкретизма падежных форм, например: mokslo darbuotojų: программа автоматического морфологического анализа распознаёт форму darbuotojų и как родительный падеж множественного числа существительного мужского рода, и как родительный падеж множественного числа существительного женского рода, поэтому в качестве заголовочной формы указывает и mokslo darbuotojas, и mokslo darbuotoja. В качестве термина следует приводить форму мужского рода, то есть mokslo darbuotojas. 56 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais …внимание, что для выявления потенциальных терминов (далее — GT)7 использовалась программа, разработанная в Центре компьютерной лингвистики VDU. В этой программе применялись лингвистические правила, указывающие, какие сочетания частей речи или словоформы следует анализировать. Как упоминалось, при использовании лингвистических методов необходимы морфологически аннотированные корпусы, поэтому сначала накопленный корпус текстов по образованию и науке был морфологически аннотирован с помощью морфологического аннотатора8, разработанного в Центре компьютерной лингвистики VDU. Ниже приведён пример текста с автоматической морфологической аннотацией: <слово=”ПРОЕКТОВ” лемма=”проект” тип=”сущ. м.р. род. п. мн. ч.”>9 <пробел> <слово=”ФИНАНСИРОВАНИЯ” лемма=”финансирование” тип=”сущ. м.р. род. п. ед. ч.”> <пробел> <слово=”УСЛОВИЙ” лемма=”условие” тип=”сущ. ж.р. род. п. мн. ч.”> <пробел> <слово=”ОПИСАНИЕ” лемма=”описание” тип=”сущ. м.р. род. п. ед. ч. вин. п.”> <п> <слово=”I” лемма=”I” тип=”римское числ.”> <разд=”.”> <пробел> <слово=”ОБЩИЕ” лемма=”общий” тип=”прил. утв. неизмен. мест. ж.р. ед. ч. род. п.”> <пробел> <слово=”ПОЛОЖЕНИЯ” лемма=”положение” тип=”сущ. ж.р. род. п. ед. ч.”>10 <п> <число=”1”> <разд=””> <пробел> <число=”2007”> <разд=”–”> Программы, автоматически выявляющие термины с помощью различных методов, обычно распознают потенциальные термины, то есть термины-кандидаты (см. Zeller 2005), хотя среди автоматически выявленных слов или сочетаний нередко встречаются совершенно бессмысленные группы слов или осмысленные нетерминологические словосочетания, например коллокации. Из этих слов и сочетаний истинные термины обычно определяет эксперт в соответствующей области.7 8 Подробнее см. http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator-how-to-use. 9 Word обозначает конкретную словоформу, использованную в тексте, lemma — заглавную форму (лемму), type — подробную морфологическую информацию. 10 Следует обратить внимание, что морфологическая аннотация выполняется автоматически, поэтому возможны ошибки; например, в этом примере из-за синкретизма падежных форм указана неверная форма: вместо именительного падежа женского рода множественного числа указан родительный падеж женского рода единственного числа. Подробнее о неточностях, возникающих из-за особенностей морфологического аннотатора, см. раздел Проблемы автоматического выявления терминов. Terminologija | 2012 | 19 57 <number=”2013”> <space> <word=”m” lemma=”m” type=”sntrmp” <sep=”.”> <space> Принцип работы программ, автоматически выявляющих потенциальные термины, кратко и просто можно описать следующим образом: анализируется морфологически размеченный текст, в котором ищутся цепочки связанных слов. Первый критерий — отбор непрерывных словосочетаний на основании обозначенных в тексте границ предложений. Часть границ текста отмечена знаками препинания, другие могут быть обозначены HTML-тегами, например тегом абзаца <p>, тегом пробела между словами <space> и т. п. Далее необходимо разработать определённые лингвистические правила для применения в программе. Для выявления терминов в области образования и науки были разработаны и применены следующие основные правила11: 1. Анализируются только сочетания, содержащие хотя бы одно существительное. Если потенциальный термин состоит из двух или более слов, другими частями речи в таком сочетании могут быть прилагательные и причастия. 2. Анализируются только те сочетания, последнее слово в которых обязательно должно быть существительным12. 3. В двухсловных потенциальных терминах не анализируются имена собственные, поскольку они обычно входят в названия лиц, компаний, учреждений и т. д., которые не считаются терминами данной области (при выявлении более длинных терминов имена собственные также включаются в списки потенциальных терминов). 4. Из сочетаний удалить числа, записанные цифрами. 5. Не анализировать слова или сочетания, содержащие хотя бы одно слово, не распознанное морфологическим аннотатором. Чаще всего это вставки на иностранных языках, слова с ошибками, усечённые формы слов13. После применения таких правил были выявлены GT, из которых эксперт14 отобрал термины в области образования и науки. Эти термины анализировались более подробно, их структура описана в разделе Структура терминов в области образования и науки. 11 Правила универсальны и в целом подходят для автоматического выявления терминов в любой области. 12 Возможна и иная структура терминов, например существительное с приставочным инфинитивом, существительное с предложно-падежной конструкцией. Терминов такого типа немного, поэтому они не анализировались. Продолжая исследование в будущем, следует проанализировать и структуры терминов, не включённые в эту статью. 13 Применяя определённые ограничения при отборе GT, можно потерять ценную информацию. В этом исследовании не подсчитывалось, сколько настоящих терминов осталось нераспознанными. Используя программы автоматического распознавания терминов, следует смириться с тем, что часть информации будет утрачена, однако автоматически выявленную информацию будет легче обрабатывать, а полученные сочетания будут грамматически правильнее. 14 Эксперт проекта — литуанист Гедрюс Вилюнас, обладающий обширным педагогическим, административным и управленческим опытом в области образования и науки. 58 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais ОТБОР ТЕРМИНОВ После применения метода, описанного в предыдущем разделе, программы и используемых в ней правил было выявлено около 11 тыс. GT, состоящих от одного до пятнадцати слов15. Столкнувшись с таким большим объёмом данных, применили несколько критериев отбора. Первый — длина терминов: учитывая общие тенденции в структуре терминов, решили анализировать термины не длиннее семи слов. Второй критерий — частотность употребления терминов. Для дальнейшего подробного анализа выбрали однословные GT, встречающиеся в корпусе текстов об образовании и науке не менее 20 раз; двусловные GT, встречающиеся не менее 10 раз; трёхсловные GT, встречающиеся не реже 8 раз; четырёхсловные GT, встречающиеся не менее 6 раз; пятисловные GT с частотностью не менее 4 раз; шестисловные GT, встречающиеся не менее 3 раз; и семисловные GT с частотностью не менее 2 раз. При автоматическом подсчёте частотности появления GT использовались заглавные (словарные) формы слов, то есть леммы. После применения этих критериев отбора выявленные термины изучались более подробно (их структура представлена в следующем разделе). После того как эксперт просмотрел GT, выявленные по упомянутым ранее критериям, были отобраны настоящие термины в области образования и науки. Их распределение по длине представлено в таблице 1. Таблица 1. Распределение терминов в области образования и науки по длине Количество слов, составляющих термин Количество терминов, число Количество терминов,% 1 155 19,87 2 474 60,77 3 125 16,03 4 22 2,82 5 4 0,51 Всего 780 100,00 15 Здесь приведены несколько самых длинных найденных терминов: возврат получателю кредита государственной субсидируемой ссуды по решению комиссии, созданной директором фонда, в случаях, указанных в пункте (15 слов; здесь пропущены числа, то есть номер пункта); по адресу места жительства получателя кредита, указанному в договоре государственной субсидируемой ссуды, заключённом кредитным учреждением (13 слов); порядок уплаты студентами университета взносов за обучение на учебный год устанавливается приказом ректора (11 слов). Очевидно, что эти фрагменты текста нельзя считать потенциальными терминами. Terminologija | 2012 | 19 59 Из данных таблицы видно, что около 97% всех терминов в области образования и науки составляют термины из 1–3 слов. Среди шестисловных и семисловных терминов образования и науки в GT не обнаружено, поэтому далее они не анализировались. СТРУКТУРА ТЕРМИНОВ ОБРАЗОВАНИЯ И НАУКИ В этой главе подробно описана структура автоматически выявленных и отобранных экспертом терминов образования и науки, представлены их грамматические модели. Термины описаны от самых коротких, то есть однословных, до самых длинных, то есть пятисловных. 1. Однословные термины. Всего выявлено 7635 однословных GT, из них 1311 употреблены в корпусе более 20 раз. Далее подробно анализируются только эти слова. Из 1311 слов 155 можно считать терминами образования и науки, то есть около 20%. Наиболее часто в корпусе употреблялись следующие термины образования и науки: studentas (420816), universitetas (3959), studijos (1562), mokslas (1508), sritis (1403). 2. Двухсловные термины. В корпусе объёмом 4 млн слов обнаружено 145 468 двухсловных GT. Как отмечалось ранее, далее анализировались только те двухсловные GT, частотность которых составляет не менее 10 употреблений; таких терминов обнаружено 4889. После рассмотрения GT в итоговом списке терминов образования и науки осталось только 474 двухсловных термина; они составляют основную часть всех анализируемых терминов — более двух третей (см. таблицу 1). Двухсловные термины можно разделить на три типа с учётом их грамматических форм. 1) сущ. + сущ. терминов образования и науки этого типа — 250, то есть 52,7% всех двухсловных терминов. Наиболее частотные термины образования и науки этой структуры, употреблённые в корпусе: studijų programa (1432), studijų pakopa (306), studijų kryptis (303), mokslo darbuotojas (289), studijų kokybė (253). 2) прил. + сущ..17 Сочетания этого типа составляют 200 терминов образования и науки (42,2% двухсловных терминов). Наиболее частотные термины образования и науки: aukštoji mokykla (2160), moksliniai tyrimai (918), aukštasis mokslas (730), nuotolinis mokymas (453), profesinis mokymas (403). Сочетания типа считаются GT в том случае, когда прилагательное согласовано с существительным в роде, числе и падеже. В противном случае получа- 16 В скобках указана частотность термина в корпусе текстов образования и науки объёмом 4 млн слов. 17 В моделях двухсловных терминов падежи не указываются, поскольку прилагательные и причастия согласуются с существительными, а существительные обычно стоят в единственном числе и именительном падеже. 60 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais Также грамматически неправильные¹⁸ сочетания, например, более тесный университетов, важнейший права, важнейших обучения, лучшего года, либо сочетание является правильным, хотя часто неполным, и это не термины образования и науки, например, крупнейший в мире, наиболее динамичный в мире, благоприятный для студентов. 3) нареч. + сущ. сочетаний, которые можно считать терминами образования и науки, всего 24, т. е. 5%. Наиболее частотные термины образования и науки: выпускная работа (162), предмет по выбору (109), образование взрослых¹⁹ (65), обратная связь (63), прикладные исследования (45). 3. Трёхсловные термины. Всего выявлено 119 881 трёхсловное сочетание GT. Подробно проанализированы 2438 сочетаний, частотность которых в корпусе составляет не менее 8 употреблений. Найдено 125 терминов образования и науки, т. е. 16,03% от общего числа терминов. Наиболее частотные термины образования и науки: учреждение высшего образования (251), учреждение профессионального обучения (205), кредит, поддерживаемый государством (149), общеобразовательная школа (147), учреждение профессионального обучения (77). Трёхсловные термины образования и науки представлены семью грамматическими моделями. Среди трёхсловных терминов образования и науки наиболее частотны сочетания типа прил. Р. + сущ. Р. + сущ.²⁰ (они составляют 48% всех трёхсловных терминов), например: учреждение высшего образования (251), учреждение профессионального обучения (205), общеобразовательная школа (147). На втором месте по частотности среди трёхсловных терминов образования и науки — сочетания типа сущ. Р. + сущ. Р. + сущ. (24,8%), например: положение о направлении обучения (66), описание направлений обучения (60), государственный научный институт (50). Третья по частотности структурная модель трёхсловных терминов образования и науки — прил. И. + прил. И. + сущ. (12%), например: национальная комплексная программа (69), фундаментальное научное исследование (61), первоначальное профессиональное обучение (52). Далее по частотности можно привести лишь по несколько примеров, соответствующих структурным моделям трёхсловных терминов образования и науки: сущ. Р. + прич. Д. + сущ. (4%), например: кредит, поддерживаемый государством (149), квалификация, признанная государством (33), студент, финансируемый государством (21); сущ. Р. + прил. И. + сущ. (4%), например: зарубежное высшее учебное заведение (41), академический совет колледжа (32), научный руководитель докторанта (20); прич. И. / И. + сущ. Р. + сущ. (3,2%), например: итоговая оценка квалификации (36), бесплатное место для обучения (13), исследования прикладного характера (13); прил. И. + ¹⁸ В данной работе грамматически правильными считаются такие сочетания, в которых зависимые слова согласованы с главным словом и синтаксические отношения между компонентами словосочетания ясны. ¹⁹ К причастиям отнесены также субстантивированные причастия. ²⁰ Падеж последнего существительного не указывается, поскольку чаще всего оно стоит в именительном падеже. Terminologija | 2012 | 19 61 прил. Р. (или С., если причастие субстантивировано) + сущ. (2,4%), например: конкурсная учебная дисциплина (15), неформальное образование взрослых (13), научно-исследовательская работа (12); прил. Р. + нареч. Р. + сущ. (1,6%), например: прикладная научная деятельность (20), заказные научные исследования (8). 4. Четырёхсловные термины. Всего выявлено 77 961 четырёхсловное GT, сочетаний, употреблённых более 7 раз, — 760. Из них эксперт выявил 22 термина в области образования и науки (они составляют 2,82% всех терминов). Самые частотные сочетания в этой группе терминов: учреждение науки и учёбы (568), парк науки и технологий (62), общая национальная комплексная программа (40), профессиональное обучение для рынка труда (40). В корпусе образования и науки употреблены четырёхсловные термины девяти различных грамматических моделей. Поскольку четырёхсловных терминов употреблено немного, каждая модель представлена всего несколькими или даже одним примером. Здесь приведены все структурные модели четырёхсловных терминов в области образования и науки, сгруппированные по частотности, и указан по одному примеру для иллюстрации каждой модели: прил. Р. + сущ. И. + сущ. И. + сущ. (22,7% всех четырёхсловных терминов): международная научная база данных (13); прил. Р. + прил. И. + сущ. И. + сущ. (18,2%): общая дисциплина университетского образования (8); прил. И. + сущ. И. + прич. Р. + сущ. (13,6%): ученик с особыми потребностями (8); сущ. И. + предл. + сущ. И. + сущ. (13,6%): учреждение науки и учёбы (568); прил. И. + сущ. И. + прил. Р. + сущ. (9,1%): научные исследования высокого уровня (18); прич. Р. + прил. Р. + сущ. И. + сущ. (9,1%): признанная международная база данных (11); прил. Р. + прил. Р. + прил. Р. + сущ. (4,5%): общая национальная комплексная программа (40); сущ. И. + прил. Р. + сущ. И. + сущ. (4,5%): государственное научно-исследовательское учреждение (31); сущ. И. + сущ. Р. + сущ. Р. + сущ. (4,5%): область изучения технологических наук (28); 5. Пятисловные термины. Выявлено 49 768 пятисловных GT, сочетаний, употреблённых более 5 раз, найдено 601, из них терминов в области образования и науки — 4, то есть 0,51% всех терминов. По столь небольшому количеству терминов трудно делать обобщения об их структуре, поэтому структурная классификация терминов не проводилась. Все пятисловные термины, употреблённые в корпусе образования и науки: научные исследования и экспериментальная разработка (124), научные исследования и технологическая разработка (67), научные исследования и развитие технологий (13), центр научных исследований высокого уровня (7). 62 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais 6. Шестисловные и семисловные термины. Как уже упоминалось, среди шестисловных и семисловных терминов GT не обнаружено ни одного термина ШМ, хотя всего выявлено 30 298 шестисловных GT (из них сочетаний, употреблённых более 3 раз, найдено 750) и 17 815 семисловных GT (из них сочетаний, употреблённых более 2 раз, найдено 2608). СОПОСТАВЛЕНИЕ ТЕРМИНОВ ОБРАЗОВАНИЯ И НАУКИ С ТЕРМИНАМИ БАНКА ТЕРМИНОВ ЛИТОВСКОЙ РЕСПУБЛИКИ Термины, употреблённые в корпусе текстов ШМ, можно сопоставить с утверждёнными терминами образования и науки, представленными в Банке терминов Литовской Республики21; их 74. Структура этих терминов весьма разнообразна: от однословных до сочетаний из 18 слов. Очень длинных терминов, состоящих из 15 и 18 слов, найдено всего по одному. Самый длинный приведённый термин — программа неформального непрерывного профессионального обучения фермеров, владельцев лесов, членов местных групп деятельности, других сельских жителей и их консультантов. Спорно, считать ли название программы термином. При сопоставлении структуры терминов образования и науки в корпусе текстов ШМ и Банке терминов видно, что в обоих источниках наиболее распространены одно-, двух- и трёхсловные термины. Однако одно-, двух- и трёхсловные термины Банка терминов составляют 86,5%, тогда как термины такой же длины, употреблённые в корпусе текстов ШМ, — 97% (см. таблицу 1). В Банке терминов несколько больше четырёхсловных терминов, чем в представленном корпусе; пятисловные не встречаются; терминов из 6, 7, 8 и 9 слов в Банке терминов всего по одному или два; терминов из 10 слов нет, но представлены уже упомянутые термины из 15 и 18 слов (см. таблицу 2). Вызывает сомнение отнесение некоторых терминов, представленных в Банке терминов, к сфере образования и науки, например: литовец, мировая община литовцев, реэмиграция, национальность. Из полученного списка терминов видно, что сфера образования и науки охвачена не полностью: например, в качестве термина профессионального обучения представлен тракторист, но отсутствуют комбайнёр, повар, плотник и т. п.; особенно не хватает терминов, отражающих научную политику. Таким образом, термины, выявленные в ходе рассматриваемого в этой статье исследования, должны хотя бы отчасти восполнить пробел в терминологии сферы образования и науки. 21 Список утверждённых терминов сферы образования и науки был получен в 2010 году от Государственной комиссии по литовскому языку. При сопоставлении данных корпуса и Банка терминов используется именно этот список. Terminologija | 2012 | 19 63 Таблица 2. Распределение терминов образования и науки, представленных в Банке терминов Литовской Республики, по длине Количество слов, составляющих термин Количество терминов, число Количество терминов,% 1 16 21,6 2 31 41,9 3 17 23,0 4 3 4,1 5 0 0 6 1 1,4 7 1 1,4 8 1 1,4 9 2 2,7 10 0 0 11 0 0 12 0 0 13 0 0 14 0 0 15 1 1,4 18 1 1,4 Всего 74 100 ПРОБЛЕМЫ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ТЕРМИНОВ При определении терминов различными методами возникают две основные проблемы: 1) какие формы являются грамматически правильными терминами; это особенно актуально при определении заголовочной формы; 2) как отличить общие фразы, общие термины от терминов анализируемой области. С подобными проблемами сталкиваются и ученые других стран (ср. Cabré Castellví et al 2001). Чаще всего вторую проблему можно решить только неавтоматически, то есть эксперт в данной области должен просмотреть GT и определить, какие термины относятся к анализируемой области. Можно также применить определенные фильтры, то есть составить список слов, не подлежащих анализу (по-английски stop list), и использовать его, исключая слова, которые не могут выступать в качестве терминов анализируемой области. Такая фильтрация была применена и в данном исследовании. Несколько примеров: терминами ШМ не считались слова или сочетания, последним словом которых является существительное, обозначающее время, 64 Erika Rimkutė | Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais например: metai, mėnuo, diena, savaitė, rytas, vakaras, sausis, vasaris, pirmadienis, antradienis и т. п. Слова, обозначающие меры, также не считаются терминами, например: milimetras, metras, centimetras, kilometras, mylia, gramas, kilogramas, tona. Можно исключить сочетания, содержащие типичные для общих административных терминов словосочетания, например: įstatymo straipsnio, įstatymo straipsnio dalyje, įstatymų nustatyta (tvarka), įsakymo punktu patvirtintu, teisės aktų nustatyta tvarka, respublikos vyriausybės, respublikos valstybės, nuostatų punktas, nutarimų punktas, ministro įsakymas, ministro nustatyta tvarka, ministro patvirtintas, ministro sudarytas. Чтобы как можно точнее автоматически отделить термины ШМ от общих, были составлены два сопоставительных корпуса объемом, равным объему корпуса текстов ШМ, то есть по 4 млн слов каждый. Первый из сопоставительных корпусов составлен из текстов разных жанров и стилей; его структура похожа на Dabartinės lietuvių kalbos tekstyną (в него входят публицистика, художественная литература, административная литература, научная литература). Второй сопоставительный корпус составлен из административных текстов, не относящихся к сфере ШМ. Была выдвинута гипотеза, что чем более общий термин, тем чаще он употребляется в общем и (или) административном корпусе, а чем более специфичен термин, тем реже он встречается в общем и (или) административном корпусе. Эта гипотеза подтвердилась отчасти: например, характерные для сферы ШМ термины judumas, kompetentingumas, nubyrejimas, siekinys не обнаружены в сопоставительных корпусах, тогда как такие термины, как studentas, universitetas, vadovėlis, часто встречаются и в корпусе ШМ, и в сопоставительных корпусах. Это исследование следует продолжить, чтобы получить надежные данные о том, в какой мере сравнение нескольких корпусов может помочь хотя бы частично автоматически отделить общие термины от терминов анализируемой области. Далее будет подробнее рассмотрена первая проблема, то есть как автоматически определить правильную лемму терминов (особенно многословных), как свести к одной лемме слова и сочетания, употребленные в корпусе в различных словоизменительных формах. Исследование показало, что определить заголовочную форму термина не всегда легко. При автоматическом определении леммы, например, для сочетания aukštoji mokykla получается результат aukštas mokykla. Такая форма указана потому, что морфологический аннотатор в качестве леммы прилагательных задает форму именительного падежа единственного числа мужского рода положительной степени (подробнее о специфике аннотатора см. Zinkevičius 2000). Для лемм многословных терминов Terminologija | 2012 | 19 65 Определить это в значительной степени помогла бы программа синтаксического анализа. К сожалению, реально работающей программы синтаксического анализа пока нет22. Следовательно, при определении лем необходимы некоторые дополнительные правила — в данном случае нужно указать, что если лема состоит из существительного, то прилагательное или причастие должно согласовываться с этим существительным по роду; если прилагательное или причастие имеет местоименную форму, эта категория должна сохраняться и в леме. Много вопросов возникает в связи с категорией числа. Например, первый компонент термина studentų atstovybė должен стоять во множественном числе, все компоненты терминов akademiniai įgūdžiai, auditorinės darbo valandos должны быть во множественном числе, а оба компонента терминов fakulteto taryba, universiteto autonomija, bendrasis priėmimas, mokslinis leidinys — в единственном. Конечно, человеку нетрудно определить, где требуется форма множественного числа, а где — единственного, но автоматически сделать это очень сложно. Правда, в корпусе заметно, что некоторые слова почти всегда употребляются только во множественном числе (например: asignavimai, duomenys, studijos, rūmai, žinios, pinigai, pareigos). Определить правильную форму числа сложно и потому, что некоторые слова являются омонимами, например studija (научный труд) и studijos (обучение). По этой причине леммы следующих терминов были автоматически определены неправильно: bakalauro studija, rezidentūros studija, magistro studija, dieninės studija, nuotolinės studija. Как уже упоминалось, некоторые существительные обычно употребляются только во множественном числе, хотя в словаре в качестве леммы указана форма единственного числа. Это несоответствие словарной информации реальному употреблению привело к неправильному определению лем терминов mokinio pasiekimas, švietimo resursas, praktinis gebėjimas, fizinis mokslas, akademinis užsiėmimas (должно быть: mokinio pasiekimai, švietimo resursai, praktiniai gebėjimai, fiziniai mokslai, akademiniai užsiėmimai). Еще одна проблема — существительные типа substantiva mobilia, например: abiturientas – abiturientė, abonentas – abonentė. Поскольку в корпусе встречались формы как мужского, так и женского рода, автоматически были указаны леммы обоих родов. Чтобы в качестве термина в сфере образования и науки оставить только лемму мужского рода, пришлось применить правило, согласно которому существительные типа substantiva mobilia мужского и женского рода сводятся к лемме мужского рода. 22 Automatinės sintaksinės analizės srityje paminėtini D. Šveikauskienės 2009, E. Rimkutės 2006 darbai. Automatinės sintaksinės analizės programa kuriama VDU Kompiuterinės lingvistikos centre ir iš dalies jau taikoma analizuojant ŠM terminus. 66 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais При автоматическом определении лем иногда указывается неправильный порядок слов. Например, были указаны такие заголовочные формы: tipų studija (должно быть studijų tipas), lygmens kvalifikacija (должно быть kvalifikacijų lygmuo). Поскольку при определении лем не применялся синтаксический анализ, определения не всегда согласуются с определяемым словом, например tarptautinis (= tarptautinio) lygio mokslas, либо возникают другие синтаксические нарушения, например: paskolų gyvenimo išlaidos (= paskola gyvenimo išlaidoms). Трудности возникают и при определении границ терминов: например, является ли dėstytojų ir mokslininkų kvalifikacijos bei kompetencijos atitiktis одним термином или здесь следует выделить несколько терминов: 1) соответствие квалификации и компетенции преподавателей, 2) соответствие квалификации и компетенции ученых, 3) соответствие квалификации преподавателей и ученых, 4) соответствие компетенции преподавателей и ученых, 5) квалификация преподавателей, 6) квалификация ученых, 7) компетенция преподавателей, 8) компетенция учителей, 9) соответствие квалификации. 10) соответствие компетенциям. При определении лемм и распознавании терминов в целом трудности возникают также из-за особенностей морфологического аннотатора, когда из нескольких возможных частей речи или грамматических форм выбирается неподходящая. Например, если прилагательное согласовано с рядом стоящим существительным в роде, падеже и числе, велика вероятность, что такое сочетание будет грамматически правильным. Сочетания, образованные из двух существительных, у которых первый компонент стоит не в родительном падеже, не всегда грамматически правильны. Их необходимо внимательнее просматривать, а значит, тратить больше времени. Следовательно, от того, какая часть речи указана, зависит, попадет ли сочетание в число GT и будет ли оно грамматически правильным. Несколько примеров, иллюстрирующих этот тип ошибок: metinėms (может быть прилагательным и существительным, морфологический аннотатор указал существительное) ataskaitoms; keliais (может быть местоимением и существительным, выбрано существительное) procentais; bendrais (может быть прилагательным и существительным, выбрано существительное) teiginiais; uždarus (может быть прилагательным и существительным, выбрано существительное) posėdžius. Из-за неправильно указанной части речи и того, что слова синтаксически не анализируются, найденное в морфологически аннотированном корпусе сочетание žemiausias balas на первый взгляд кажется грамматически неправильным, поскольку Terminologija | 2012 | 19 67 первому слову указаны следующие метки: прилагательное, превосходная степень, невозвратное, мужской род, единственное число, именительный падеж; второму: существительное, женский род, множественное число, родительный падеж, а в качестве леммы указано bala. Таким образом, видно, что в данном случае лемма существительного определена неверно — должно быть balas. Следовательно, упомянутое ранее сочетание грамматически правильно. В этой главе рассмотрены трудности, с которыми чаще всего сталкиваются при автоматическом выявлении терминов в сфере образования и науки. Об этих проблемах и способах их решения будет рассказано в других работах. ВЫВОДЫ Программу и методику автоматического выявления терминов еще необходимо совершенствовать. Тем не менее первые результаты можно оценить достаточно высоко. Как видно из приведенных примеров, автоматический анализ выявляет не только специфические технические проблемы, но и проблемы, с которыми сталкиваются также терминологи, например выбор категории числа. После усовершенствования морфологического аннотатора и применения программы автоматического синтаксического анализа термины можно будет выявлять автоматически легче и надежнее. Несмотря на возникающие трудности, программа автоматического выявления терминов значительно ускоряет процесс выявления GT. Еще одно важное преимущество процесса автоматического выявления терминов — объективность анализа данных. Установлено, что длина 97% автоматически отобранных и проверенных терминов в сфере образования и науки составляет 1–3 слова. Больше всего двухсловных терминов — они составляют почти 61% всех терминов. Наиболее распространенные структурные модели терминов в сфере образования и науки: существительное в именительном падеже + существительное; прилагательное + существительное; прилагательное в именительном падеже + существительное в именительном падеже + существительное; существительное в именительном падеже + существительное в именительном падеже + существительное (у последнего существительного могут быть различные падежи). LITERATŪRA Bowker L. 2002: Computer-aided translation technology – a practical introduction. University of Ottawa Press. Cabré Castellví M. T., Estopà Bagot R., Palatresi J. V. 2001: Automatic term detection. A review of current systems. – Recent Advances in Computational Terminology, 53–88. Grigonytė G., Rimkutė E., Utka A., Boizou L. 2011: Experiments on Lithuanian Term Extraction. – Proceedings of the 18th Nordic Conference of Computational Linguistics NODALIDA 2011. NEALT Proceedings Series, Vol. 11, 82–89. Rimkutė E. 2006: Morfologinio daugiaprasmiškumo ribojimas kompiuteriniame tekste. Daktaro disertacija. Rimkutė E. 2010: Lietuvių kalbos terminų automatinio nustatymo galimybės. – Kalbų studijos 16, 71–78. Rossini Favretti R., Tamburini F., Martelli E. 2001: Words from Bononia Legal Corpus. – International Journal of Corpus Linguistics, special issue, 3–33. Šveikauskienė D. 2009: Kalbos vientisinių sakinių automatinė sintaksinė analizė. Daktaro disertacija. Zeller I. 2005: Automatinis terminų atpažinimas ir apdorojimas. Daktaro disertacija. Vytauto Didžiojo universitetas. Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos 24, 245–273. 68 Erika Rimkutė Automatinis švietimo ir mokslo terminų nustatymas lingvistiniais metodais AUTOMATIC IDENTIFICATION OF SCIENCE AND EDUCATION TERMS USING LINGUISTIC METHODS The paper deals with possibilities and problems of automatic Lithuanian term extraction. Specifically, linguistic methods are discussed in the domain of Education and Science. Other researchers have shown that it is almost impossible to have language-independent term extraction tools; this is especially true for tools which are based on linguistic rules. Therefore a linguistic term extraction tool should incorporate methods that would deal with a language’s grammatical system. This paper presents a tool developed at the Centre of Computational Linguistics of Vytautas Magnus University that employs linguistic rules for extracting domain-specific terminology. In order to extract domain-specific terms automatically, some preparatory work should be completed: compilation of domain-specific corpus (a corpus of four million words has been compiled for this research), morphological annotation of the corpus, formulation of appropriate linguistic rules, and creation of methodology for filtering out irrelevant word combinations. The paper presents the linguistic rules that have been used for the extraction of Education and Science terms and the results of the extraction procedure. The identified terms are contrasted with approved terms in the Term Bank of the Republic of Lithuania. Some specific problems of automatic term extraction are discussed in the paper, e.g. number and case agreement of terms in a multi word term. Gauta 2012-05-17 Erika Rimkutė Vytauto Didžiojo universitetas K. Donelaičio g. 52, LT-44248 Kaunas E. paštas [email protected] Terminologija | 2012 | 19 6 9