FOLKLOR ASARLARINI RAQAMLASHTIRISHGA DOIR

5 FOLKLOR ASARLARINI RAQAMLASHTIRISHGA DOIR Olim Qayumov filologiya fanlari doktori, professor, Toshkent amaliy fanlar universiteti https://orcid.org/0000-0001-7710-9256 Email: [email protected] DOI: https://doi.org/10.5281/zenodo.17268079 Annotatsiya. Mazkur maqolada folklor asarlarini raqamlashtirish borasida mulohazalar yuritiladi. Folklor asarlarini asrab qolishning zamonaviy yo‘li ularni raqamlashtirish orqaligina amalga oshishi nafaqat folklor materialini saqlab qolish, balki folklor orqali ajdodlarimizdan meros bo‘lgan ma’naviy va milliy qadriyatlarni keyingi avlod ongiga singdirishning samarali yo‘li ekanligi aniqlangan. Maqolada xalq og‘zaki badiiy ijodiyotini ilmiy asosda tizimlashtirish, ularni raqamli muhitga o‘tkazish va zamonaviy tabiiy tilni qayta ishlash (NLP) hamda mashinaviy o‘rganish (ML) usullaridan foydalanib tahlil qilish bugungi kunning dolzarb masalalaridan biriga aylanib borayotganligi, raqamlashtirishning keyingi folklorshunoslikka doir tadqiqotlarni amalga oshirishdagi o‘rni borasida mushohada yuritilgan. Kalit so‘zlar: folklor, raqamlashtirish, tadqiqot, asar, tabiiy til, qayta ishlash, mashinaviy o‘rganish. Аннотация. В данной статье будут рассмотрены вопросы оцифровки произведений фольклора. Тот факт, что современный способ сохранения произведений фольклора возможен только путем их оцифровки, является эффективным способом не только сохранения фольклорного материала, но и привития через фольклор в сознание следующего поколения духовных и национальных ценностей, унаследованных от наших предков. В статье отмечается, что научно обоснованная систематизация устного народного художественного творчества, перевод его в цифровую среду и анализ с использованием современных методов обработки естественного языка (НЛП) и машинного обучения (мл) становятся одними из актуальных вопросов сегодняшнего дня, роль оцифровки в осуществлении последующих фольклористических исследований. Ключевые слова: фольклор, оцифровка, исследования, работа, естественный язык, обработка, машинное обучение. Annotation. This article will address the issues of digitization of folklore works. The fact that the modern way of preserving works of folklore is possible only by digitizing them is an effective way not only to preserve folklore material, but also to instill spiritual and national values inherited from our ancestors into the consciousness of the next generation through folklore. The article notes that the scientifically based systematization of oral folk art, its translation into a digital environment and analysis using modern methods of natural language processing (NLP) and machine learning (ML) are becoming one of the urgent issues of today, the role of digitization in the implementation of subsequent folklore research. Keywords: folklore, digitization, research, work, natural language, processing, machine learning. 6 Folklor insoniyatning eng qadimiy madaniy qatlamlarini o‘zida mujassam etgan ijtimoiy-madaniy hodisa sifatida nafaqat milliy o‘zlikni, balki global madaniy xilma-xillikni ham namoyon etadi. Og‘zaki ijod namunalarida xalqning tarixiy xotirasi, ijtimoiy qadriyatlari, diniy-axloqiy qarashlari va dunyoqarashi, bir so‘z bilan aytganda, olam va odam haqida tasavvurlar o‘z aksini topadi. Binobarin, o‘zbek xalq ijodiyoti ajdodlarimizning ko‘p asrlik badiiy tafakkur durdonalarini o‘zida mujassamlashtirgan bebaho milliy qadriyatlar tizimi sanaladi [5]. Shu bois, folklor asarlari unutilishining oldini olish, ularni nomoddiy adabiy yodgorlik sifatida kelgusi avlodlarga yetkazish nafaqat milliy vazifa, balki xalqaro ahamiyatga ega ilmiy masala hisoblanadi. ХХ asrda Hodi Zarif asos solgan o‘zbek folklorshunosligining fidoyi olimlari va tadqiqotchilari tomonidan to‘plangan ulkan og‘zaki adabiy meros va xalqimiz jonli tilida og‘izdan og‘izga o‘tib kelayotgan zamonaviy folklor asarlarini saqlab qolish va keyingi avlodga yetkazishning yagona yo‘li bu folklor namunalarini raqamlashtirishdir. XXI asrda ijtimoiy hayotimizga globallashuv, tezkor axborot texnologiyalarining kirib kelishi va migratsiya jarayonlari jadallashuvi folklorning an’anaviy shakllarini sezilarli darajada o‘zgartirmoqda [7]. Ijtimoiy hayotdagi tezkor o‘zgarishlar milliy folklor materiallarining jonli ijroda saqlanib qolishi, professional folklor ijrochilarining kamayib ketish xavfini tug‘dirmoqda. Shuning uchun ham folklor asarlarini raqamlashtirish uni saqlab qolishning eng qulay imkoniyati sifatida qaralmoqda. Bugungi kunda Yevropa, AQSh va Osiyo mamlakatlarida folklorni raqamlashtirish bo‘yicha yirik loyihalar amalga oshirilmoqda. Masalan, Europeana Folklore (Yevropa Ittifoqi tashabbusi), Finnish Folklore Corpus, South Asian Folklore Digital Archive kabi loyihalar ilmiy hamjamiyatga katta imkoniyatlar ochmoqda [8]. Bu borada amerikalik folklorshunos Alan Dundesning nazariy ishlari folklorni tahlil qilishning asosiy usullarini belgilab bergan. Garchi u bevosita raqamli arxivlar tuzish bilan shug‘ullanmagan bo‘lsa-da, uning tahliliy metodologiyasi raqamli formatda tahlil qilinayotgan folklor asarlari uchun asos bo‘ladi [1]. AQSH folklorining umumiy tarixini yoritgan va raqamlashtirilgan asarlarni kontekstga joylashtirish imkoni yaratgan tadqiqotlar yana bir amerikalik olim Donald Braundir [1]. Shuningdek, amerikaliklar folklorining zamonaviy ommaga singdirish borasida tadqiqotlar olib borgan folklorshunos Saymon Bronner tadqiqotlarida folklor asarlarini raqamlashtirish taklifi ko‘tarilgan [3]. Finlandiyada ham finlar adabiyot jamiyati (SKS) raqamlashtirish bo‘yicha yetakchi hisoblanadi. Ularning loyihalaridan biri – „The Kalevala“ raqamli arxividir. Mazkur platformada fin xalq eposi 7 „Kalevala“ning turli nashrlari, qo‘lyozmalari, talqinlari va tadqiqotlari raqamlashtirilgan[8]. Shu nuqtayi nazardan, xalq og‘zaki badiiy ijodiyotini ilmiy asosda tizimlashtirish, ularni raqamli muhitga o‘tkazish va zamonaviy tabiiy tilni qayta ishlash (NLP) hamda mashinaviy o‘rganish (ML) usullaridan foydalanib tahlil qilish bugungi kunning dolzarb masalalaridan biriga aylanmoqda. Bu jarayon bir tomondan, xalq og‘zaki ijodining boy manbalarini zamonaviy ilmiy usullar orqali chuqurroq o‘rganish imkonini bersa; ikkinchi tomondan, uni xalqaro ilmiy hamjamiyat uchun ochiq va qulay shaklda taqdim etadi[6]. Rasm 1. „Folklor asarlarini saqlash va tahlil qilish usullarining tarixiy evolyusiyasi: og‘zaki an’ana → yozma manba → raqamli korpus“ 1-rasmda folklor asarlarni saqlash va tahlil qilish usullarining tarixiy evolyusiyasi: og‘zaki an’ana → yozma manba → raqamli korpus aks etgan.Ushbu diagrammada xalq og‘zaki ijodining tarixiy bosqichma-bosqich rivojlanishi ko‘rsatilgan. Dastlab folklor og‘zaki ijro shaklida mavjud bo‘lib, u ijrochidan tinglovchiga xotira asosida uzatilgan va mazmunan variantlilik hamda improvizatsiyaga boy bo‘lgan. Keyingi bosqichda yozma manbalar paydo bo‘lib, to‘plash va nashrlar, filologik tahrir va arxivlash ishlari folklorni tizimlashtirishda muhim qadam bo‘lgan. So‘nggi davrda esa folkloriy merosni saqlash va tahlil qilishda raqamli texnologiyalar asosiy rolni egallay boshladi. Raqamli korpuslar yordamida matnlar raqamlashtiriladi, metama’lumotlar yaratiladi, NLP va mashinaviy o‘rganish texnologiyalari qo‘llanadi. Natijada folkloriy manbalar nafaqat saqlanadi, balki ular ustida avtomatik annotatsiya, mavzularni aniqlash, semantik 8 tahlil va kross-lingvistik tadqiqotlarni olib borish imkoniyati yuzaga keladi. Bu esa xalqaro miqyosda folklorni chuqur va tizimli o‘rganishning yangi bosqichini ifodalaydi. Hozirgi kunda folkloriy tadqiqotlarda bir qancha muammolar mavjud bular: A) Folklor matnlarining dialectal xilma-xilligi va leksik variativligi; B) Avtomatik tarjima va semantic izchillik muammolari; S) Strukturaviy va janrli klassifikatsiyaning murakkabligi; D) Ochiq va standartlashtirilgan folklore korpuslarining yetishmasligi [2]. Bu muammolarni hal etishda NLP va ML vositalari muhim rol o‘ynaydi. Masalan: Avtomatik annotatsiya – matnlardan asosiy birliklarni (janr, qahramon, motiv) ajratib olish imkoniyatini yaratsa, semantic tahlil – asosiy tushuncha va obrazlar o‘rtasidagi aloqalarni aniqlaydi. Mavzu-model (topic modeling) – folklordagi mavzular va ularning evolyusiyasini aniqlashga xizmat qilsa, Sujet-model – folklor asarlaridagi sujetlar, motivlat ularning genezisi va evolyusiyasini oydinlashtirish imkoniyatini yaratadi. Kross-lingvistik tahlil – turli xalqlar folklorini taqqoslash uchun ko‘p tilli korpuslar yaratishga xizmat qiladi. Jadval 1. „Folklor korpuslarini yaratishda uchraydigan muammolar va NLP/ML asosidagi yechimlar“ Muammo Tavsif NLP/ML orqali yechim Dialektal variativlik Bir xil ertakning turli hududlarda farqli ijrosi Morfologik normalizatsiya, lemmatizatsiya Janr aniqlashdagi qiyinchilik Ertak, rivoyat, afsona o‘xshash shakllarda uchrashi Avtomatik klassifikatsiya (ML algoritmlari) Semantik izchillik Obraz va ramzlarning o‘zgaruvchanligi Semantik tarmoqlar va bilim grafi Korpus yetishmovchiligi Ochiq ma’lumotlar bazasi kamligi Raqamlashtirish va ochiq platformalar yaratish Jadvalda folkloriy tadqiqotlar jarayonida uchraydigan asosiy to‘siqlar va ularni zamonaviy texnologiyalar yordamida bartaraf etish yo‘llari keltirilgan. Masalan, dialektal variativlik folklorning eng muhim xususiyatlaridan biri bo‘lib, bir xil ertak yoki qo‘shiqning turli hududlardagi farqli ko‘rinishlari uchraydi. Bu muammoni yechishda morfologik normalizatsiya va lemmatizatsiya jarayonlari muhim ahamiyat kasb etadi. Shuningdek, janrlarni aniq ajratishdagi murakkabliklar (ertak, rivoyat, afsona) mashinaviy o‘rganishga asoslangan avtomatik klassifikatsiya yordamida samarali hal etilishi mumkin. 9 Yana bir muhim masala — semantik izchillikni ta’minlashdir. Folklor matnlarida obraz va ramzlar turlicha talqin qilinishi natijasida ilmiy tahlilda muayyan qiyinchiliklar paydo bo‘ladi. Bunday hollarda semantik tarmoqlar va bilim grafik asosida qurilgan modellar obrazlar o‘rtasidagi yashirin aloqalarni aniqlash imkonini beradi. Shuningdek, korpus yetishmovchiligi ham dolzarb muammo bo‘lib, ochiq ma’lumotlar bazasining kamligi tadqiqotchilar uchun sezilarli to‘siq tug‘diradi. Ushbu muammoni hal qilish uchun folklor manbalarini raqamlashtirish, ularni ochiq platformalarda joylashtirish va xalqaro ilmiy hamjamiyat uchun qulay tarzda taqdim etish zarur. Xullas, o‘zbek folklor xazinasini elektron arxivlashtirish, maxsus platformalar yaratish, elektron folklor lug‘atlari yaratish, folklor asarlarini matn, audio-vizual formatlarda shakllantirish, bosqichma-bosqich folklor asarlarini raqamlashtirish loyihasini amalga oshirish va folklor korpusini yaratishga erishish orqali globallashib borayotgan zamonning axborot xurujlari, texnik taraqqiyotning milliy qadriyatlarga salbiy ta’siri, folklor asarlarining unitilishiga olib kelishining oldi olinadi. Foydalanilgan adabiyotlar: 1. American Folklore (1980). University of Tennessee Press. 2. Bird, S., Klein, E., & Loper, E. (2009). Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O‘Reilly Media. 3. Simon J. Bronner. Explaining Traditions: Folk Behavior in Modern Culture. Lexington: University Press of Kentucky, 2011. 4. The Study of Folklore (1965). American Folklore Society, New York: Basic Books. 5. Жўраев М. Ўзбек фольклоршунослиги. Монография. – Тошкент: Firdavs-Shoh, 2021.– Б. 3. 6. Jurafsky, D., & Martin, J. H. (2023). Speech and Language Processing (3rd ed.). Draft version, Stanford University. 7. Vansina, J. (2014). Oral Tradition as History. Madison: University of Wisconsin Press. 8. Калевала–Викитека (wikisource.org)