SNOWBALL ALGORITMI YORDAMIDA O‘ZBEK TILI UCHUN STEMMER YARATISH

Sharipov M. S. & Sattarova S. B.


Annotatsiya

Ushbu ilmiy maqolada o‘zbek tili uchun Snowball algoritmi asosida stemmer, ya’ni so‘z shakllarini asosiy negizga keltiruvchi dasturiy vositani ishlab chiqish masalalari yoritilgan. O‘zbek tilining agglyutinativ tabiati tufayli so‘zlarga ko‘plab qo‘shimchalar qo‘shilishi natijasida murakkab so‘z shakllari yuzaga keladi. Bu esa matnlarni qayta ishlash, xususan, matn qazib olish va tabiiy tilni qayta ishlash jarayonlarida samarali stemmerlash usullarini yaratishni dolzarb vazifaga aylantiradi. Maqolada o‘zbek tilining morfologik xususiyatlari tahlil qilinib, Snowball tilining grammatik imkoniyatlari asosida stemmer yaratish tamoyillari ko‘rib chiqilgan. Shuningdek, ishlab chiqilgan algoritmning samaradorligi tajribalar asosida baholangan. Eksperimental natijalar taklif etilgan yondashuv 73.8% aniqlik ko‘rsatkichiga erishganini va u o‘zbek tilidagi so‘z shakllarini qisqartirish hamda asosiy negizni ajratishda amaliy ahamiyatga ega ekanini ko‘rsatdi.


Adabiyotlar

  1. Snowball Community Project. Snowball: A language for stemming algorithms. — URL: https://snowballstem.org
  2. Abdurakhmonova N., Ismailov A. Sh., Shirinova R. The development of Uzbek stemmer for Uzbek language [O‘zbek tili uchun stemmer ishlab chiqish]. — Ilmiy maqola.
  3. Sharipov M., Yuldashov O. UzbekStemmer: Development of a Rule-Based Stemming Algorithm for Uzbek Language // CEUR Workshop Proceedings. — Vol. 3316. — ISSN 1613-0073.
  4. Bakaev I. I. Development of a stemming algorithm based on a linguistic approach for words of the Uzbek language [O‘zbek tili so‘zlari uchun lingvistik yondashuv asosida stemming algoritmini yaratish]. — Ilmiy maqola.
  5. Qosimova S. F. N-grammga asoslangan stemming algoritmini ishlab chiqish, tatbiq qilish va baholash // Kompyuter lingvistikasi: muammolar, yechim, istiqbollar xalqaro ilmiy-amaliy konferensiyasi materiallari. — Toshkent, 2022.
  6. Al Kafi M. A., Monia R., Banshal S. K. A Task-Oriented Evaluation Framework for Text Normalization in Modern NLP Pipelines // International Journal of Natural Language Processing. — 2023.
  7. Hafizova X. Xalq maqollarining lingvistik tahlili. — Ilmiy maqola.
  8. Mukhammadieva G. Proverbs analysis in Uzbek and English languages. — Ilmiy maqola.