TIL KORPUSI ASOSIDA UNIGRAM, BIGRAM, VA TRIGRAM MODELLARINI ISHLAB CHIQISH

Ahmedova M. Q.


Annotatsiya

Ushbu maqolada tabiiy tilni qayta ishlash (Natural Language Processing – NLP) sohasida keng qo‘llaniladigan unigram, bigram va trigram modellarining nazariy va amaliy jihatlari tahlil qilinadi. Til korpusi asosida tuzilgan bu statistik modellar so‘zlar ketma-ketligini aniqlash, matnni tahlil qilish muhim rol o‘ynaydi. N-gram modellarining ehtimollik asosidagi ishlash mexanizmi, bayon etiladi. Har bir modelning afzalliklari va cheklovlari ko‘rib chiqilib, real til korpusi asosida olingan natijalar orqali ularning samaradorligi baholanadi.


Adabiyotlar

  1. Elov B., Xudayberganov N., Primova M., Oʻzbek tili matnlari uchun unigramtil modelini ishlab chiqish: muammo va yechimlar. – Toshkent: Raqamli Transformatsiya va Sun’iy Intellekt ilmiy jurnali. 2024. – 130-132 b.
  2. Elov B., Alayev R., Abdullayev A., Aloyev N., Yuqori n-gram modellarini o‘zbek tili matnlariga qoʻllash. – Toshkent: Raqamli Transformatsiya va Sun’iy Intellekt ilmiy jurnali. 2024
  3. Christopher D. Manning, Hinrich Schütze. Foundations of Statistical Natural Language Processing.
  4. Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. Journal of Machine Learning Research, 3(Feb), 1137–1155.
  5. Chen, S. F., & Goodman, J. (1998). An Empirical Study of Smoothing Techniques for Language Modeling. Technical Report, Harvard University.
  6. Jurafsky, D., Martin, J. H. Speech and Language Processing. Pearson Education. 2008
  7. Manning, C. D., & Schütze, H. (1999). Foundations of Statistical Natural Language Processing.