TIL KORPUSI ASOSIDA UNIGRAM, BIGRAM, VA TRIGRAM MODELLARINI ISHLAB CHIQISH
Ahmedova M. Q.
Annotatsiya
Ushbu maqolada tabiiy tilni qayta ishlash (Natural Language Processing – NLP) sohasida keng qo‘llaniladigan unigram, bigram va trigram modellarining nazariy va amaliy jihatlari tahlil qilinadi. Til korpusi asosida tuzilgan bu statistik modellar so‘zlar ketma-ketligini aniqlash, matnni tahlil qilish muhim rol o‘ynaydi. N-gram modellarining ehtimollik asosidagi ishlash mexanizmi, bayon etiladi. Har bir modelning afzalliklari va cheklovlari ko‘rib chiqilib, real til korpusi asosida olingan natijalar orqali ularning samaradorligi baholanadi.
Adabiyotlar
- Elov B., Xudayberganov N., Primova M., Oʻzbek tili matnlari uchun unigramtil modelini ishlab chiqish: muammo va yechimlar. – Toshkent: Raqamli Transformatsiya va Sun’iy Intellekt ilmiy jurnali. 2024. – 130-132 b.
- Elov B., Alayev R., Abdullayev A., Aloyev N., Yuqori n-gram modellarini o‘zbek tili matnlariga qoʻllash. – Toshkent: Raqamli Transformatsiya va Sun’iy Intellekt ilmiy jurnali. 2024
- Christopher D. Manning, Hinrich Schütze. Foundations of Statistical Natural Language Processing.
- Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. Journal of Machine Learning Research, 3(Feb), 1137–1155.
- Chen, S. F., & Goodman, J. (1998). An Empirical Study of Smoothing Techniques for Language Modeling. Technical Report, Harvard University.
- Jurafsky, D., Martin, J. H. Speech and Language Processing. Pearson Education. 2008
- Manning, C. D., & Schütze, H. (1999). Foundations of Statistical Natural Language Processing.