O‘zbek tilidagi yirik ochiq matnli ma’lumotlar korpusi ishlab chiqilib, Hugging Face platformasida ochiq foydalanish uchun joylashtirildi. Bu haqda Raqamli texnologiyalar vazirligi xabar berdi.
Korpus 2025-yil 21-oktabr kuni prezident Shavkat Mirziyoyev raisligida sun’iy intellekt texnologiyalarini joriy etish masalalariga bag‘ishlangan videoselektor yig‘ilishida berilgan topshiriq ijrosi doirasida yaratilgan. O‘shanda davlat rahbari sun’iy intellekt dasturlari samarali ishlashi uchun ular avvalo o‘zbek tilini mukammal tushunishi kerakligini ta’kidlagan edi.
Korpus jami 5,6 million hujjat va 6 milliardga yaqin so‘zni o‘z ichiga oladi. Ma’lumotlar o‘zbek tilining lotin va kirill yozuvlarida jamlangan. Uning tarkibida skanerlangan kitoblar, gazeta va arxiv materiallari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar hamda ochiq Telegram postlari bor.
To‘plangan matnlar maxsus qayta ishlashdan o‘tkazilib, sifati bo‘yicha saralangan, soha va mavzular kesimida tasniflangan. Shaxsiy ma’lumotlar esa maxsus belgilar bilan almashtirilgan.
Hugging Face — sun’iy intellekt modellari va ma’lumotlar to‘plamlarini joylashtirish uchun dunyodagi eng yirik ochiq platformalardan biri. Korpusning u yerda ochiq joylashtirilishi o‘zbek tilini tushunadigan va o‘zbek tilida sifatli matn yarata oladigan sun’iy intellekt modellarini ishlab chiqishni osonlashtiradi.
