O’ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENTAXBOROT TEXNOLOGIYALARI UNIVERSITETI QARSHI FILIALI “KOMPYUTER INJINIRINGI”FAKULTETI 5-BOSQICH KI14-19SIRTQI GURUH TALABASI Samadov Sherzodningning “Ma`lumotlarni intelektual tahlili” FANIDANTAYYORLAGAN Mustaqil ishi Bajardi: SAMADOV SH . Qabulqildi: RUSTAMOV SH Machine Translated by Google Ma'lumotlar qazib olish algoritmlarini parallel bajarish xususiyatlari H.N.Zaynidinov1 , BY. Qarshiev2 1Toshkent axborot texnologiyalari universiteti, Toshkent, O‘zbekiston 2Muhammad al-Xorazmiy nomidagi Toshkent axborot texnologiyalari universiteti Samarqand filiali, Samarqand, O‘zbekiston Izoh. Ushbu maqolada ma'lumotlar qazib olish algoritmlarini (DMA) parallel bajarish xususiyatlari ko'rib chiqiladi. So'nggi bir necha yil ichida hisoblash samaradorligining oshishi ham ko'p yadroli protsessorlarning rivojlanishi, ham klaster tizimlarining, shu jumladan "bulutli" tizimlarning keng tarqalishi bilan bog'liq. Biroq, zamonaviy dasturiy ta'minot apparat vositalaridan sezilarli darajada orqada qoladi va ko'pincha mavjud hisoblash resurslaridan samarasiz foydalanadi. Bu muammo, birinchi navbatda, hisoblash algoritmlarini parallellashtirish vazifasining murakkabligi bilan bog'liq. Afsuski, IAD algoritmlari bundan mustasno emas. Hozirgi vaqtda ushbu sohada etarlicha katta hajmdagi tadqiqotlar olib borilmoqda. IAD sohasida alohida yo'nalishlar aniqlangan (xorijiy adabiyotlarda bu soha DataMining deb ataladi): parallel IAD (ParallelDataMining) va taqsimlangan IAD (DistributedDataMining). Parallel IDA algoritmlari sohasidagi tadqiqotchilarning ko'p harakatlari individual tahlil algoritmlarini parallellashtirish va ularni yanada optimallashtirishga sarflanadi. Vaziyat bu harakatlar muayyan hisoblash muhiti asosida qo'llanilishi bilan yanada og'irlashadi va shuning uchun bunday yechim boshqa sharoitlarga o'tkazilganda u samarasiz bo'ladi. Ishda ma'lumotlar va vazifalar bo'ylab parallellashtirilganda ma'lumotlarni qazib olish algoritmlarining ishlashining o'ziga xos xususiyatlari, dispetcher bilan va dispetchersiz ma'lumotlarni qidirish algoritmining parallel ishlashi va parallel ma'lumotlarni qazib olish algoritmlarida filiallar o'rtasidagi o'zaro ta'sir jarayoni tahlil qilinadi va yoritiladi. Kalit so'zlar. Ma'lumotlarni qazib olish, parallel algoritmlar, asinxron va sinxron almashish, ma'lumotlarni parallellashtirish, vazifalarni parallellashtirish, parallel tarmoqlar, ip, ip dispetcheri, sinxron almashinuv, asinxron almashish, klaster tizimlari. algoritmlarni KIRISH Ma'lumotlarni qazib olish algoritmlari (DMA) katta ma'lumotlar to'plamidan bilimlarni olish uchun mo'ljallangan [1]. Shu bilan birga, olingan bilimlarning eng katta qiymati va ahamiyatsizligi hisoblash parallellashtirish. Afsuski, IAD algoritmlari bundan mustasno emas. Hozirgi vaqtda ushbu sohada etarlicha katta hajmdagi tadqiqotlar olib borilmoqda. IBP sohasida alohida yo'nalishlar aniqlangan: parallel IBP va taqsimlangan IBP [3]. katta miqdordagi ma'lumotlarni tahlil qilishda mumkin. Bu erda tahlilning quyidagi asosiy muammolarini hisobga olish kerak: unumdorlik - katta hajmlarni tahlil qilish (terabaytlarda o'lchanadi) katta hisoblash resurslarini talab qiladi va tahlilchi uchun nomaqbul vaqt ichida yakunlanishi mumkin; tarqatish ma'lumotlarning katta hajmi tufayli ma'lumotlarni saqlash taqsimlangan saqlashda amalga oshirilishi mumkin, bundan 1. MA'LUMOTLAR BO'YICHA VA TOPSHIRIQ BO'YICHA PARALLEL QILISHDA AKLI TAHLIL ALGORITMMINI ISHLATISH. tashqari, ma'lumotlarning tabiatiga ko'ra ular turli manbalarda saqlanishi mumkin. Ushbu ikkala muammoni IAD ning parallel va/ yoki taqsimlangan bajarilishi orqali hal qilish mumkin. Har qanday parallel algoritm bo'lishi kerak parallel bajaruvchi shoxlar aniq ajratilgan [4, 13]. Bunday filiallarni bajarishdan oldin, bir nechta filiallarning parallel ishlashiga imkon berish uchun tayyorgarlik bosqichlarini bajarish kerak: • filiallar tashkil etish; So'nggi bir necha yil ichida hisoblash samaradorligining oshishi ham ko'p yadroli protsessorlarning rivojlanishi, ham • ularni qayta ishlash uchun ma'lumotlar, algoritmni bajarish parametrlari va modelning joriy holati bilan ishga tushirish; klaster tizimlarining, shu jumladan "bulutli" tizimlarning keng ta'minot apparat vositalaridan sezilarli darajada orqada qoladi va • algoritm tarmoqlarini ularning bajarilish vositalariga (iplar, aktyorlar, agentlar va boshqalar) ko'ra taqsimlash. ko'pincha mavjud hisoblash resurslaridan samarasiz foydalanadi. Bu muammo birinchi navbatda vazifaning murakkabligi parallellashtirishni ta'minlaydigan operatsiya qo'shiladi - bo'linish. bilan bog'liq. Parallel novdalar bajarilgandan so'ng, bitta natijani ta'minlaydigan tarqalishi bilan bog'liq [2, 13, 14]. Biroq, zamonaviy dasturiy Shu munosabat bilan, algoritm tuzilishiga bunday operatsiya bajarilishi kerak [5]. © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 83 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru • bajarilgan shoxchalarni sinxronlashtirish IAD algoritmlari uchun ikkinchi parallellashtirish usuli eng mos keladi, algoritm; Nima xuddi shu • natijalarni birlashtirish. hisobga olib, Buning uchun algoritm tuzilishiga qo'shish amali qo'shiladi. turli ma'lumotlarga nisbatan qo'llaniladi. Biroq, bu mumkin emas operatsiyalar vazifalarni parallellashtirishni istisno qiling. Algoritmlarni parallellashtirishning ikki turi mumkin [6]: Algoritmning har bir bosqichi (shu jumladan ma'lumotlarni ma'lumotlarga asoslangan va vazifaga asoslangan. Ma'lumotlarni tayyorlash) alohida protsessorda (kompyuterda) bajarilganda parallellashtirishda har bir filial turli xil ma'lumotlarga qo'llaniladigan parallelizmning quvur liniyasi modelidan foydalanish mumkin (1- bir xil qadamlar ketma-ketligini o'z ichiga oladi. Vazifalar bo'ylab rasm ). Bunday holda, ma'lumotlar manbadan qismlarga bo'linadi parallellashganda, filiallar bo'ladi va ularni qayta ishlash natijasi keyingi protsessorga o'tkaziladi. turli ketma-ketlikni o'z ichiga oladi qadamlar. Guruch. 1. Tahlil algoritmining quvur liniyasi modeli Ikkala holatda ham algoritm tuzilishiga ajratish va qo'shish amallari qo'shilishi kerak ( 2-rasm) [7]. Ma'lumotlarga asoslangan IDA algoritmini parallellashtirishda bo'linish operatsiyasi quyidagi Vazifalar bo'yicha IAD algoritmini parallellashtirganda, bo'linish operatsiyasi quyidagilarni bajarishi kerak: • parallel shoxchalar yaratish; • ularni amalga oshirish tartibini belgilash (ko'rsating amallarni bajaradi: har bir keyingi filialga havolalar); • algoritmning bir xil tarmoqlarini yaratish (asosiy tarmoqni klonlash); • ma'lumotlar to'plamiga, bajarish sozlamalariga va qurilayotgan bilim modeliga havolalarni birinchi filialga o'tkazish; • ma'lumotlar to'plamini taqsimlash, bajarish sozlamalari va har bir filial uchun qurilayotgan bilim modeli; • algoritmni bajarishni boshlash. Qo'shilish operatsiyasi zanjirdagi oxirgi filialdan barcha • maqsad filiallari aniq ijro etuvchisi; natijalarni olishi va ularni birlashtirishi kerak (mohiyatida, quvur liniyasidagi yakuniy operatsiyani bajarish). • bajarish uchun parallel shoxchalarni ishga tushirish. Ma'lumotlarni parallellashtirishda qo'shilish operatsiyasi iplarni sinxronlashtirishi va ular yaratgan bilim modellarini birlashtirishi kerak. © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 84 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru a b Guruch. 2. Algoritmlar tuzilmasida operatsiyalarni bo‘lish va qo‘shish (a – ma’lumotlar bo‘yicha parallellashtirishda, b – vazifalar bo‘yicha parallellashtirishda) mustaqil iplar bilan parallellashtirish va dispetcher ip bilan 2. ALGORITMNING PARALLEL ISHLATISHI DISPATCHER BILAN VA ISHLAB CHIQISHI AKLI TAHLIL Parallel algoritmlarni bo'ysunishiga qarab ham tasniflash mumkin parallellashtirish. Mustaqil iplar bilan parallellashtirishda algoritm shoxlarini (iplarni) parallel bajarish uchun barcha ishlov beruvchilar teng va mustaqildir. Ma'lumotlar va vazifalar parallelligi uchun bunday algoritmlarning tuzilishi rasmda keltirilgan . 3. parallel shoxlar [8]. Siz tanlashingiz mumkin Guruch. 3. Dispetcher ipi bilan parallel algoritm tuzilishi (a – ma’lumotlarni parallellashtirish uchun, b – vazifani parallellashtirish uchun) Parallel IDA algoritmining har bir mustaqil bo'limi bajarilishini boshlashdan oldin zarur bo'lgan hamma narsani olishi kerak: ma'lumotlar to'plami, bajarish sozlamalari va bilim modeli. Keyinchalik boshlashadi va tugashini kutishadi. Bu yuqorida aytib o'tilganidek, bo'linish operatsiyasi bilan amalga oshiriladi. Ishga tushgandan so'ng, har bir ip mustaqil ravishda ishlaydi. Tugatgandan keyin © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 85 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru barcha iplarning ishi qo'shilish bloki yordamida olingan natijalarni birlashtiradi. Dispetcher ipi bilan parallellashtirishning o'ziga xos xususiyati shundaki, qolgan iplarni boshqaradigan bitta etakchi ip ajratiladi. Boshqaruv, masalan, taqsimlashdan iborat bo'lishi mumkin 3. PARALLEL HAQIDA O'ARO TA'KSION Intellektual tahlil ALGORITMMLARI Ajratib turadigan yana bir xususiyat bir-biridan parallel algoritmlar hisoblanadi parallel tarmoqlar o'rtasida axborot almashinuvining mavjudligi yoki yo'qligi. Har qanday almashinuv ikki bosqichga bo'linadi: ÿ xabarni tayyorlash va jo'natish; bog'liq oqimlar orasidagi ma'lumotlar. Bunday algoritmning tuzilishi rasmda ko'rsatilgan . 3. Bo'lish va qo'shilish operatsiyalari o'rtasida asosiy tarmoq ajratiladi - - xabarni qabul qilish va qayta ishlash. Shunday qilib, parallel algoritmda xabarlarni jo'natish uchun dispetcher ipi. Ushbu tuzilma bilan dispetcher ipi qanday harakatlarni bajarishiga qarab, ajratish operatsiyasi ba'zi farqlarga ega bo'lishi mas'ul bo'lgan ikki turdagi operatsiyalar bajarilishi kerak: ÿ jo'natish – jo'natish, u xabarni tayyorlaydi va mavjud uzatish tashuvchisi orqali jo'natadi; mumkin. Masalan, u bajarilmaydi ma'lumotlarni taqsimlash, bajarish sozlamalari va ÿ qabul qilish – qabul qilish, xabarni kutish va mavjud xabar har bir filial uchun qurilayotgan bilim modeli, agar bu yetkazib berish vositalaridan foydalangan holda qabul qilish. funktsiya ip boshqaruvchisi tomonidan qabul qilingan bo'lsa. Har qanday holatda, bo'linish operatsiyasi amalga oshiriladi Yuborish operatsiyasining bajarilishi algoritmning umumiy dispetcher oqimini ishga tushirish va ishga tushirish. Bunday algoritm strukturasidagi qo'shilish operatsiyasi, oqimida sodir bo'ladi, ya'ni u oldingi blok tugagandan so'ng shuningdek, dispetcher ipining vazifalariga qarab, bajariladigan darhol bajariladi va u tugagandan so'ng (xabar jo'natiladi) harakatlar tarkibini o'zgartirishi mumkin. Shunday qilib, agar boshqaruv undan keyingi blokga o'tadi (1- rasm). 4). dispetcher ipi oraliq va yakuniy natijalarni birlashtirsa, u holda qo'shilish operatsiyasi faqat filiallarni sinxronlashtiradi va keyingi blokni boshlaydi. Boshlash Boshlash Split() … Split() … … Xabar Yuborish Kutish … Xabar Kutish yuboradi h Oling Oling … … Xabar Kutish … Yuborish qo'shilish() Oxiri Oling … … qo'shilish() a Oxiri b Guruch. 4. Parallel algoritm tuzilishidagi jo‘natuvchi va qabul qiluvchi bloklar: a – asinxron almashinuv, b – sinxron almashinuv © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 86 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru Yuboruvchidan farqli o'laroq, qabul qilish operatsiyasi xabar kelguncha kutadi, ya'ni oldingi blokni bajargandan so'ng, u bilim. Sozlamalar va ma'lumotlar qoladi algoritmlarni bajarishda o'zgarmaydi xabar qabul qilinmaguncha pauza qiladi. Qabul qilingan xabarni tahlil. Shunday qilib, o'rtasidagi almashinuv ishlash parallel ketma-ketliklar qayta ishlagandan so'ng, ketma-ketlik davom etadi. Ma'lumki, axborot yugurish Faqat bilim modeli funktsional bloklarga bo'ysunadi. almashinuvi asinxron va sinxron bo'lishi mumkin [9]. Asinxron shovqin bilan , xabar yuborilgandan so'ng, bajarish jarayoni davom etadi va javob istalgan vaqtda olinishi yoki umuman olinmasligi IAD algoritmlari xabar almashish vazifasiga duch keladigan quyidagi tipik vaziyatlarni ko'rib chiqaylik: mumkin (4-rasm, a). Sinxron bilan 1. parallel bajaruvchi shoxlar o'rtasida manba ma'lumotlarini taqsimlash algoritm; 2. ular uchun olingan bilim modellari to'plami almashish, jo'natuvchi xabar yuborgandan so'ng, javob olguncha yagona natijani birlashtirish va taqdim etish; kutish holatiga o'tadi (4-rasm, b). 3. keyingi tahlilni to'g'rilash uchun filiallar o'rtasida oraliq natijalarni (bilim modellari) almashish. IAD algoritmlarining individual funktsional bloklarining xatti-harakati quyidagilarga bog'liq: boshlang'ich ma'lumotlar, bilim modeli va blokga o'tkazilgan sozlamalar [10]. Bunday holda, blokni bajarish jarayonida faqat model o'zgarishi mumkin Birinchi holatda (5-rasm) jo'natuvchi blok ma'lumotlar to'plami vektorlarini taqsimlaydi parallel ishlaydigan iplar ichki algoritmga muvofiq. Boshlash Split() Yuborish Kutish Vektor Vektor Kutmoq hisoblanadi Oling Oling … … qo'shilish() Oxiri Guruch. 5. Algoritmning parallel bajaruvchi shoxlari o'rtasida manba ma'lumotlarini taqsimlash Ushbu blok dispetcher ipida bajarilishi kerak. Shu bilan birga, tegishli bo'lgan va shunga qarab tegishli filialga o'tkazadi qolgan oqimlar keyingisini olgandan keyin amalga oshiriladi vektor. Shunday qilib, tasvirlangan vaziyatda asinxron xabar almashinuvi qo'llaniladi. algoritm. Olingan natijalarni yig'ishda ( 6-rasm) har bir ip olingan natijalarni ip boshqaruvchisiga yuboradi, u ularni umumlashtiradi va bitta natijani taqdim etadi. Bunday holda, dispetcher ipi holatda Ta'riflangan vaziyatga misol Naive Base algoritmini parallellashtirishdir [11], bunda har bir parallel shoxcha sinf uchun Bayes ehtimolligini hammadan natija kutish hisoblaydi. Yuboruvchi blok, alohida bajaruvchi dispetcher ipi, ish zarralari va faqat barcha ish zarralaridan natijalar olganida, u ularni qayta ishlaydi. Bunday holda, asinxron xabar almashinuvi V ham sodir bo'ladi. keyingi vektor uchun k sinfini aniqlaydi © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 87 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru Boshlash Split() … … … Yuborish Yuborish Model Model Kutmoq hisoblanadi Oling qo'shilish() Oxiri 6- rasm. Olingan modellarni integratsiya qilish va yagona natijani taqdim etish uchun to'plash Yuqoridagi stsenariyning misoli Naive Base algoritmi bo'lishi Bunday holda, qabul qiluvchi yuborilgan xabarga javob kutmaydi, mumkin, unda: balki istalgan vaqtda boshqa ip tomonidan yuborilishi mumkin parallel ravishda ishlaydigan shoxlar, qurish bo'lgan ma'lumot (va birinchi ipdan xabar olishdan oldin). Bunday ularga o'tkazilgan vektorlarni qayta ishlashda alohida sinflar holda, ipning bajarilishi faqat qabul qilingandan keyin davom etadi uchun bilim modellari [12]. Barcha vektorlarni qayta ishlagandan so'ng, barcha filiallar o'zlari yaratgan bilim modellarini (har bir sinf dan hamma uchun) ip dispetcheriga uzatadilar. U bilim modellarini yagona oraliq natijalar natijaga birlashtiradi parallel iplar (shu jumladan o'zingizning natijangizni olganingizdan keyin). tahlil. Oraliq natijalar almashinuvi sharoitida (7-rasm) har bir ip Bu holatga misol sifatida tasniflash qoidalarini C4.5 [1] tuzish algoritmini keltirish mumkin, bunda har bir parallel bo'lim o'zi oraliq natijani hosil qilgandan so'ng, uni boshqa iplarga yuboradi. tomonidan aniqlangan ma'lumotlar to'plami asosida atributlarning Da axborot mazmunini hisoblab chiqadi. Bunday holda, atribut ma'lumotlari tarkibining hisoblangan qiymatlarini algoritm barcha oraliq oqimlardan qabul qilish tarmoqlari o'rtasida almashish mumkin. Axborotni olishni hisobga natijalar, har bir ip ularni qayta ishlaydi va bajarishni davom ettiradi. Shuni ta'kidlash kerakki, har bir oqimda bir qator olgan holda, har bir filial butun ma'lumotlar to'plami uchun eng informatsion atributniKaenyiiqnlaydi va bquanriohrilsaorbga olgan holda jo'natuvchi-qabul qiluvchi bloklari mavjudligiga qaramay, bu daraxtini quradi. almashinuv sinxron emas, chunki unda © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 88 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru Boshlash Split() … … yuboradi Yuborish Kutish Oling … Model Model h Yuborish Model Kutish Model Model Kutish Model Oling Oling … … … qo'shilish() Oxiri Guruch. 7. Keyingi tahlilni to'g'rilash uchun filiallar o'rtasida oraliq natijalar (bilim modellari) almashinuvi XULOSA Shunday qilib, IDA algoritmlarini parallel ravishda bajarishda quyidagilarni hisobga olish kerak: qismlarga ajratib olinadi va ularni qayta ishlash natijasi keyingi protsessorga o'tkaziladi. Parallelizatsiya bilan farqlash mumkin bilan mustaqil iplar va parallellashtirish dispetcher ipi. Mustaqil iplar bilan parallellashtirishda algoritm shoxlarini (iplarni) parallel bajarish uchun barcha ishlov beruvchilar ÿ ma’lumotlarga asoslangan algoritmlarni parallellashtirish va teng va mustaqildir. O'ziga xos xususiyat vazifa bo'yicha ÿ algoritmni dispetcher bilan parallellashtirish va dispetchersiz ÿ parallel algoritmlarda axborot almashish parallellashtirish bilan dispetcher ipi qolgan iplarni boshqaradigan bitta yetakchi ip ajratiladi. Boshqaruv, masalan, qaramlar o'rtasida ma'lumotlarni Ma'lumotlarni parallellashtirishda har bir filial bir xil ketmaketlikni o'z ichiga oladi turli ma'lumotlarga taalluqli qadamlar. Vazifalar bo'ylab parallellashganda, filiallar bo'ladi turli ketma-ketlikni o'z ichiga oladi qadamlar. Turli ma'lumotlarga bir xil operatsiyalarni qo'llashni ko'rib chiqsak, birinchi parallellashtirish usuli IDA algoritmlari uchun eng mos keladi degan xulosaga kelishimiz mumkin. Biroq, taqsimlashdan iborat bo'lishi mumkin oqimlar Axborot almashinuvi asinxron va sinxron bo'lishi mumkin. Asinxron aloqada, xabar yuborilgandan so'ng, bajarish jarayoni davom etadi va javob istalgan vaqtda olinishi yoki umuman bo'lmasligi mumkin. Sinxron almashinuvda jo'natuvchi xabar yuborib, javob olguncha kutish holatiga o'tadi. vazifalar bo'yicha parallelizatsiyani istisno qilib bo'lmaydi. Algoritmning har bir bosqichi alohida protsessorda bajarilganda parallelizmning quvur liniyasi modelidan foydalanish mumkin. Bunday holda, manbadan olingan ma'lumotlar ADABIYOT [1] Ma'lumotlar va jarayonlar tahlili: Darslik. universitetlar uchun qo'llanma. 3-nashr. / A. A. Barseghyan [va boshq.] - SanktPeterburg: BHV-Peterburg, 2009. - 512 p. © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 89 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru [2] M.S. Kupriyanov, I.I. Xolod, Z.A. Qarshiev, I.A. Golubev / Tarqalgan tizimlarda ma'lumotlarni qazib olish. Monografiya. – Sankt-Peterburg: Sankt-Peterburg elektrotexnika universiteti nashriyoti "LETI", 2012. 110 b. [3] Karpov V. E. Algoritm va dasturlarni parallellashtirishga kirish / V. E. Karpov // Kompyuter tadqiqotlari va modellashtirish. 2010 yil, - T. 2, No 3, - S. 231–272. [4] Mikov A. I., Zamyatina E. B. Tarqalgan tizimlar va algoritmlar: O'quv qo'llanma. nafaqa M.: BINOM. Bilimlar laboratoriyasi, 2007 yil. [5] Starichenko, B. E. Informatikaning nazariy asoslari: Universitetlar uchun darslik / B. E. Starichenko - 2-nashr. qayta ishlangan va qo'shimcha – M.: Ishonch telefoni Tele-com, 2003. – 312 b. [6] Stolyarov L.N., Abramov V.M. Informatika fanining boshlanishi. Vazifadan dasturga / L.N. Stolyarov, V.M. Abramov - M.: MAKET nashriyoti, 2007. - 120 b. [7] Karpov V. E. Algoritm va dasturlarni [14] H.N. Zaynidinov, G.O. Tojiboev, O.U. Mallaev. ko'p yadroli protsessorlarda seysmik signallar uchun parallel algoritmlarni qayta ishlash. Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2018 yil, No 1 (23), Novosibirsk, Rossiya, 89–95-betlar. [15] Hakimjon Zaynidinov, Akbarali Rasulov. Shaxsiy kompyuterlar klasterida parallel dasturni ishlab chiqish. Konvergentsiya axborot texnologiyalari jurnali (JCIT), jild. 9, ÿ 5, bet. 1-5, 2014, Janubiy Koreya. http://www.aicit.org/jcit/global/ppl.html? jname=JCIT Hakimjon Nasiridinovich Zaynidinov - shifokor texnik fanlar, professor, Toshkent universiteti axborot texnologiyalari kafedrasi parallellashtirishga kirish / V. E. Karpov // Kompyuter tadqiqotlari va modellashtirish. - mudiri 2010, – T. 2, 3-son, – B. 231–272. [8] Amol G., Prabhanjan K., Edvin P., Ramakrishnan K. NIMBLE: MapReduce-da parallel ma'lumotlar qazib olish va mashinani o'rganish algoritmlarini amalga oshirish uchun asboblar to'plami. Bilimlarni kashf qilish va ma'lumotlarni qazib olish bo'yicha 17-ACM SIGKDD xalqaro konferentsiyasi materiallari (KDD'11), San-Diego, Kaliforniya, AQSh, 21-24 avgust, 2011 yil. P. 334-342. [9] Amado N., Gama J., Silva F. Qaror daraxti induksiyasida parallellikdan foydalanish. Mashinani o'rganish uchun sayt Muhammad Xorazmiyning olish Elektron pochta: tet2001@rambler.ru Zaynidin Abduvalievich Qarshiev – fan nomzodi, parallel va taqsimlangan hisoblashda. Kavtat-Dubrovnik, Xorvatiya. 2003 yil. texnik [10] Andrade H., Kurc T., Saltz J., Sussman A. Umumiy xotira multiprotsessorlari klasterlarida ma'lumotlarni qazib olish uchun qaror daraxtini qurish. Yuqori samarali ma'lumotlarni qazib olish: keng tarqalgan va ma'lumotlar oqimini qazib olish bo'yicha 6-xalqaro seminarda (HPDM: PDS'03). shahar Toshkent filiali “Kompyuter tizimlari” kafedrasi dotsenti. Muhammad alXorazmiy nomidagi axborot San-Fransisko, CA. 2003 yil. [11] Caragea D. Taqsimlangan, semantik jihatdan heterojen, avtonom ma'lumotlar manbalaridan tasniflagichlarni o'rganish. Doktorlik dissertatsiyasi, Ayova shtati universiteti. 2004 yil. [12] Hall OL, Chawla N., Bowyer WK Taqsimlangan ma'lumotlardan o'rganish qoidalari. Katta o'lchamli parallel KDD tizimlari (KDD99) bo'yicha seminarda. Shuningdek, RPI, CS Dep. Tech. Hisobot 99-8. 1999. S. 77–83. [13] Samatova NF, Ostrouchov G., Al Geist, Melechko AV Rachet: Tarqatilgan ma'lumotlar to'plamlaridan klaster ierarxiyasini samarali qopqoq asosida birlashtirish. nomi axborot texnologiyalari. nomi texnologiyalari universiteti. E-mail: zaynidin85@gmail.co m Qarshiev Zaynidin Abduvaliyevich Maqola 02/11/2020 olindi Tarqatish. Parallel ma'lumotlar bazalari, 11(2). 2002. B. 157–180. Ma'lumotlarni qazib olish algoritmlarini parallel bajarish xususiyatlari X.N. Zaynidinov1 , Z.A.Qarshiev2 1 Toshkent axborot texnologiyalari universiteti, Toshkent, O‘zbekiston 2Muhammad al-Xorazmiy nomidagi Toshkent axborot texnologiyalari universiteti Samarqand filiali, Samarqand, O‘zbekiston Abstrakt. Ushbu maqolada ma'lumotlar qazib olish algoritmlarini (IAD) parallel bajarish xususiyatlari ko'rib chiqiladi. So'nggi bir necha yil ichida kompyuter texnologiyalari samaradorligining oshishi ham ko'p yadroli protsessorlarning rivojlanishi, ham klaster tizimlarining, shu jumladan bulutli tizimlarning keng tarqalishi bilan bog'liq. Biroq, zamonaviy dasturiy ta'minot apparat vositalaridan sezilarli darajada orqada qoladi va ko'pincha taqdim etilgan hisoblash resurslaridan samarasiz foydalanadi. Bu muammo, birinchi navbatda, hisoblash algoritmlarini parallellashtirish vazifasining murakkabligi bilan bog'liq. Afsuski, IAD algoritmlari bundan mustasno emas. Hozirgi vaqtda ushbu sohada juda ko'p miqdordagi tadqiqotlar olib borilmoqda. IAD sohasidagi alohida yo'nalishlar ta'kidlangan (xorijiy adabiyotlarda bu soha DataMining deb ataladi): parallel IAD (ParallelDataMining) va taqsimlangan IAD © Automatics & Software Enginery. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 90 Machine Translated by Google © Avtomatlashtirish va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1(31) http://www.jurnal.nips.ru (DistributedDataMining). Parallel IAD algoritmlari sohasidagi tadqiqotchilarning ko'p harakatlari individual tahlil algoritmlarini parallellashtirish va ularni yanada optimallashtirishga sarflanadi. Vaziyat bu harakatlar ma'lum bir hisoblash muhiti asosida qo'llanilishi bilan yanada og'irlashadi va shuning uchun bunday yechim boshqa sharoitlarga o'tkazilganda u samarasiz bo'ladi. Maqolada ma'lumotlar va vazifalarni parallellashtirishda ma'lumotlarni qidirish algoritmlari ishlashining o'ziga xos xususiyatlari, dispetcher bilan va dispetchersiz ma'lumotlarni ta hlil qilish algoritmining parallel ishlashi va parallel ma'lumotlarni qazib olish algoritmlarida filiallar o'rtasidagi o'zaro ta'sir jarayoni tahlil qilinadi va yoritiladi. Kalit so'zlar. Ma'lumotlarni qidirish, parallel algoritmlar, asinxron va sinxron almashinuv, ma'lumotlarni parallellashtirish, vazifa parallellashtirish, parallel shoxchalar, ip, dispetcher ipi, sinxron almashinuv, asinxron almashinuv, klaster tizimlari. ADABIYOTLAR [1] Analiz dannykh i protsessov: Ucheb. posobiye dlya vuzov. 3nashr / AA Barsegyan [i dr.] – SPb.: BKHV-Peterburg, 2009. – 512 b. [2] Intellektual tahlil dannyx v raspredelennykh sistemax / MS Kupriyanov [i dr.] - SPb.: Izd-vo SPbGETU “LETI”, 2012. 110 s. [3] Karpov V. Ye. Vvedeniye v rasparallelivaniye algoritmov i programm / V. Ye. Karpov // Komp'yuternyye issledovaniya i modelrovaniye. 2010, – T. 2, ÿ 3, – S. 231–272. [4] Mikov A.I., Zamyatina Ye. B. Taqsimlangan tizimlar va algoritmlar: Ucheb. posobiye. M.: BINOM. Laboratoriya znaniy, 2007 yil. [5] Starichenko, B. Ye. Teoreticheskiye osnovy informatiki: Uchebnoye posobiye dlya vuzov / B. Ye. Starichenko - 2-nashr. pererab. men dopman. – M.: Goryachaya liniya - Tele-kom, 2003. – 312 s. [6] Stolyarov L.N., Abramov VM Nachala informatika. Zadachi k pro-grammasidan / LN Stolyarov, VM [12] Hall OL, Chawla N., Bowyer WK Taqsimlangan ma'lumotlardan o'rganish qoidalari. Katta o'lchamli parallel KDD tizimlari (KDD99) bo'yicha seminarda. Shuningdek, RPI, CS Dep. Tech. Hisobot 99-8. 1999. S. 77–83. [13] Samatova NF, Ostrouchov G., Al Geist, Melechko AV Rachet: Tarqatilgan ma'lumotlar to'plamlaridan klaster ierarxiyasini samarali qopqoq asosida birlashtirish. Tarqatish. Parallel ma'lumotlar bazalari, 11(2). 2002. B. 157–180. [14] X.N. Zaynidinov, G.O.Tojiboyev, O.U Mallayev. Parallel'nyye algoritmy obrabotki seysmicheskix signalov va mnohoyadernykh protsessorah. Avtomatika i programmnaya inzheneriya. 2018 yil, No 1 (23), g. Novosibirsk, Rossiya, S. 89–95. [15] Hakimjon Zaynidinov, Akbarali Rasulov. Shaxsiy kompyuterlar klasterida parallel dasturni ishlab chiqish. Konvergentsiya axborot texnologiyalari jurnali (JCIT), jild. 9, ÿ 5, b. 1-5, 2014, Janubiy Koreya. http://www.aicit.org/jcit/global/ppl.html?jname=JCIT Abramov – M.: Izd-vo MAKET, 2007. – 120 s. [7] Karpov V. Ye. Vvedeniye v rasparallelivaniye algoritmov i programm / V. Ye. Karpov // Komp'yuternyye issledovaniya i modelirovaniye. 2010, – T. 2, ÿ 3, – S. 231–272. Xakimjon Nasriddinovich Zaynidinov – texnika fanlari doktori, professor, Muhammad alXorazmiy nomidagi Toshkent axborot texnologiyalari universiteti Axborot texnologiyalari kafedrasi mudiri. [8] NIMBLE: MapReduce’da parallel ma’lumotlar qazib olish va mashinani o‘rganish algoritmlarini amalga oshirish uchun asboblar to‘plami. Bilimlarni kashf etish va ma'lumotlarni qazib olish bo'yicha 17-ACM SIGKDD xalqaro konferentsiyasi materiallari (KDD'11), San-Diego, Kaliforniya, AQSh, 21-24 avgust, 2011 yil. P. 334342. Elektron pochta: tet2001@rambler.ru Zaynidin Abduvaliyevich Qarshiev – texnika fanlari nomzodi, Muhammad [9] Amado N., Gama J., Silva F. Qaror daraxti induksiyasida parallellikdan foydalanish. Mashinani o'rganish uchun parallel al-Xorazmiy nomidagi Toshkent va taqsimlangan hisoblashda. Kavtat-Dubrovnik, Xorvatiya. 2003 yil. axborot texnologiyalari universiteti Samarqand filiali “Kompyuter tizimlari” kafedrasi dotsenti.E-mail: [10] Andrade H., Kurc T., Saltz J., Sussman A. Umumiy xotira multiprotsessorlari klasterlarida ma'lumotlarni qazib olish uchun qaror daraxtini qurish. Yuqori samarali ma'lumotlarni qazib olish: keng tarqalgan va ma'lumotlar oqimini qazib olish bo'yicha 6-xalqaro seminarda (HPDM: PDS'03). San-Fransisko, CA. 2003 yil. [11] Caragea D. Taqsimlangan, semantik jihatdan heterojen, avtonom ma'lumotlar manbalaridan tasniflagichlarni o'rganish. Doktorlik dissertatsiyasi, Ayova shtati universiteti. 2004 yil. zaynidin85@gmail.com Hujjat 11.02.2020 da qabul qilingan © Avtomatika va dasturiy ta'minot muhandisligi. 2020 yil, ÿ 1 (31) http://jurnal.nips.ru/en 91