Avval model, keyin agent: Click CIO’si AI avtonomiyasini qanday boshqarishni tushuntirdi

25-avgust kuni Click CIO’si Aleksey Shatilov «Silk Road Finance & Technology Forum 2026» doirasidagi «The Autonomy Paradox — Governing Agentic AI in Regulated Financial Markets & Digital Trust Systems» sessiyasida ishtirok etdi. Muhokamaning asosiy mavzularidan biri moliya sohasida avtonom AI-tizimlarini boshqarish masalasi bo‘ldi. Chunki bu sohada har qanday xato mijozning puli, ma’lumotlari va manfaatlariga ta’sir qilishi mumkin.

Shatilov bu masalaga boshqacha qarashni taklif qiladi: AI-agentga qancha vazifani ishonib topshirish mumkinligini hal qilishdan oldin, u qanday tizim ichida ishlashi va uning vakolatlari qayerda tugashini aniq belgilash kerak.

Muammo avtonomiya darajasida emas

Bugun AI-agentlar haqida gap ketganda, ko‘pincha tezlik va nazorat o‘rtasidagi muvozanat muhokama qilinadi. Tizim qancha ko‘p qarorni mustaqil qabul qilsa, uning ustidan nazoratni yo‘qotish xavfi shuncha yuqori bo‘lib ko‘rinadi. Shu sababli muhim qarorlarda inson ishtiroki, turli limitlar, «sandbox»lar, qo‘shimcha tekshiruvlar va tizimni to‘xtatish imkoniyati kabi choralar qo‘llaniladi.

Ammo bunday yondashuvning bitta muammosi bor: «Qancha avtonomiya xavfsiz?» degan savolga aniq va universal javob yo‘q. Agar inson agentning har bir harakatini tasdiqlashi kerak bo‘lsa, avtonom tizimning asosiy afzalliklari yo‘qoladi. Nazorat yetarli bo‘lmasa esa, tashkilot noto‘g‘ri qaror oqibatlarini muammo yuz berganidan keyin hal qilishiga to‘g‘ri keladi.

Bu qarama-qarshilikning sababi shundaki, nazorat avtonomiyaning ustiga qo‘shimcha mexanizm sifatida qo‘shilmoqda. Aslida esa nazorat agent ishlaydigan muhitning o‘ziga avvaldan kiritilishi kerak.

Tashkilotlar avtonomiyani cheklashni allaqachon biladi

Odamlar bilan ishlashda bu tamoyil anchadan beri mavjud. Xodimga mavhum «ishonch darajasi» belgilanmaydi. Unga aniq vazifa, vakolat, limit va javobgarlik beriladi. Xodim qarorlarni mustaqil qabul qilishi mumkin, lekin uning vakolati qayerda tugashini oldindan biladi.

AI bilan esa vaziyat murakkabroq. Kompaniyadagi qoidalarning katta qismi buyruqlar, reglamentlar, lavozim yo‘riqnomalari va yillar davomida shakllangan ish tartiblarida yozilgan. Inson ularni o‘qib, mazmunini tushuna oladi. Mashina uchun esa bular bevosita bajarilishi mumkin bo‘lgan qoidalar tizimi emas.

Shu sababli, Shatilov fikricha, vazifa faqat AI’ni boshqariladigan qilishdan iborat emas. Tashkilotning o‘zini ham mashina tushuna oladigan tarzda ifodalash kerak.

Nega bu yerda fabrika misoli o‘rinli?

Shatilov AI rivojlanishining bugungi bosqichini fabrikalarning elektrlashtirilishi bilan taqqoslaydi.

Dastlabki fabrikalarda barcha uskunalar bitta bug‘ dvigateli yordamida ishlagan. Dvigatel umumiy val va tasmalar tizimi orqali sexdagi barcha dastgohlarni harakatga keltirgan. Elektr dvigateli paydo bo‘lganda esa, dastlab bug‘ dvigateli shunchaki elektr dvigateliga almashtirilgan, fabrikaning eski tuzilishi esa o‘zgarishsiz qolgan. Natijada katta samara bo‘lmagan.

Haqiqiy o‘zgarish keyinroq — har bir dastgoh o‘z dvigateliga ega bo‘lganda yuz berdi. Ammo Shatilov bu misolda ko‘pincha e’tibordan chetda qoladigan muhim jihatni ta’kidlaydi: umumiy val faqat harakatlantiruvchi mexanizm emas, balki boshqaruv tizimi ham bo‘lgan. U butun sex uchun yagona ish sur’atini belgilagan va ko‘plab jarayonlarni o‘zaro muvofiqlashtirib turgan. Ya’ni alohida dastgoh emas, butun fabrika bir tizim sifatida boshqarilgan.

Har bir dastgoh o‘z motoriga ega bo‘lgach, yangi boshqaruv vositalariga ham ehtiyoj tug‘ildi: alohida o‘chirgich, mas’ul operator va ish rejimi, to‘xtashlar hamda kim aralashgani qayd etiladigan smena jurnali paydo bo‘ldi. Bugungi kompaniyalarda shunday «umumiy val» vazifasini ko‘pincha kelishuv va tasdiqlash jarayonlari bajaradi. Qaror bir necha odam orqali o‘tar ekan, bu zanjir bir vaqtning o‘zida nazorat mexanizmi bo‘lib ham xizmat qiladi.

AI-agent bu zanjirning bir qismini olib tashlash imkonini beradi. Ammo zanjir bilan birga unga o‘rnatilgan muvofiqlashtirish va nazorat mexanizmi ham yo‘qoladi.

Fabrikalar bunga umumiy valni qaytarish yoki har bir dastgoh yoniga nazoratchi qo‘yish bilan javob bermadi. Yechim — o‘chirgich, operator va jurnal bo‘ldi. Shatilov fikricha, AI bilan ishlashda ham xuddi shu tamoyil kerak.

Egasi, chegara va iz

Shatilov taklif qilayotgan model uchta asosiy elementga tayanadi.

Egasi — ma’lum bir turdagi qarorlar uchun javob beradigan aniq inson. Bu bo‘lim yoki departament emas. U agentning har bir harakatini shaxsan tasdiqlashi shart emas. Ammo nima sodir bo‘layotganini ko‘rib turishi va kerak bo‘lsa, qoidalarni o‘zgartira olishi kerak.

Chegara — agent qayergacha mustaqil harakat qilishi va qaysi nuqtadan boshlab qarorni insonga topshirishi kerakligini belgilaydi.

Shatilov bu chegarani model o‘z javobiga qanchalik ishonganiga qarab emas, xatoning mumkin bo‘lgan qiymatiga qarab belgilashni taklif qiladi.

Agar qaror katta miqdordagi pulga, muhim shaxsiy ma’lumotlarga yoki mijoz manfaatlariga jiddiy ta’sir qilishi mumkin bo‘lsa, tizimning yuqori darajadagi ishonchi ham unga to‘liq avtonomiya berish uchun yetarli emas.

Iz esa qaror qabul qilingandan keyin butun jarayonni qayta tiklash imkonini berishi kerak: agent nimani ko‘rdi, qanday ma’lumotlardan foydalandi, bu ma’lumotlar qayerdan olindi va qaror nimaga asoslanib qabul qilindi.

Bu yerda Shatilov muhim farqni ta’kidlaydi: texnik log va iz bir xil narsa emas. Log tizim nima qilganini qayd etadi. Iz esa nima sababdan aynan o‘sha paytda bu harakat to‘g‘ri deb hisoblanganini ko‘rsatishi kerak. Bu farq zarar sabablarini aniqlash kerak bo‘lgan vaziyatlarda ayniqsa muhim. Agar tizimga kirgan ma’lumotlar soxtalashtirilgan bo‘lsa, mukammal texnik log ham noto‘g‘ri qarorning juda aniq bajarilganini ko‘rsatishi mumkin. Faqat shu uchta element — egasi, chegara va iz — birgalikda avtonom qarorni boshqarish imkonini beradi.

Bu moliya sohasida qanday ishlaydi?

Moliya sohasi uchun bu model ayniqsa dolzarb. Odatda operatsiyani qo‘shimcha tasdiqlash autentifikatsiya masalasi sifatida ko‘riladi: tizim insonning shaxsiga shubha qilsa, uni yana bir marta tekshirish kerak. Shatilov yondashuvida esa bu, birinchi navbatda, avtonomiya chegarasi hisoblanadi. Tizim o‘z vakolatining oxirgi nuqtasiga yetdi va qarorni pul egasining o‘ziga qaytaryapti. Bundan muhim amaliy xulosa kelib chiqadi: qo‘shimcha tasdiqlash darajasi algoritmning qanchalik ishonchli ekaniga emas, xatoning qiymatiga bog‘liq bo‘lishi kerak. Masalan, katta miqdordagi operatsiyada tizim qarorning to‘g‘riligiga ishongan taqdirda ham qo‘shimcha tasdiqlash talab qilinishi mumkin. Xuddi shu tamoyil ma’lumotlarga ham tegishli.

Agar muayyan qaror uchun aynan qanday ma’lumotlar kerakligi oldindan belgilangan bo‘lsa, kompaniya «kerak bo‘lib qolar» degan maqsadda ortiqcha ma’lumot yig‘ishi shart emas.

Millionlab mijozlar bilan ishlaydigan kompaniya uchun bu faqat maxfiylik masalasi emas, balki xavfsizlik masalasi hamdir. Ortiqcha maxfiy ma’lumotlar qancha kam saqlansa, ular bilan bog‘liq xavf ham shuncha kamayadi.

Javobgarlik tushunchasi ham o‘zgaradi

Shunchaki «insonni jarayon ichida qoldirish» yetarli emas. Agentlar qancha ko‘p operatsiyani mustaqil bajarsa, xodimning bevosita aralashuviga shuncha kam ehtiyoj qoladi. Natijada inson rasman minglab qarorlar uchun javobgar bo‘lishi mumkin, ammo amalda ularning har birini nazorat qila olmaydi. Shuning uchun avtomatlashtirish bilan birga javobgarlik modeli ham o‘zgarishi kerak. Inson endi har bir harakatni bajaradigan yoki tasdiqlaydigan shaxs bo‘lmaydi. Uning vazifasi — chegarani boshqarish: uning ichida nima sodir bo‘layotganini tushunish, me’yordan chetga chiqishlarni ko‘rish va tizim ishlash qoidalarini o‘zgartira olish. Kompaniyalar uchun bu AI’ni joriy etish faqat texnologik loyiha emasligini anglatadi. Buning uchun ish jarayonlarini va javobgarlik qanday taqsimlanganini ham qayta ko‘rib chiqish kerak.

Endi nimani tekshirish kerak?

Nazoratga bo‘lgan yondashuvning o‘zi ham o‘zgarmoqda. So‘nggi yillarda avtomatlashtirilgan tizimlardan o‘z qarorlarini tushuntirish talab qilindi: mashina nima sababdan aynan shunday qaror qabul qilganini aytib bersin. Ammo bunday tushuntirishni tekshirish qiyin. Ayniqsa, tizimga kiruvchi ma’lumotlarni soxtalashtirish mumkin bo‘lgan holatlarda. Buning o‘rniga oldindan belgilangan narsalarni tekshirish mumkin: qarorning egasi kim, agentning vakolati qayerda tugaydi va ma’lumotlar qayerdan kelgan.

Shunday qilib, qarordan keyingi tushuntirish o‘rnini oldindan belgilangan aniq qoidalar egallaydi. Shatilov fikricha, bu shunchaki texnik detal emas. Bu — nimani ishonchli dalil deb hisoblashga bo‘lgan yondashuvning o‘zgarishi. Bunda nazorat kamaymaydi. Aksincha, u aniqroq bo‘ladi.

Avval model — keyin agent

Shatilovning asosiy amaliy xulosasi shuki: avtonom tizimlarni joriy etishni agentning o‘zidan boshlamaslik kerak. Avvalo, muayyan jarayondagi qarorlarni aniq tasvirlab olish kerak: tizim qaysi qarorlarni mustaqil qabul qilishi mumkin, buning uchun kim javob beradi, uning avtonomiyasi qayerda tugaydi va keyinchalik tekshirish uchun qanday ma’lumotlar saqlanishi kerak. Faqat shundan keyin vazifani AI’ga topshirish mumkin. Buning uchun birdaniga butun kompaniyani qayta tasvirlash shart emas. Qarorlar muntazam qabul qilinadigan, operatsion xavfi tushunarli va bu jarayon uchun mas’ul inson allaqachon mavjud bo‘lgan bitta jarayondan boshlash mumkin. Shunda avtonomiya haqidagi savolning o‘zi ham o‘zgaradi.

AI-agentga inson kabi «ishonish» shart emas. Unga to‘g‘ri tashkil etilgan muhit kerak. Bu muhitda har bir harakatning egasi, chegarasi va izi bo‘lishi lozim. Shunda tezlik va nazorat o‘rtasida murosa izlashga hojat qolmaydi. Chunki nazorat agentga avtonomiya berilgan tizimning o‘ziga avvaldan kiritilgan bo‘ladi.

«Biz go‘yo elektrning o‘zidan qo‘rqayotgandekmiz, — deya xulosa qiladi Shatilov. — Gap elektrda emas, gap uskunada».

Reklama