Аввал модел, кейин агент: Click CIO’си AI автономиясини қандай бошқаришни тушунтирди

25-август куни Click CIO’си Алексей Шатилов «Silk Road Finance & Technology Forum 2026» доирасидаги «The Autonomy Paradox — Governing Agentic AI in Regulated Financial Markets & Digital Trust Systems» сессиясида иштирок этди. Муҳокаманинг асосий мавзуларидан бири молия соҳасида автоном AI-тизимларини бошқариш масаласи бўлди. Чунки бу соҳада ҳар қандай хато мижознинг пули, маълумотлари ва манфаатларига таъсир қилиши мумкин.

Шатилов бу масалага бошқача қарашни таклиф қилади: AI-агентга қанча вазифани ишониб топшириш мумкинлигини ҳал қилишдан олдин, у қандай тизим ичида ишлаши ва унинг ваколатлари қаерда тугашини аниқ белгилаш керак.

Муаммо автономия даражасида эмас

Бугун AI-агентлар ҳақида гап кетганда, кўпинча тезлик ва назорат ўртасидаги мувозанат муҳокама қилинади. Тизим қанча кўп қарорни мустақил қабул қилса, унинг устидан назоратни йўқотиш хавфи шунча юқори бўлиб кўринади. Шу сабабли муҳим қарорларда инсон иштироки, турли лимитлар, «sandbox»лар, қўшимча текширувлар ва тизимни тўхтатиш имконияти каби чоралар қўлланилади.

Аммо бундай ёндашувнинг битта муаммоси бор: «Қанча автономия хавфсиз?» деган саволга аниқ ва универсал жавоб йўқ. Агар инсон агентнинг ҳар бир ҳаракатини тасдиқлаши керак бўлса, автоном тизимнинг асосий афзалликлари йўқолади. Назорат етарли бўлмаса эса, ташкилот нотўғри қарор оқибатларини муаммо юз берганидан кейин ҳал қилишига тўғри келади.

Бу қарама-қаршиликнинг сабаби шундаки, назорат автономиянинг устига қўшимча механизм сифатида қўшилмоқда. Аслида эса назорат агент ишлайдиган муҳитнинг ўзига аввалдан киритилиши керак.

Ташкилотлар автономияни чеклашни аллақачон билади

Одамлар билан ишлашда бу тамойил анчадан бери мавжуд. Ходимга мавҳум «ишонч даражаси» белгиланмайди. Унга аниқ вазифа, ваколат, лимит ва жавобгарлик берилади. Ходим қарорларни мустақил қабул қилиши мумкин, лекин унинг ваколати қаерда тугашини олдиндан билади.

AI билан эса вазият мураккаброқ. Компаниядаги қоидаларнинг катта қисми буйруқлар, регламентлар, лавозим йўриқномалари ва йиллар давомида шаклланган иш тартибларида ёзилган. Инсон уларни ўқиб, мазмунини тушуна олади. Машина учун эса булар бевосита бажарилиши мумкин бўлган қоидалар тизими эмас.

Шу сабабли, Шатилов фикрича, вазифа фақат AI’ни бошқариладиган қилишдан иборат эмас. Ташкилотнинг ўзини ҳам машина тушуна оладиган тарзда ифодалаш керак.

Нега бу ерда фабрика мисоли ўринли?

Шатилов AI ривожланишининг бугунги босқичини фабрикаларнинг электрлаштирилиши билан таққослайди.

Дастлабки фабрикаларда барча ускуналар битта буғ двигатели ёрдамида ишлаган. Двигател умумий вал ва тасмалар тизими орқали цехдаги барча дастгоҳларни ҳаракатга келтирган. Электр двигатели пайдо бўлганда эса, дастлаб буғ двигатели шунчаки электр двигателига алмаштирилган, фабриканинг эски тузилиши эса ўзгаришсиз қолган. Натижада катта самара бўлмаган.

Ҳақиқий ўзгариш кейинроқ — ҳар бир дастгоҳ ўз двигателига эга бўлганда юз берди. Аммо Шатилов бу мисолда кўпинча эътибордан четда қоладиган муҳим жиҳатни таъкидлайди: умумий вал фақат ҳаракатлантирувчи механизм эмас, балки бошқарув тизими ҳам бўлган. У бутун цех учун ягона иш суръатини белгилаган ва кўплаб жараёнларни ўзаро мувофиқлаштириб турган. Яъни алоҳида дастгоҳ эмас, бутун фабрика бир тизим сифатида бошқарилган.

Ҳар бир дастгоҳ ўз моторига эга бўлгач, янги бошқарув воситаларига ҳам эҳтиёж туғилди: алоҳида ўчиргич, масъул оператор ва иш режими, тўхташлар ҳамда ким аралашгани қайд этиладиган смена журнали пайдо бўлди. Бугунги компанияларда шундай «умумий вал» вазифасини кўпинча келишув ва тасдиқлаш жараёнлари бажаради. Қарор бир неча одам орқали ўтар экан, бу занжир бир вақтнинг ўзида назорат механизми бўлиб ҳам хизмат қилади.

AI-агент бу занжирнинг бир қисмини олиб ташлаш имконини беради. Аммо занжир билан бирга унга ўрнатилган мувофиқлаштириш ва назорат механизми ҳам йўқолади.

Фабрикалар бунга умумий вални қайтариш ёки ҳар бир дастгоҳ ёнига назоратчи қўйиш билан жавоб бермади. Ечим — ўчиргич, оператор ва журнал бўлди. Шатилов фикрича, AI билан ишлашда ҳам худди шу тамойил керак.

Эгаси, чегара ва из

Шатилов таклиф қилаётган модел учта асосий элементга таянади.

Эгаси — маълум бир турдаги қарорлар учун жавоб берадиган аниқ инсон. Бу бўлим ёки департамент эмас. У агентнинг ҳар бир ҳаракатини шахсан тасдиқлаши шарт эмас. Аммо нима содир бўлаётганини кўриб туриши ва керак бўлса, қоидаларни ўзгартира олиши керак.

Чегара — агент қаергача мустақил ҳаракат қилиши ва қайси нуқтадан бошлаб қарорни инсонга топшириши кераклигини белгилайди.

Шатилов бу чегарани модел ўз жавобига қанчалик ишонганига қараб эмас, хатонинг мумкин бўлган қийматига қараб белгилашни таклиф қилади.

Агар қарор катта миқдордаги пулга, муҳим шахсий маълумотларга ёки мижоз манфаатларига жиддий таъсир қилиши мумкин бўлса, тизимнинг юқори даражадаги ишончи ҳам унга тўлиқ автономия бериш учун етарли эмас.

Из эса қарор қабул қилингандан кейин бутун жараённи қайта тиклаш имконини бериши керак: агент нимани кўрди, қандай маълумотлардан фойдаланди, бу маълумотлар қаердан олинди ва қарор нимага асосланиб қабул қилинди.

Бу ерда Шатилов муҳим фарқни таъкидлайди: техник лог ва из бир хил нарса эмас. Лог тизим нима қилганини қайд этади. Из эса нима сабабдан айнан ўша пайтда бу ҳаракат тўғри деб ҳисобланганини кўрсатиши керак. Бу фарқ зарар сабабларини аниқлаш керак бўлган вазиятларда айниқса муҳим. Агар тизимга кирган маълумотлар сохталаштирилган бўлса, мукаммал техник лог ҳам нотўғри қарорнинг жуда аниқ бажарилганини кўрсатиши мумкин. Фақат шу учта элемент — эгаси, чегара ва из — биргаликда автоном қарорни бошқариш имконини беради.

Бу молия соҳасида қандай ишлайди?

Молия соҳаси учун бу модел айниқса долзарб. Одатда операцияни қўшимча тасдиқлаш аутентификация масаласи сифатида кўрилади: тизим инсоннинг шахсига шубҳа қилса, уни яна бир марта текшириш керак. Шатилов ёндашувида эса бу, биринчи навбатда, автономия чегараси ҳисобланади. Тизим ўз ваколатининг охирги нуқтасига етди ва қарорни пул эгасининг ўзига қайтаряпти. Бундан муҳим амалий хулоса келиб чиқади: қўшимча тасдиқлаш даражаси алгоритмнинг қанчалик ишончли эканига эмас, хатонинг қийматига боғлиқ бўлиши керак. Масалан, катта миқдордаги операцияда тизим қарорнинг тўғрилигига ишонган тақдирда ҳам қўшимча тасдиқлаш талаб қилиниши мумкин. Худди шу тамойил маълумотларга ҳам тегишли.

Агар муайян қарор учун айнан қандай маълумотлар кераклиги олдиндан белгиланган бўлса, компания «керак бўлиб қолар» деган мақсадда ортиқча маълумот йиғиши шарт эмас.

Миллионлаб мижозлар билан ишлайдиган компания учун бу фақат махфийлик масаласи эмас, балки хавфсизлик масаласи ҳамдир. Ортиқча махфий маълумотлар қанча кам сақланса, улар билан боғлиқ хавф ҳам шунча камаяди.

Жавобгарлик тушунчаси ҳам ўзгаради

Шунчаки «инсонни жараён ичида қолдириш» етарли эмас. Агентлар қанча кўп операцияни мустақил бажарса, ходимнинг бевосита аралашувига шунча кам эҳтиёж қолади. Натижада инсон расман минглаб қарорлар учун жавобгар бўлиши мумкин, аммо амалда уларнинг ҳар бирини назорат қила олмайди. Шунинг учун автоматлаштириш билан бирга жавобгарлик модели ҳам ўзгариши керак. Инсон энди ҳар бир ҳаракатни бажарадиган ёки тасдиқлайдиган шахс бўлмайди. Унинг вазифаси — чегарани бошқариш: унинг ичида нима содир бўлаётганини тушуниш, меъёрдан четга чиқишларни кўриш ва тизим ишлаш қоидаларини ўзгартира олиш. Компаниялар учун бу AI’ни жорий этиш фақат технологик лойиҳа эмаслигини англатади. Бунинг учун иш жараёнларини ва жавобгарлик қандай тақсимланганини ҳам қайта кўриб чиқиш керак.

Энди нимани текшириш керак?

Назоратга бўлган ёндашувнинг ўзи ҳам ўзгармоқда. Сўнгги йилларда автоматлаштирилган тизимлардан ўз қарорларини тушунтириш талаб қилинди: машина нима сабабдан айнан шундай қарор қабул қилганини айтиб берсин. Аммо бундай тушунтиришни текшириш қийин. Айниқса, тизимга кирувчи маълумотларни сохталаштириш мумкин бўлган ҳолатларда. Бунинг ўрнига олдиндан белгиланган нарсаларни текшириш мумкин: қарорнинг эгаси ким, агентнинг ваколати қаерда тугайди ва маълумотлар қаердан келган.

Шундай қилиб, қарордан кейинги тушунтириш ўрнини олдиндан белгиланган аниқ қоидалар эгаллайди. Шатилов фикрича, бу шунчаки техник детал эмас. Бу — нимани ишончли далил деб ҳисоблашга бўлган ёндашувнинг ўзгариши. Бунда назорат камаймайди. Аксинча, у аниқроқ бўлади.

Аввал модел — кейин агент

Шатиловнинг асосий амалий хулосаси шуки: автоном тизимларни жорий этишни агентнинг ўзидан бошламаслик керак. Аввало, муайян жараёндаги қарорларни аниқ тасвирлаб олиш керак: тизим қайси қарорларни мустақил қабул қилиши мумкин, бунинг учун ким жавоб беради, унинг автономияси қаерда тугайди ва кейинчалик текшириш учун қандай маълумотлар сақланиши керак. Фақат шундан кейин вазифани AI’га топшириш мумкин. Бунинг учун бирданига бутун компанияни қайта тасвирлаш шарт эмас. Қарорлар мунтазам қабул қилинадиган, операцион хавфи тушунарли ва бу жараён учун масъул инсон аллақачон мавжуд бўлган битта жараёндан бошлаш мумкин. Шунда автономия ҳақидаги саволнинг ўзи ҳам ўзгаради.

AI-агентга инсон каби «ишониш» шарт эмас. Унга тўғри ташкил этилган муҳит керак. Бу муҳитда ҳар бир ҳаракатнинг эгаси, чегараси ва изи бўлиши лозим. Шунда тезлик ва назорат ўртасида муроса излашга ҳожат қолмайди. Чунки назорат агентга автономия берилган тизимнинг ўзига аввалдан киритилган бўлади.

«Биз гўё электрнинг ўзидан қўрқаётгандекмиз, — дея хулоса қилади Шатилов. — Гап электрда эмас, гап ускунада».

Реклама