Однією з найпоширеніших рекомендацій у сфері AI Governance сьогодні є збереження людини в процесі прийняття рішень. Цей підхід широко використовується в міжнародних документах, рекомендаціях регуляторів і корпоративних політиках, оскільки вважається одним із ключових механізмів зменшення ризиків автономних AI-систем. Логіка виглядає цілком зрозумілою: якщо остаточне рішення залишається за людиною, організація отримує додатковий рівень контролю, а ризик помилок алгоритму знижується.

Проте практика поступово демонструє, що сама по собі присутність людини ще не гарантує ефективного контролю. Якщо оператор погоджується з рекомендаціями AI майже автоматично, не аналізує їх критично або не має достатньо часу й інформації для самостійної оцінки ситуації, його участь може перетворитися на формальність, і у такому разі людина залишається в контурі прийняття рішень лише з погляду внутрішніх документів, тоді як реальний вплив на процес поступово переходить до алгоритму. Це означає, що сучасна дискусія про AI Governance поступово виходить на новий рівень. Питання вже полягає не лише в тому, чи бере людина участь у процесі, а й у тому, чи здатна вона реально впливати на рішення автономної системи, коли це необхідно.

Людина є в процесі, але чи контролює вона його?

Уявімо страхову компанію, яка використовує AI для підтримки андеррайтингових рішень. Після аналізу великого масиву даних модель формує рекомендацію щодо прийняття ризику, розміру страхової премії та можливих обмежень покриття, а остаточне рішення, відповідно до внутрішніх процедур, приймає андеррайтер. На перших етапах впровадження системи працівники уважно аналізують кожну рекомендацію, порівнюють її зі своїм професійним досвідом і досить часто не погоджуються з висновками алгоритму, проте з часом ситуація починає змінюватися: модель демонструє стабільно високу точність, кількість її помилок невелика, а рішення здебільшого виявляються правильними. Поступово андеррайтери дедалі рідше перевіряють логіку рекомендацій, оскільки практичний досвід підказує, що AI майже завжди має рацію.

На певному етапі виникає парадоксальна ситуація. Формально людина продовжує приймати остаточне рішення, однак фактично її роль зводиться до підтвердження рекомендації, сформованої алгоритмом. Право відхилити висновок AI ніхто не скасовував, але використовується воно настільки рідко, що перестає бути дієвим елементом контролю. Зовні процедура не змінилася, проте реальний баланс між людиною та автономною системою вже став іншим.

Подібне явище добре відоме не лише у страхуванні. Авіаційна галузь уже багато років досліджує вплив високого рівня автоматизації на поведінку пілотів: чим надійніше працює автоматична система керування польотом, тим рідше людина втручається в її роботу, а отже, тим складніше їй швидко відновити повний контроль у нестандартній ситуації. Дослідники називають це не відмовою людини від відповідальності, а поступовою втратою активної залученості до процесу управління.

На мою думку, AI Governance починає стикатися з аналогічною проблемою. Організація може формально залишити людину в контурі прийняття рішень (Human-in-the-Loop), але це ще не означає, що вона зберігає здатність незалежно оцінювати рекомендації алгоритму й у потрібний момент не погодитися з ними. Якщо критичне мислення поступово замінюється звичкою довіряти системі, то людський контроль ризикує перетворитися на формальність, хоча всі вимоги внутрішніх документів залишаються виконаними.

Чому люди перестають сперечатися з AI

На перший погляд може здатися, що присутність людини в контурі прийняття рішень (Human-in-the-Loop) автоматично гарантує збереження контролю над автономною системою. Якщо остаточне рішення підписує працівник, а не алгоритм, то саме він і повинен залишатися головним учасником процесу однак результати досліджень у галузі психології прийняття рішень та багаторічний досвід використання автоматизованих систем у різних сферах діяльності свідчать, що така логіка працює далеко не завжди.

Коли система протягом тривалого часу демонструє високу точність, людина поступово перестає перевіряти її рекомендації так само уважно, як на початку роботи. Це відбувається не через недбалість або втрату професійної кваліфікації, навпаки, така поведінка є цілком природною. Мозок людини прагне скорочувати кількість повторюваних дій, якщо накопичений досвід підтверджує, що вони майже ніколи не призводять до іншого результату, і згодом рекомендація AI починає сприйматися не як одна з можливих альтернатив, а як найбільш імовірне правильне рішення.

Цей ефект добре відомий в авіації. Після широкого впровадження автоматизованих систем керування польотом фахівці звернули увагу, що в багатьох екіпажів поступово змінюється характер взаємодії з автопілотом. Якщо раніше пілот постійно контролював його дії та був готовий будь-якої миті взяти керування на себе, то з підвищенням надійності автоматичних систем усе більше часу відводилося лише на спостереження за їхньою роботою. У результаті в окремих інцидентах виявилося, що екіпаж занадто пізно розпізнавав нестандартну ситуацію або витрачав дорогоцінні секунди на те, щоб зрозуміти, чому автоматика поводиться не так, як очікувалося. Сучасна підготовка пілотів дедалі більше уваги приділяє не лише навичкам керування літаком, а й умінню постійно підтримувати активну залученість до процесу, навіть коли більшу частину роботи виконує автоматика.

Подібний виклик поступово виникає і в корпоративному управлінні: якщо андеррайтер сотні разів поспіль переконується, що рекомендації AI виявляються правильними, він починає перевіряти їх менш уважно, якщо спеціаліст із врегулювання збитків бачить, що система майже ніколи не помиляється під час оцінювання фотографій пошкодженого автомобіля, у нього дедалі рідше виникає бажання проводити власний аналіз, якщо кредитний менеджер протягом багатьох місяців спостерігає високу якість роботи моделі скорингу, він поступово починає розглядати її висновок як відправну точку для власного рішення, хоча з часом цей висновок непомітно перетворюється на саме рішення.

У всіх цих випадках організація формально зберігає людину в контурі прийняття рішень, однак характер її участі поступово змінюється, оскільки працівник уже не стільки оцінює рекомендацію алгоритму, скільки підтверджує її, а отже, людський контроль починає втрачати ту незалежність, заради якої його й залишили в процесі.

Контроль не повинен перетворюватися на формальність

Уявімо ще одну ситуацію. Банк використовує AI для автоматичного виявлення підозрілих фінансових операцій відповідно до внутрішніх процедур фінансового моніторингу. Щодня система формує сотні повідомлень, які переглядають відповідальні працівники, причому переважна більшість рекомендацій алгоритму підтверджується, і через певний час перевірка кожного випадку починає сприйматися як суто технічна процедура, оскільки статистика свідчить, що AI майже не припускається помилок.

Одного дня модель змінює власну поведінку після оновлення або через зміну структури даних і починає пропускати окремий тип підозрілих операцій. Парадокс полягає в тому, що проблема може залишатися непоміченою не тому, що працівники втратили професійну компетентність, а тому, що вони вже звикли довіряти системі настільки, що перестали критично оцінювати її висновки, — формально контроль не зник, а лише поступово втратив свою ефективність.

На мою думку, саме тут проходить одна з найважливіших меж AI Governance. Якщо людина бере участь у процесі лише для того, щоб підтвердити рішення алгоритму, її присутність перестає виконувати функцію незалежного контролю. Організація отримує не двох незалежних учасників процесу прийняття рішень, а одного активного й одного пасивного, причому пасивним дедалі частіше стає людина.

Людину потрібно залишити не в процесі, а в управлінні процесом

Після аналізу наведених прикладів може скластися хибне враження, що єдиним способом зберегти людський контроль є постійне втручання в роботу AI, однак практика демонструє протилежне: якщо людина намагатиметься перевіряти кожне рішення алгоритму, організація дуже швидко втратить головну перевагу автоматизації — швидкість і продуктивність. Проблема полягає не в тому, щоб контролювати кожен крок AI, а в тому, щоб правильно визначити моменти, коли людське втручання справді необхідне.

Дедалі більше організацій відходять від моделі, за якої працівник переглядає абсолютно всі рекомендації алгоритму, натомість вони концентрують увагу на тих ситуаціях, де ймовірність помилки або потенційні наслідки рішення є найбільшими. Іншими словами, людина перестає бути постійним оператором системи й поступово переходить до ролі керівника процесу, який втручається тоді, коли для цього існують заздалегідь визначені підстави.

Хорошим прикладом може бути сучасна практика використання AI в радіології. У багатьох клініках алгоритми допомагають лікарям аналізувати комп’ютерну томографію, мамографію або рентгенівські знімки, виділяючи ділянки, які можуть свідчити про патологічні зміни, проте жоден якісний медичний процес не будується за принципом: «AI поставив діагноз — лікар погодився». Натомість лікар концентрує увагу на випадках, де алгоритм демонструє низький рівень впевненості, де його висновок суперечить клінічній картині або де потенційна помилка може мати критичні наслідки для пацієнта. Іншими словами, AI допомагає лікарю працювати швидше, але не підміняє його професійне судження.

Подібний підхід поступово формується й у фінансовому секторі. У системах протидії шахрайству AI може аналізувати мільйони транзакцій за добу, однак працівники служби безпеки не переглядають кожну з них, і їхня увага зосереджується на операціях, які виходять за межі звичайної поведінки клієнта, містять кілька ознак ризику або демонструють нетипову комбінацію факторів. Саме в таких випадках людський досвід, інтуїція та здатність оцінити ширший контекст залишаються незамінними.

На мою думку, ця логіка повинна стати одним із базових принципів AI Governance. Людина не повинна виконувати роль статиста, який механічно підтверджує тисячі правильних рішень алгоритму, її головне завдання полягає в іншому — зберігати здатність критично оцінити ті ситуації, які виходять за межі звичайної роботи системи або можуть призвести до суттєвих наслідків для організації.

Контролювати потрібно не кожне рішення, а поведінку системи

Ця зміна здається незначною лише на перший погляд, але насправді вона означає принципово інший підхід до управління AI. Якщо традиційний контроль зосереджувався на перевірці окремих рішень, то в умовах широкого використання автономних систем дедалі більшого значення набуває аналіз загальної поведінки моделі.

Уявімо компанію, яка використовує AI для динамічного ціноутворення. Протягом дня алгоритм може змінити ціну тисячі разів, і перевірити кожне окреме рішення фізично неможливо. Проте цілком реально контролювати інші показники: чи не почала модель різко відхилятися від історичних закономірностей, чи не збільшилася кількість нестандартних рішень, чи не змінилися групи клієнтів, для яких система формує нетипові рекомендації, чи не зростає частка випадків, коли працівники змушені скасовувати рішення алгоритму. Саме такі індикатори дозволяють оцінювати вже не окремі дії AI, а характер його роботи в цілому.

Подібний підхід добре знайомий фахівцям із ризик-менеджменту. Ми рідко оцінюємо систему управління лише за одним інцидентом. Натомість аналізуємо тенденції, концентрації, повторюваність подій, зміну ключових індикаторів ризику та появу нетипових відхилень. Мені здається, що AI Governance поступово рухатиметься в тому самому напрямку. Предметом уваги ставатиме не кожне окреме рішення алгоритму, а його поведінка в динаміці, оскільки саме вона найчастіше сигналізує про появу нових ризиків задовго до того, як вони перетворяться на серйозну проблему.

Професійна компетентність теж потребує захисту

Коли говорять про ризики AI, зазвичай мають на увазі помилки алгоритмів, якість даних або кіберзагрози. Значно рідше обговорюється інша проблема — поступова зміна професійних навичок людей, які щодня працюють поруч із розумними системами. Проте цей ризик може виявитися не менш серйозним, адже організація здатна непомітно втратити одну зі своїх головних переваг — здатність самостійно оцінювати складні ситуації.

Уявімо страхову компанію через п’ять років. Молодий андеррайтер приходить на роботу вже в середовище, де AI аналізує ризики, формує рекомендації щодо тарифу, пропонує умови страхування та звертає увагу на потенційні винятки. Він швидко навчається працювати із системою, однак значну частину практичного досвіду, який його колеги ще десять років тому здобували власними помилками, спостереженнями та дискусіями, він уже не отримує. Значна частина професійного судження формується не через аналіз реальних кейсів, а через взаємодію з рекомендаціями алгоритму.

Подібний виклик добре знайомий авіації. Саме тому авіакомпанії регулярно проводять тренування, під час яких екіпажі навмисно працюють у режимах із частково відключеною автоматикою, відпрацьовуючи нестандартні ситуації, які в реальному житті трапляються вкрай рідко. Мета таких занять полягає не в перевірці автопілота, а в підтриманні професійної форми пілотів, щоб у критичний момент вони могли впевнено взяти керування на себе.

Подібну логіку дедалі частіше можна побачити і в медицині. Молоді лікарі не лише вивчають роботу діагностичних систем на основі AI, а й продовжують розбирати клінічні випадки без їхньої допомоги, обговорювати складні діагнози з колегами та брати участь у клінічних консиліумах. Таке навчання потребує більше часу, проте дозволяє зберігати головне — здатність незалежно мислити, коли автоматизовані рекомендації викликають сумніви.

На мою думку, корпоративне управління також повинно почати ставитися до професійної компетентності як до ресурсу, який потребує постійної підтримки. Якщо організація поступово втрачає людей, здатних критично оцінити рішення AI, вона ризикує опинитися в ситуації, коли формально всі механізми контролю існують, але скористатися ними вже нікому.

Довіра повинна залишатися професійною, а не автоматичною

Довіра до AI є необхідною умовою його ефективного використання. Якби працівники змушені були перевіряти кожне рішення алгоритму, жодна організація не отримала б переваг від автоматизації. Проте між професійною довірою та безумовним прийняттям рекомендацій існує принципова різниця.

Хороший приклад можна знайти у практиці сучасних диспетчерських центрів енергетичних компаній. Автоматизовані системи безперервно аналізують навантаження мережі, прогнозують споживання електроенергії та пропонують оптимальні режими роботи обладнання. Диспетчер не перевіряє кожен розрахунок, але його навчання побудоване так, щоб він не втрачав здатності помітити ситуацію, у якій рекомендація системи суперечить реальній картині або здоровому професійному глузду. Іншими словами, автоматизація не звільняє людину від необхідності мислити — вона змінює характер цього мислення.

Мені здається, у цьому й полягає один із найважливіших принципів AI Governance. Завдання організації — не просто залишити людину в контурі прийняття рішень, а створити такі умови, за яких вона збереже професійну незалежність, критичність і готовність поставити під сумнів рекомендацію алгоритму тоді, коли цього вимагатиме ситуація. Лише за таких умов присутність людини перестає бути формальною вимогою внутрішніх документів і перетворюється на реальний елемент системи корпоративного управління.

Організація повинна навчатися разом із AI

Однією з найбільших переваг сучасних AI-систем є їхня здатність постійно вдосконалюватися. Моделі отримують нові дані, адаптуються до змін зовнішнього середовища, уточнюють власні прогнози та поступово підвищують точність рішень. Проте цей процес матиме позитивний результат лише за однієї умови: якщо разом із алгоритмами навчатиметься й сама організація. В іншому разі виникає небезпечний дисбаланс, коли AI стає дедалі ефективнішим, тоді як люди поступово втрачають професійні навички, необхідні для його незалежної оцінки.

Хорошою ілюстрацією може бути практика великих технологічних компаній, які використовують AI для модерації контенту. Щодня алгоритми аналізують мільйони текстів, фотографій і відео, визначаючи матеріали, що можуть порушувати правила платформи. Однак найбільш складні або неоднозначні випадки регулярно потрапляють на повторний розгляд досвідчених експертів, причому їхнє завдання полягає не лише в ухваленні остаточного рішення, а й у перевірці того, чи не почала модель систематично помилятися в окремих категоріях матеріалів. Таким чином навчається не лише AI. Організація також накопичує нові знання про власну систему, переглядає правила, уточнює критерії оцінювання та коригує процеси.

Подібний підхід поступово стає актуальним і для фінансового сектору. Якщо банк або страхова компанія аналізує лише показники точності моделі, але не досліджує випадки, у яких працівники не погодилися з її рекомендаціями, організація втрачає надзвичайно цінне джерело інформації. Адже кожне обґрунтоване відхилення рішення AI є не помилкою процесу, а можливістю зрозуміти, чого модель ще не враховує або які нові фактори починають впливати на ризик.

Це означає, що людське втручання повинно виконувати ще одну функцію, про яку говорять значно рідше. Воно необхідне не лише для виправлення окремих помилок алгоритму, а й для постійного розвитку всієї системи управління. Якщо рішення людини залишаються лише винятками, які ніде не аналізуються й не використовуються для вдосконалення моделі або внутрішніх процедур, організація втрачає можливість навчатися на власному досвіді.

Незгода з AI теж є цінною інформацією

У багатьох організаціях рішення людини, що відрізняється від рекомендації алгоритму, сприймається як виняткова ситуація, яку потрібно окремо пояснювати або навіть виправдовувати. Проте такий підхід, на мій погляд, є помилковим. Якщо AI Governance побудована правильно, випадки аргументованої незгоди повинні розглядатися як один із найважливіших інструментів контролю якості моделі.

Уявімо андеррайтера, який відхиляє рекомендацію AI прийняти ризик, оскільки під час особистого спілкування з клієнтом звернув увагу на обставини, які ще не відображені в інформаційній системі. Якщо після завершення договору виявиться, що його рішення було правильним, компанія отримує значно більше, ніж просто один вдало оцінений ризик. Вона отримує нові знання про межі застосування алгоритму, а також розуміння того, які фактори поки що залишаються поза його увагою.

Аналогічна ситуація можлива й під час врегулювання збитків. AI може рекомендувати стандартний розмір страхового відшкодування, проте досвідчений фахівець звертає увагу на нетипову поведінку страхувальника або суперечності в документах і приймає рішення провести додаткову перевірку. Якщо підозра підтверджується, організація повинна проаналізувати не лише сам випадок шахрайства, а й причини, через які алгоритм його не розпізнав.

Іншими словами, ефективна взаємодія людини й AI не повинна будуватися за принципом «алгоритм пропонує — людина погоджується». Значно важливіше створити середовище, у якому професійне судження людини не розглядається як недовіра до технології, а сприймається як необхідний елемент її постійного вдосконалення. Лише за такої умови присутність людини в контурі прийняття рішень (Human-in-the-Loop) набуває реального змісту і перестає бути формальним виконанням вимог внутрішніх документів.

Висновки

Широке використання штучного інтелекту змінює не лише бізнес-процеси, а й характер професійної діяльності людей, які приймають управлінські рішення. Якщо ще кілька років тому головним завданням було навчити AI працювати разом із людиною, то сьогодні дедалі актуальнішим стає інше питання: як зробити так, щоб людина, працюючи разом із AI, не втратила здатності самостійно мислити, критично оцінювати ситуацію та приймати незалежні рішення.

Практика різних галузей показує, що ефективна взаємодія людини й автоматизованих систем не виникає сама собою. Авіація підтримує професійні навички пілотів регулярними тренуваннями в нестандартних режимах. Медицина продовжує розвивати клінічне мислення лікарів навіть за активного використання діагностичних систем на основі AI. Банки, страхові компанії та технологічні корпорації поступово переходять від перевірки кожного окремого рішення алгоритму до аналізу його поведінки, постійно зіставляючи висновки моделі з професійним судженням своїх фахівців. Усі ці приклади демонструють одну спільну закономірність: чим досконалішими стають алгоритми, тим більшої цінності набуває людська експертиза.

На мій погляд, одним із найважливіших завдань AI Governance найближчих років стане не лише забезпечення прозорості алгоритмів або вдосконалення механізмів контролю, а й збереження професійної компетентності людей, які працюють поруч із ними. Організація повинна не просто залишити людину в контурі прийняття рішень (Human-in-the-Loop), а створити умови, за яких її досвід, професійне судження та здатність критично оцінювати рекомендації AI залишатимуться невід’ємною частиною системи корпоративного управління.

Можливо, головний виклик майбутнього полягає не в тому, що штучний інтелект навчиться мислити краще за людину. Значно важливіше не допустити ситуації, коли людина поступово відмовиться від звички мислити самостійно, переклавши цю відповідальність на алгоритм. Якщо це станеться, навіть найдосконаліші моделі корпоративного управління не зможуть компенсувати втрату професійного судження, яке завжди було і, переконаний, ще довго залишатиметься основою якісного управлінського рішення.

Сергій БАБИЧ