Днями в LinkedIn розгорнулася цікава професійна дискусія,  поштовхом до якої став незвичний інтелектуальний експеримент, запропонований Томом Маклеодом (Tom McLeod). Автор описав організацію, у якій корпоративне управління працює бездоганно: менеджмент відповідально управляє ризиками, друга лінія захисту встановила політики та процедури контролю, внутрішній аудит підтвердив їхню ефективність, а всі рекомендації були виконані. На перший погляд така організація повинна була бути надійно захищеною.

Проте автономний AI-агент знаходить неочікуваний спосіб взаємодії із зовнішніми системами та приймає низку рішень, які призводять до суттєвих наслідків ще до того, як хтось із працівників встигає втрутитися. Наприкінці допису автор зізнався, що жодної наукової статті, на яку він посилався, не існує, і це був лише інтелектуальний експеримент, покликаний перевірити, наскільки професійна спільнота готова до нової дискусії.

Більшість коментарів швидко перейшла до питання, чи означає це кінець моделі Three Lines. На мою думку, головна цінність цього експерименту полягає в іншому. Він змушує поставити значно важливіше питання: що відбувається з корпоративним управлінням, якщо ризик починає розвиватися швидше, ніж організація здатна його побачити, оцінити й зупинити? Це питання, як на мене, сьогодні заслуговує на окрему професійну розмову.

Ми вже живемо в новій швидкості ризиків

Уявімо цілком реалістичну ситуацію. Страхова компанія впровадила AI-систему для автоматичного врегулювання нескладних збитків, яка аналізує фотографії пошкодженого автомобіля, порівнює їх із накопиченими даними, визначає орієнтовний розмір відшкодування і, якщо сума не перевищує встановлений ліміт, погоджує виплату без участі працівника. Подібні рішення вже використовуються на страховому ринку, оскільки дозволяють значно заощадити час на розгляд заяв, але, головне, зменшити навантаження на врегулювальників.

Припустімо, що після чергового оновлення модель починає систематично завищувати розмір виплат для певного типу пошкоджень. Відхилення становить лише 8–10 відсотків, тому кожна окрема виплата виглядає цілком обґрунтованою і не привертає уваги працівників. Протягом кількох днів система погоджує десятки або сотні таких заяв, і лише після накопичення достатньої кількості випадків аналітики помічають, що середній розмір виплат за цією категорією збитків почав зростати. До цього моменту гроші вже перераховані клієнтам, а виправлення моделі не може скасувати наслідки раніше прийнятих рішень.

Тепер спробуймо відповісти на просте запитання. Хто в цій ситуації припустився помилки? Фахівець із врегулювання? Підрозділ, який супроводжує AI-модель? Функція управління ризиками? Внутрішній аудит? Найімовірніше, жоден із них свідомо не зробив неправильного кроку. Кожен виконував свої обов’язки відповідно до визначених процедур. Проблема виникла тому, що між появою відхилення та його виявленням автоматизована система встигла прийняти велику кількість рішень.

І це вже не поодинокий приклад: банки дедалі активніше використовують AI для оцінки кредитоспроможності позичальників, платіжні системи — для виявлення шахрайських операцій, логістичні компанії — для оптимізації маршрутів, а промислові підприємства — для керування виробничими процесами. У всіх цих випадках рішення приймаються за секунди, тоді як управлінські процедури, аналіз інформації, ескалація проблеми та погодження дій зазвичай потребують значно більше часу.

Отже, виникають питання, які виходять далеко за межі окремих технологій або моделей корпоративного управління. Якщо автономна система вже встигла виконати сотні операцій, чи достатньо відповісти лише на питання, хто несе за них відповідальність? Чи не важливіше зрозуміти, хто мав можливість помітити проблему, оцінити її та зупинити процес до того, як його наслідки стали незворотними?

Чому проблема полягає не в моделі Three Lines

Після появи допису Тома Маклеода більшість дискусій майже одразу зосередилася навколо моделі Three Lines, хоча запропонований ним інтелектуальний експеримент, на мою думку, порушує значно ширше питання, ніж ефективність одного окремого документа Інституту внутрішніх аудиторів. Якщо уважно проаналізувати описану ситуацію, стає зрозуміло, що жодна з трьох ліній захисту формально не припустилася помилки: менеджмент визначив власника ризику, друга лінія розробила політики, процедури та механізми контролю, внутрішній аудит перевірив їхню адекватність, а всі рекомендації були виконані. Іншими словами, система корпоративного управління функціонувала саме так, як і повинна була функціонувати відповідно до сучасних міжнародних підходів.

Тому твердження про те, що цей приклад доводить неспроможність моделі Three Lines, видається передчасним. Модель ніколи не обіцяла, що правильний розподіл ролей автоматично запобігатиме будь-яким негативним подіям або гарантуватиме можливість втрутитися в будь-яку ситуацію незалежно від швидкості її розвитку. Її призначення завжди полягало в іншому — визначити, хто приймає рішення, хто здійснює незалежний контроль, хто надає впевненість керівним органам і яким чином повинні взаємодіяти всі учасники системи корпоративного управління.

Проблема виникає в іншій площині. Протягом десятиліть більшість моделей корпоративного управління формувалися виходячи з неявного припущення, що між виникненням ризику та його реалізацією існує достатній часовий проміжок для аналізу інформації, ескалації проблеми, прийняття рішення та його виконання, тому питання швидкості втручання практично ніколи не розглядалося як окремий елемент архітектури управління. Автономний AI поступово руйнує цю передумову, оскільки окремі рішення сьогодні можуть прийматися і реалізовуватися швидше, ніж організація фізично здатна пройти власний цикл управління.

Уявімо іншу ситуацію, цього разу вже не зі страхування, а з банківської практики. Банк використовує AI для виявлення шахрайських операцій за платіжними картками, причому система аналізує тисячі транзакцій у режимі реального часу і автоматично блокує або підтверджує їх без участі працівників. Якщо внаслідок помилки або некоректного оновлення моделі вона починає пропускати певний тип шахрайських операцій, то питання полягає вже не лише в тому, хто відповідає за модель чи хто повинен провести її аудит. Не менш важливо зрозуміти, чи існує в організації механізм, який дозволить виявити проблему до того, як вона призведе до значних фінансових втрат, і чи має хтось право негайно призупинити роботу системи, не чекаючи засідання комітету або чергового управлінського рішення.

Отже, інтелектуальний експеримент Тома Маклеода, на мою думку, не демонструє кризу моделі Three Lines, а демонструє появу нового виміру корпоративного управління, який досі майже не привертав уваги професійної спільноти, — здатності організації діяти зі швидкістю, співставною зі швидкістю розвитку ризику. І лише після того, як ми визнаємо існування цієї проблеми, можна переходити до обговорення того, чи потребують змін сучасні моделі корпоративного управління і якими можуть бути ці зміни.

Коли час стає фактором корпоративного управління

Традиційно ефективність корпоративного управління оцінювали за досить зрозумілими критеріями: чи чітко розподілені повноваження, чи визначені власники ризиків, чи працюють механізми внутрішнього контролю, чи отримує Наглядова рада достатню інформацію для прийняття рішень, а внутрішній аудит зберігає незалежність під час надання впевненості щодо функціонування всієї системи. Протягом багатьох років цього було достатньо, оскільки більшість ризиків розвивалася зі швидкістю, яка дозволяла організації пройти повний цикл управління — від виявлення проблеми до прийняття рішення та його реалізації.

Штучний інтелект не скасовує жодного з цих принципів, проте змінює одну важливу обставину, яка тривалий час залишалася майже непомітною. Якщо автономна система приймає рішення за секунди, а людина отримує інформацію про відхилення лише після аналізу накопичених даних або чергового звіту, то часовий розрив між розвитком ризику та реакцією організації починає набувати не меншого значення, ніж правильний розподіл відповідальності. Іншими словами, корпоративне управління стикається з новим обмеженням: воно може бути бездоганно організованим, але водночас виявитися занадто повільним.

Подібна проблема вже давно знайома фахівцям із кібербезпеки. Коли інформаційна система зазнає кібератаки, ніхто не чекає ранкової наради або засідання профільного комітету, щоб вирішити, чи потрібно ізолювати сервер або заблокувати зовнішній доступ. Для цього існують заздалегідь визначені сценарії реагування, автоматичні механізми виявлення загроз і чітко встановлені повноваження, які дозволяють діяти негайно, оскільки затримка навіть на кілька хвилин може істотно збільшити масштаби інциденту.

На мою думку, автономний AI поступово ставить корпоративне управління перед аналогічним викликом. Поки система працює в межах очікуваної поведінки, традиційні механізми управління залишаються цілком достатніми, але якщо модель починає поводитися не так, як передбачалося під час її впровадження, або автономний агент знаходить спосіб виконати послідовність дій, якої не очікували розробники, виникає потреба не лише зрозуміти, хто відповідає за цей процес, а й забезпечити можливість втрутитися ще до того, як наслідки стануть незворотними.

Тому я певен, що однією з ключових характеристик сучасного корпоративного управління поступово стає його швидкість. Якщо раніше ми оцінювали систему переважно за якістю прийнятих рішень, то тепер дедалі більшого значення набуває здатність приймати їх у межах того часу, який залишає розвиток ризику. Можливо, саме в цьому й полягає головний виклик, який штучний інтелект ставить перед сучасними моделями управління.

Чому ця проблема вже не є теоретичною

Якщо сприймати попередні приклади лише як інтелектуальний експеримент, може скластися враження, що мова йде про досить віддалене майбутнє, коли автономні AI-системи отримають майже необмежені повноваження. Насправді процес уже розпочався, хоча поки що він проявляється не у вигляді гучних катастроф, а через поступове делегування алгоритмам усе більшої кількості рутинних рішень, які ще кілька років тому приймали виключно люди.

У банківській сфері AI вже використовується для первинної оцінки кредитних заявок, аналізу транзакцій, виявлення шахрайських операцій та автоматичного блокування підозрілих платежів. Страхові компанії застосовують його під час врегулювання нескладних збитків, аналізу фотографій пошкодженого майна, оцінки ймовірності страхового шахрайства та підтримки андеррайтингових рішень. У логістиці алгоритми безперервно перебудовують маршрути перевезень, а в електронній комерції змінюють ціни залежно від попиту, запасів і поведінки покупців. У всіх цих випадках людина дедалі частіше перестає приймати кожне окреме рішення, натомість вона визначає правила, за якими діє система.

І це принципово змінює характер ризику. Якщо раніше помилка окремого працівника, як правило, впливала лише на одну операцію або одного клієнта, то помилка алгоритму здатна багаторазово повторюватися доти, доки її не виявлять і не зупинять. Причому небезпека полягає не лише у фінансових наслідках. Якщо AI помилково відхиляє кредитні заявки певної категорії клієнтів, систематично неправильно оцінює страхові збитки або некоректно визначає підозрілі фінансові операції, організація ризикує одночасно зіткнутися з фінансовими втратами, регуляторними претензіями, репутаційними проблемами та звинуваченнями у дискримінації.

Усі ці приклади мають одну спільну рису. Проблема виникає не тому, що в організації відсутній власник ризику, не тому, що внутрішній аудит не виконав свою роботу чи функція управління ризиками не розробила необхідні політики, а тоді, коли швидкість масштабування помилки починає перевищувати швидкість її виявлення та реагування, а отже, навіть добре побудована система корпоративного управління ризикує втратити здатність своєчасно впливати на розвиток подій.

У чому полягає справжня проблема?

Повернімося до наведеного прикладу зі страховою компанією й спробуймо поглянути на нього з іншого боку. Припустімо, що після кількох днів роботи аналітики все ж виявили відхилення, модель було зупинено, проведено внутрішнє розслідування, а програмне забезпечення доопрацьовано. Здавалося б, інцидент завершено. Проте чи означає це, що організація дійсно знайшла причину проблеми?

Найімовірніше, ні. Насправді компанія лише усунула наслідок — некоректну роботу алгоритму. Головне питання залишається без відповіді: чому система корпоративного управління дізналася про проблему лише після того, як AI уже встиг реалізувати десятки або сотні рішень? Якщо єдина відповідь полягає в тому, що інформація потрапила до відповідальних осіб надто пізно, то ризик повторення подібної ситуації залишається практично незмінним.

У цьому й полягає принципова відмінність між традиційними операційними ризиками та ризиками, пов’язаними з автономними AI-системами. Коли помиляється людина, її помилка зазвичай має локальний характер і стосується одного договору, одного платежу або одного клієнта. Коли помиляється алгоритм, він здатний багаторазово відтворювати одну й ту саму помилку, роблячи це послідовно, дисципліновано і з такою швидкістю, яку людина фізично не здатна повторити.

Ось чому дедалі більшого значення набуває не лише правильність алгоритму, а й здатність організації безперервно спостерігати за його поведінкою. Фактично змінюється предмет контролю. Якщо раніше ми переважно перевіряли, чи правильно побудований процес, то тепер дедалі частіше доведеться контролювати, чи не почав алгоритм поводитися інакше, ніж передбачалося під час його впровадження. Інакше кажучи, увага поступово зміщується від перевірки статичних правил до спостереження за динамікою поведінки автономної системи.

Ця зміна здається майже непомітною, проте її наслідки можуть виявитися фундаментальними. Вона означає, що корпоративне управління вже не може обмежуватися лише розподілом повноважень, затвердженням політик та періодичним контролем їх виконання. Організація повинна отримати здатність спостерігати за поведінкою автономних систем практично безперервно, оскільки лише за цієї умови вона зможе втрутитися до того, як окреме відхилення перетвориться на системну проблему.

Чи готове корпоративне управління до нової реальності?

Якщо уважно подивитися на всі наведені приклади, можна помітити цікаву закономірність. Жоден із них не свідчить про неспроможність моделі Three Lines, ISO 31000 або інших міжнародних підходів до корпоративного управління. Вони, як і раніше, відповідають на фундаментальні питання: хто приймає рішення, хто управляє ризиками, хто здійснює незалежний контроль і хто надає впевненість Наглядовій раді. У цьому сенсі архітектура сучасного корпоративного управління не втратила своєї актуальності.

Водночас усі розглянуті приклади показують іншу проблему, яка ще донедавна майже не привертала уваги. Організація може мати бездоганно побудовану систему управління, чітко визначений розподіл відповідальності, сучасні політики та процедури, але цього вже недостатньо, якщо швидкість розвитку ризику починає перевищувати швидкість управлінського реагування. Іншими словами, корпоративне управління дедалі частіше оцінюватиметься не лише за якістю прийнятих рішень, а й за здатністю приймати їх у той проміжок часу, який залишає розвиток ризику.

На мою думку, саме в цьому полягає головний виклик, який автономний AI ставить перед сучасними організаціями. Ми десятиліттями вдосконалювали архітектуру відповідальності, визначаючи ролі, повноваження та механізми незалежного контролю, проте майже не замислювалися над іншим питанням: хто і за яких умов має право втрутитися, якщо автономна система починає діяти за межами очікуваної поведінки. Виявити проблему вже недостатньо. Не менш важливо забезпечити можливість своєчасно вплинути на її розвиток.

На мою думку, наступний етап розвитку AI Governance полягатиме не у відмові від існуючих моделей корпоративного управління, а в їх доповненні новими механізмами, які забезпечуватимуть безперервне спостереження за поведінкою автономних систем, своєчасне виявлення відхилень і можливість оперативного втручання ще до того, як окремі помилки перетворяться на системну проблему.

Можливо, через кілька років професійна спільнота говоритиме вже не лише про архітектуру відповідальності, а й про архітектуру втручання. І тоді головним питанням корпоративного управління стане не лише: «Хто відповідає за цей ризик?», а й інше, не менш важливе: «Хто здатний зупинити його розвиток до того, як наслідки стануть незворотними?»

Ця стаття народилася завдяки професійній дискусії, яку розпочав Том Маклеод про модель Three Lines. Цінність подібних інтелектуальних експериментів полягає не в тому, що вони дають готові відповіді, а в тому, що вони допомагають сформулювати нові питання, яких ще кілька років тому ми навіть не ставили.

Можливо, дискусія про AI Governance лише починається. Але вже сьогодні зрозуміло, що штучний інтелект змушує нас переосмислювати не лише окремі процедури чи стандарти, а й фундаментальні принципи корпоративного управління, які десятиліттями здавалися незмінними. Можливо також, найцікавіший парадокс AI Governance полягає в тому, що ми навчилися досить добре відповідати на питання, хто відповідає за ризик, але поки що лише починаємо замислюватися над іншим: хто має право і можливість втрутитися до того, як цей ризик реалізується. Як на мене, навколо цього питання найближчими роками розгортатиметься одна з найцікавіших професійних дискусій.

Сергій БАБИЧ