Штучний інтелект дедалі активніше використовується у фінансовому секторі, медицині, державному управлінні та інших критично важливих сферах. Разом із цим стрімко зростає кількість різноманітних перевірок, аудитів і сертифікацій. Організації отримують результати тестування моделей, оцінки ризиків, перевірки на упередженість, звіти команд, що моделюють атаки, картки моделей, висновки незалежних експертів і сертифікаційних органів. На перший погляд може здатися, що така кількість оцінювань автоматично підвищує рівень довіри до систем штучного інтелекту,  проте новий матеріал Linda Tuck Chapman  в мережі LinkedIn демонструє, що це далеко не завжди так. Різні види оцінювання відповідають на різні запитання, тому жоден із них окремо не здатний підтвердити надійність системи в усіх можливих умовах використання.

Автор звертає увагу на поширену помилку, коли будь-який позитивний висновок сприймається як універсальний доказ безпечності ШІ. Насправді результати бенчмарків демонструють продуктивність моделі на визначеному наборі даних, перевірки на упередженість аналізують можливу дискримінацію окремих категорій користувачів, моделювання атак дозволяє оцінити стійкість до зловживань, а аудит системи управління підтверджує наявність необхідних процедур корпоративного управління. Кожна з цих перевірок має власну мету, власні обмеження та власну сферу застосування. Високий результат в одному напрямі не означає автоматичної відсутності ризиків в іншому, тому головним питанням стає не факт проведення оцінювання, а його зміст і практична цінність.

Сучасні міжнародні підходи дедалі більше зміщують увагу з формального підтвердження проведення оцінювання на якість отриманих доказів. Організаціям рекомендують аналізувати, яку версію моделі перевіряли, для якого сценарію використання виконувалася оцінка, наскільки тестові умови відповідали реальному середовищу експлуатації, який обсяг інформації отримали експерти, чи була оцінка незалежною, які ризики, категорії користувачів, мови та сценарії відмови були включені до перевірки, а які залишилися поза її межами. Без відповідей на ці запитання навіть позитивний висновок може створювати хибне відчуття безпеки, оскільки підтверджує лише окремий аспект функціонування системи.

Подальша дискусія під публікацією розвиває цю думку. Один із коментаторів слушно зазначає, що надійність оцінювання не є постійною характеристикою аудиторського звіту. Вона залежить від того, наскільки чітко визначено предмет перевірки, чи відповідає методика поставленому завданню, чи достатньо зібрано доказів, чи можна простежити їх походження, а також чи був оцінювач компетентним і незалежним. Організація повинна розуміти, для яких управлінських рішень, за яких умов і протягом якого часу вона може покладатися на отримані результати. Linda Tuck Chapman погоджується з таким підходом і наголошує, що будь-яке оцінювання має контекстний характер. Воно може бути переконливим для однієї версії моделі та певного сценарію використання, але втратити актуальність після зміни даних, конфігурації, постачальника або середовища експлуатації.

Не менш важливою темою дискусії стала відтворюваність оцінювання. Якщо інший незалежний експерт, отримавши доступ до тих самих доказів, не може відновити логіку зроблених висновків, рівень довіри до такого оцінювання суттєво знижується. Особливо актуальним це стає для автономних систем штучного інтелекту. Організації повинні зберігати не лише підсумковий звіт, а й повний ланцюг доказів, використаних під час оцінювання: результати перевірок, погодження, прийняті рішення, виконані дії та їх наслідки. Така простежуваність поступово перетворюється на одну з ключових умов довіри до систем управління штучним інтелектом.

Автор також звертає увагу на ще одну принципову особливість сучасних моделей. Будь-яке оцінювання відображає стан системи лише на момент його проведення, оскільки надалі може змінитися модель, дані, конфігурація сервісу, сценарії використання або навіть постачальник технології. За таких умов висновки, які ще вчора були достатньо переконливими, поступово втрачають свою актуальність, і тому міжнародні рекомендації дедалі частіше розглядають оцінювання як безперервний процес, який охоплює початкову оцінку ризиків, перевірку перед введенням системи в експлуатацію, постійний моніторинг після запуску, повторне оцінювання після суттєвих змін та періодичну незалежну перевірку.

Найцікавіший висновок дискусії, на мою думку, виходить далеко за межі оцінювання штучного інтелекту. Один із коментарів дуже влучно нагадує добре відомий принцип ризик-менеджменту: вимірювання ризику ще не означає управління ризиком. Будь-яке оцінювання створює інформаційну основу для прийняття рішення, але не знижує ризик автоматично. Реальні зміни починаються лише тоді, коли результати перевірки впливають на порядок використання системи, вимоги до людського контролю, процедури моніторингу, договірні умови з постачальниками або пріоритети усунення виявлених недоліків. Якщо після завершення аудиту нічого не змінюється, навіть найбільш якісний звіт не робить використання штучного інтелекту безпечнішим.

У цьому, мабуть, і полягає головний практичний висновок усієї дискусії. Зрілість управління штучним інтелектом варто оцінювати не за кількістю проведених аудитів, тестів чи сертифікацій, а за тим, наскільки їх результати впливають на управлінські рішення. Довіра до ШІ формується не окремим аудиторським висновком чи сертифікатом, а поєднанням якісних доказів, незалежної перевірки, прозорості процесу прийняття рішень, постійного моніторингу та готовності організації своєчасно реагувати на нові ризики.

Сергій БАБИЧ