Сегодня организации активно интегрируют искусственный интеллект в свои процессы. Новейшие технологии облегчают обработку документов, анализ информации и автоматизацию взаимодействия с клиентами. Тем не менее, с расширением возможностей возникают новые вызовы для защиты информации. Следует отметить, что ранее Федеральная служба по техническому и экспортному контролю (ФСТЭК) России впервые включила в систему угроз информационной безопасности риски, связанные с применением ИИ. Генеральный директор Smart Engines доктор технических наук Владимир Арлазаров поделился своим мнением о том, какие последствия может иметь внедрение нейросетей в бизнес-процессы, какие данные категорически нельзя передавать чат-ботам и действительно ли нейросети скоро смогут развиваться без участия человека. 
— Нейросетевые технологии стремительно развиваются и находят всё большее применение. Какие у этого явления есть негативные стороны?
— Рисков здесь действительно множество. Один из наиболее очевидных — мошенничество. ИИ способен имитировать человеческую речь с высокой точностью, поэтому злоумышленники используют нейросети для автоматизации общения с потенциальными жертвами, создания реалистичных видеороликов и фотографий, подделки документов и попыток обхода систем биометрической аутентификации.
Кроме того, нельзя игнорировать возможное военное применение ИИ. Подобно тому, как ядерные технологии, помимо использования в энергетике и медицине, привели к созданию ядерного оружия, искусственный интеллект может быть задействован в оборонной сфере. Это создает серьезные угрозы. Особенно, если учесть, что детали таких проектов обычно держат в секрете.
Кроме того, существуют и экономические риски. В современные ИИ-технологии вкладывается огромное количество инвестиций, измеряемое триллионами. Когда такие средства направляются на развитие технологии, она неизбежно влияет на глобальные процессы. Однако многие проекты оказываются убыточными. Стоимость подписки на сервисы не окупает ресурсы, необходимые для их функционирования. Это может иметь негативные последствия для экономики в будущем.
— Большинство компаний сегодня стараются внедрять в работу ИИ. Какие это влечёт риски для кибербезопасности?
— Здесь многое зависит от способа внедрения технологий. Специалисты по информационной безопасности умеют создавать изолированные системы, минимизируя вероятность конкретных атак. Однако это дорого, и большинство компаний при внедрении искусственного интеллекта не задумываются об этом.
С появлением ИИ возник отдельный класс специфических угроз. Речь идет о специальных атаках на сами модели. Это не классический взлом, а исследование уязвимостей модели. Например, если нанести на одежду специальный визуальный паттерн, который «сбивает с толку» систему распознавания лиц, то此人 не будет замечен видеокамерами. Таких сценариев множество, и хакеры продолжают искать слабые места ИИ.
— Насколько сегодня распространены хакерские атаки на большие модели ИИ?
— Атаки действительно происходят, однако они сильно отличаются от стандартных взломов. Сегодня методы стали более сложными и изощренными, поскольку модели быстро развиваются. Один из вариантов — попытка влиять на поведение модели, например, дообучая ее формированию нужных злоумышленнику ответов. Это называется «отравление данных» (data poisoning), когда работа алгоритма нарушается из-за внесения ложной информации. Кроме того, существует понятие «промпт-инъекции» (prompt injection) — когда, составляя запрос специальным образом, злоумышленник может манипулировать поведением ИИ.
Другой способ — использование самой модели как инструмента для создания вредоносного кода или вируса.
— Почти все компании активно внедряют в работу ИИ-инструменты. Конечно, при этом не обходится без загрузки в чат-боты корпоративных данных. С какими рисками это сопряжено?
— Нужно понимать: если вы передаете информацию, имеющую какую-либо ценность, внешнему сервису, она перестает быть вашей. Информация потом может быть использована против вас, к примеру, вашими конкурентами.
Многие сервисы заявляют об анонимности или отказе от хранения данных, однако некоторые прямо указывают, что информация может быть использована для обучения моделей. Это означает, что она все же сохраняется и впоследствии анализируется. И, конечно, существуют методы извлечения данных из обученных нейросетей. Они довольно сложные и требуют больших затрат, но все же позволяют реконструировать контент, на котором обучалась модель.
— Помогает ли избежать рисков развёртывание локальных нейросетей, которые работают непосредственно на компьютере пользователя или корпоративном сервере?
— Да, локальное развёртывание снижает риск утечки. Если модель установлена внутри закрытого контура и не имеет соединения с внешними сетями, то данные не покинут инфраструктуру компании. Обновление такой модели происходит без передачи данных наружу. Таким образом, технически возможно полностью исключить внешнюю связь, если всё правильно реализовано. Однако это, опять же, очень дорого.
Но если компания действительно заботится о своих данных, ей необходимо создать мощную систему киберзащиты. При работе с конфиденциальной информацией без защищенных контуров, к сожалению, не обойтись.
— Уже сформировалось понятие «теневой ИИ» — когда сотрудники компаний из благих побуждений используют нейросети, но не учитывают аспекты безопасности и конфиденциальности. Что можно сделать, чтобы снизить риски утечки данных в таких условиях?
— Риски так называемого теневого ИИ относятся к сфере информационной безопасности. Меры противодействия здесь во многом классические. Во-первых, нужно установить технические ограничения, чтобы с рабочего компьютера нельзя было передавать данные во внешние сервисы.
Во-вторых, важна организационная работа. Нужно сформировать четкую политику безопасности использования ИИ внутри компании.
— Можно ли снизить риск утечки, если загружать документ не целиком, а передавая данные по частям? Например, отправляя отдельные показатели или таблицы. Способна ли нейросеть сопоставить разрозненные фрагменты информации и восстановить цельную картину?
— Да, способна. Существуют технологии, которые построены на том, чтобы из отдельных фрагментов данных собирать целостную картину о человеке или компании.
— Какие данные не стоит ни при каких условиях заливать в чат-боты?
— В первую очередь ни в коем случае нельзя загружать изображения или сканы своих персональных документов. Передавать чат-боту паспорт или другие документы, удостоверяющие личность, — это огромный риск, который может обернуться серьезными последствиями. Вообще не стоит передавать ничего личного.
Для компаний правило то же самое. Не следует заливать информацию, которая предназначена лишь для внутреннего использования или относится к коммерческой тайне. Если информация и так находится в открытом доступе, то, конечно, её передача чат-боту ничем не грозит.
— Сейчас многие эксперты пишут, что технологическая сингулярность, когда ИИ сможет развиваться без участия человека, наступит намного быстрее, чем ожидалось. Илон Маск вообще считает, что это произойдёт уже в этом году. Что из этих прогнозов маркетинг, а что правда?
— Значительная часть таких прогнозов скорее относится к пиару. С научной точки зрения ИИ, безусловно, развивается, но постепенно. Современные крупные модели, такие как ChatGPT, демонстрируют впечатляющие возможности, но их развитие носит экстенсивный характер, поскольку для их улучшения требуются огромные ресурсы. Не говоря о том, что пока не предвидится скачка в развитии технологии, который позволил бы моделям мыслить и рассуждать как человек.
Да, нейросети обрабатывают огромные объёмы данных, но это ведь не полноценное человеческое мышление. ИИ облегчает работу учёных и специалистов, например ускоряет вычитку документов или помогает генерировать код. Но человеку всё равно приходится самостоятельно дорабатывать любой сгенерированный нейросетями контент. Так что говорить о скорой технологической сингулярности не приходится.
