ИИ начал обманывать киберпреступников их же методами

Австралийская компания Apate, названная в честь греческой богини обмана, уже два года разрабатывает систему, которая перенаправляет телефонных мошенников на разговоры с ИИ-ботами. Боты обучены поддерживать беседу как можно дольше, не поддаваясь на уловки, и одновременно собирать разведданные о схемах мошенников. По словам основателя и CEO Apate Дали Каафара, цель — создать «идеальных жертв» для скамеров.

Платформа Apate, используемая банками при поддержке телеком-компаний, насчитывает около 350 000 ботов. Они не только отвечают на звонки, но и внедряются в мошеннические чаты, реагируют на текстовые сообщения, чтобы изматывать преступников и собирать информацию. Компания уже собрала более 250 000 единиц данных о мошенниках в реальном времени, включая URL-адреса скам-сайтов, счета денежных мулов и банковские реквизиты.

Боты имеют разные личности, языковые навыки и профили, чтобы мошенники не догадались, что общаются с ИИ. Каафар отмечает, что боты ведут себя как реальные люди: иногда у них есть WhatsApp, иногда нет; иногда они отвечают на звонок, а иногда сбрасывают его со словами «Я перезвоню позже». По его словам, разговоры с Apate часто длятся более двух часов.

Журналисты Wired протестировали демоверсию Apate, где пользователь играет роль мошенника, а бот — жертвы. Персонажи выражают здоровый скептицизм, но оставляют достаточно зацепок, чтобы мошенник продолжал попытки. В ходе теста система Apate была вовлечена и отвечала естественно, но за шесть минут усилий журналистам не удалось убедить ИИ инвестировать в криптовалютную аферу.

Несмотря на усилия Apate, киберпреступники ежегодно инициируют миллиарды сообщений и звонков, а самые изощрённые операции работают в промышленных масштабах. Правоохранительные органы и исследователи пока не могут остановить рост цифрового мошенничества. Однако ИИ может открыть новую эру в борьбе с ним, помогая в обмене разведданными между полицией, соцсетями, банками и другими отраслями.

Другой подход — использование «приманок» (honeypots). Марк Веро, докторант ETH Zurich, и его коллеги обнаружили, что honeypot на базе LLM удерживает атакующих ИИ-агентов значительно дольше, чем предсказуемые системы. «Агенты-атакующие гораздо больше убеждены LLM-симулированными honeypot и реже помечают их как настоящие», — говорит Веро. По его мнению, хорошо построенные системы приносят обороняющейся стороне преимущество.