Новите рискове - информационното натравяне

Изкуственият интелект пренаписва правилата за сигурност

Бизнес информацията е най-застрашена

С голямата сила идва и голямата отговорност. Популярната реплика може съвсем спокойно днес да се използва за възхода на изкуствения интелект. Появили се на пазара преди едва две-три години за широко ползване, големите езикови модели и AI чатботовете си пробиват път не само в ежедневието на обикновените хора, но и в офисите на компании и организации от различен мащаб. И макар и улеснение и спестяване на ресурси, те идват без съмнение със своите рискове.

Какво правят в такъв случай екипите в тези организации, които трябва да се справят с рисковете по начало? Вземайки предвид постоянния недостиг на кадри в киберзащитната индустрия в глобален план, може да се досетим за мнението на същата тази индустрия.

Според проучване, чиито резултати бяха публикувани тази седмица, близо половината от анкетираните специалисти (48%) вярват, че е нужно да се направи „стратегическа пауза“ във внедряването на генеративните AI инструменти. Това ще помогне на екипите по защита да „калибрират“ сега съществуващите си защити с цел настъпването на технологията. Откритието може да се намери в доклада на Cobalt „2025: Състояние на сигурността на големите езикови модели“. Проучването се основава на допитване до над 450 професионалисти в киберсигурността, защитни лидери и IT мениджъри.

„Киберпрестъпниците не изчакват. Екипите по сигурност трябва да правят същото“, смята Олман. „Изследването ни сочи, че генеративният изкуствен интелект преобразява начина, по който работим. Но в същото време той пренаписва правилата на риска. Основите на сигурността в случая трябва да се развиват едновременно с това. В противен случай рискуваме да изградим иновациите на утрешния ден на основите на остарели предпазни механизми“, казва Гюнтер Олман, технологичен директор на Cobalt.

Почти половината (46%) смятат, че бизнес информацията в случая е най-застрашена. Притесненията тук са в различни посоки. Това включва опасността от разкриването на информация (46% от анкетираните) и „натравяне“ на информационните модели или кражба (42%). Т.нар. „информационно натравяне“ (data poisoning) включва умишлената манипулация (от външна или вътрешна страна) на входираната информация при обучение на моделите. Следващи по значимост посочени рискове тук са неверни данни (40%) и утечка на информацията, използвана за обучение.

Източник: Kaldata