Brave және Сингапур ұлттық университетінің зерттеушілері AI-модельдердегі ағуларды анықтаудың жаңа әдісін ұсынды. CAMIA (Context-Aware Membership Inference Attack) әдісі нейрожелілердің «жадына» жасалатын алдыңғы шабуылдардан едәуір тиімдірек болды.
Бұл неге маңызды
Қазіргі ЖИ-дің басты мәселелерінің бірі — «деректерді есте сақтау». Үлкен мәтін массивтерінде оқытылған модельдер байқамай жеке ақпаратты қайталап шығаруы мүмкін. Медицинада бұл пациенттер деректерінің ашылуымен қауіпті, ал бизнесте — ішкі хат алмасулар мен құжаттардың ағып кетуімен.
Жақында LinkedIn-нің генеративтік модельдерді жақсарту үшін пайдаланушы деректерін пайдалану ниеті туралы мәлімдемелерінен кейін мұндай қауіптер күшейді. Сарапшылар ескертеді: мұндай тәжірибелер жабық мәліметтердің ЖИ арқылы ашық қолжетімділікте пайда болуына әкелуі мүмкін.
CAMIA қалай жұмыс істейді
Бұған дейін модельдерді тексеру үшін Membership Inference Attacks (MIA) — ЖИ оқыту кезінде нақты үлгіні көргенін түсінуге тырысатын шабуылдар қолданылған. Алайда классикалық MIA GPT секілді генеративтік жүйелермен нашар жұмыс істеді, өйткені олар модельдің тек қорытынды сенімділігін талдады.
CAMIA тәсілді өзгертеді: зерттеушілер ЖИ-дегі есте сақтаудың контекстке тәуелді екенін анықтады. Модель деректерді анықсыздық жағдайларында жиі «есіне түсіреді».
Мысал:
- егер сұраныс «Harry Potter is…written by…» сияқты болса, нейрожелі контексті пайдаланып жалғасын оңай таба алады;
- бірақ кіріс «Harry» сөзімен шектелген болса, «Potter» деген дәл жауап тек оқыту мәтінін есте сақтаған жағдайда ғана мүмкін.
CAMIA әрбір токен генерациясы кезінде модельдің сенімділік динамикасын бақылайды. Бұл басқа әдістер дәрменсіз жерлерде жасырын есте сақтауды анықтауға мүмкіндік береді.
Сынақ нәтижелері
MIMIR бенчмаркінде зерттеушілер CAMIA-ны Pythia және GPT-Neo модельдерінде тексерді. ArXiv деректерінде оқытылған Pythia 2.8B-мен жасалған экспериментте анықтау дәлдігі екі есеге жуық артты:
- true positive rate көрсеткіші 20,11%-дан 32,00%-ға дейін өсті,
- сонымен қатар false positive rate тек 1% деңгейінде сақталды.
Бұдан басқа, әдіс жеткілікті жылдам болды: бір GPU A100-де ол 1000 үлгіні шамамен 38 минутта өңдеуге қабілетті.
Бұл индустрия үшін нені білдіреді
Әзірлеме сүзгіден өткізілмеген датасеттерде оқытылған ауқымды модельдер құпиялылыққа тікелей қауіп төндіретінін ЖИ индустриясына еске салады. CAMIA нейрожелілерді аудиттеу құралы болады және, мүмкін, компанияларды құпия оқыту мен деректерді дифференциалды қорғау технологияларын енгізуге итермелейді.
Дереккөздер
⚠️ Материал ашық дереккөздер негізінде дайындалған. Барлық келтірілген фактілер мен деректер олардың авторларына тиесілі. Авторлық құқықтар Қазақстан Республикасы заңнамасымен қорғалады. Сайт «Бұқаралық ақпарат құралдары туралы» және «Авторлық құқық пен сабақтас құқықтар туралы» заңдар аясында жұмыс істейді. Редакция бастапқы дереккөздердегі ықтимал қателіктерге жауап бермейді.
Мақалаға пікірлер