Meta 29 маусымда Brain2Qwerty v2 зерттеу жүйесін таныстырды. Ол магнитоэнцефалография арқылы алынған үздіксіз ми белсенділігі жазбаларынан адам теріп жатқан сөйлемдерді декодтайды. Meta компаниясының ресми хабарламасына сәйкес, тәжірибедегі сөздерді танудың орташа дәлдігі 61%, ал ең жақсы нәтиже көрсеткен қатысушыда 78% болды.
Жүйе адамның еркін немесе жасырын ойларын оқымайды. Тәжірибеде дені сау еріктілер алдымен дайын сөйлемдерді естіп, кейін кідірістен соң оларды МЭГ сканерінің ішінде пернетақтамен терген. Brain2Qwerty v2 дәл осы бақыланатын мәтін теру кезіндегі ми белсенділігін талдаған.
Brain2Qwerty v2 зерттеуі қалай жүргізілді
Brain2Qwerty v2 препринтінде зерттеушілер тоғыз дені сау қатысушыдан шамамен 22 мың сөйлем жинағаны жазылған. Әр ерікті МЭГ құрылғысында шамамен он сағат өткізген, ал жазбалардың жалпы көлемі 90 сағатқа жуық болған.
Магнитоэнцефалография хирургиялық араласуды қажет етпейді: бастың сыртындағы сенсорлар нейрондар жұмысы кезінде пайда болатын әлсіз магнит өрістерін өлшейді. Әр перне басылған нақты уақытты қажет еткен алғашқы нұсқадан айырмашылығы, жаңа жүйе үздіксіз сигналды өңдеп, нақты уақытқа жақын режимде сөйлем жасауға арналған.
Жүйе сигналдарды мәтінге қалай айналдырады
Архитектура үш модульден тұрады. Біріншісі үздіксіз МЭГ жазбаларынан таңбалар мен перне басуға қатысты белгілерді бөліп алады. Екіншісі нейрондық сигналдың бөліктерін сөздердің сандық көріністерімен сәйкестендіреді. Одан кейін қосымша үйретілген үлкен тілдік модель алдын ала танылған таңбалар мен МЭГ деректерін бірге пайдаланып, қорытынды сөйлемді құрастырады.
Авторлар жүйенің бағдарламалық кодын жақсарту нұсқаларын іздеу үшін ЖИ агенттерін де қолданған. Meta хабарламасында соңғы конфигурацияларды автономды жүйе емес, инженерлер таңдағаны көрсетілген.
61% және 78% көрсеткіштері нені білдіреді
Препринтте сөздер бойынша орташа қате деңгейі, яғни WER, 39% деп көрсетілген. Бұл дұрыс танылған сөздердің 61%-ына сәйкес келеді. Ең үздік қатысушыда дәлдік 78%-ға жеткен; Meta оның сөйлемдерінің жартысынан көбі бір сөздік қатемен немесе қатесіз қалпына келтірілгенін хабарлады.
Бұл сандар тоғыз қатысушыға және нақты тәжірибелік хаттамаға ғана қатысты. ЖИ жүйелерін жекелеген сынақтарда салыстыру жағдайындағыдай, нәтижені барлық міндетке таратуға немесе технология практикалық қолдануға дайын деп қабылдауға болмайды.
Тілдік модель мағыналы, бірақ қате сөйлем құрауы мүмкін
Қосымша үйретілген тілдік модель шулы деректерден мағыналы сөйлем қалпына келтіруге көмектеседі, бірақ жеке тәуекел де туғызады. Препринт авторлары сигнал сапасы жеткіліксіз болғанда жүйе грамматикалық жағынан дұрыс, бірақ бастапқы сөйлемнен едәуір өзгеше мәтін құрауы мүмкін екенін атап өтті. Медициналық байланыс интерфейсі үшін мұндай қате аса маңызды.
v2 Nature журналында жарияланған алғашқы нұсқадан несімен ерекшеленеді
v2 таныстырылған күні Nature Neuroscience журналы алғашқы Brain2Qwerty туралы рецензияланған зерттеуді жариялады. Оған 35 дені сау ерікті қатысқан, ал жүйе МЭГ және ЭЭГ деректері бойынша жеке таңбаларды таныған. Қорытынды мақалада МЭГ үшін таңбалар бойынша орташа қате 29%, ЭЭГ үшін 65% болғаны, ал МЭГ қолданған үздік қатысушыларда бұл көрсеткіш 18%-ға дейін төмендегені жазылған.
Бірінші және екінші нұсқаның көрсеткіштерін тікелей салыстыруға болмайды: Nature мақаласы таңбалар бойынша қате деңгейін өлшейді, ал v2-нің негізгі нәтижесі сөздер дәлдігі арқылы берілген. Бұған қоса, v2 әзірге препринт ретінде жарияланды және бөлек журналдық рецензиядан өткен жоқ.
Клиникалық қолдануға дейін маңызды шектеулер бар
Brain2Qwerty v2 сөйлеу немесе қозғалу қабілетін жоғалтқан пациенттерде емес, дені сау адамдарда сыналды. Әзірлеушілер дәлдік күнделікті қарым-қатынас үшін әлі жеткіліксіз екенін мойындайды. Сонымен қатар зерттеуде қолданылған МЭГ сканері көптеген клиника мен пациент үшін қолжетімсіз ірі әрі қымбат жабдық болып қала береді.
Meta бұл жұмысты болашақтағы инвазивті емес ми–компьютер интерфейстерінің ықтимал бағыты ретінде қарастырады. Бірақ жарияланған нәтижелер дайын медициналық құрылғы бар екенін дәлелдемейді. Тәжірибе мен практикалық диагностиканы ажырату ми деректерін талдайтын басқа ЖИ жүйелерін бағалағанда да маңызды.
Код ашық, v2 деректері әзірге қолжетімсіз
Meta Brain2Qwerty v1 және v2 оқыту кодын GitHub-та жариялады. Баск когнитивтік ғылым, ми және тіл орталығы алғашқы нұсқаның деректер жиынтығын Hugging Face платформасына орналастырды. Жоба бетіне сәйкес, v2 деректері ғылыми мақала қабылданғанға дейін эмбаргода қалады.
Дереккөздер: Meta AI, Brain2Qwerty ресми беті, v2 препринті, Nature Neuroscience, GitHub.
Сурет Cifrum.kz үшін жасанды интеллект көмегімен жасалды және тұжырымдамалық сипатқа ие. Ол Meta компаниясының нақты жабдығын немесе клиникалық процедураны көрсетпейді.
Мақалаға пікірлер