Резултати студије показују да се вештачка интелигенција не сме оцењивати само према тачности одговора већ и према томе колико су ти одговори стабилни и логички утемељени. А то захтева дубинско разумевање начина на који постојећи модели доносе закључке.
Вештачка интелигенција (AI) више није само технички алат – она доноси одлуке које све чешће утичу на људске животе. Нова студија објављена у фебруару у Transaction on Machine Learning Research открила је кључне разлике између размишљања AI и људи: иако она може пратити научене обрасце, не размишља као људи. Другим речима, показало се да има озбиљне тешкоће у нечему што људима иде прилично добро – у препознавању аналогија и генерализацији.
То је лоша вест за све оне који AI виде као могућу замену за људско просуђивање у сложеним ситуацијама, попут правосуђа, медицине или образовања. Аутори у уводу наводе да су велики језички модели (LLM) показали добре резултате на бројним тестовима закључивања, укључујући оне који испитују способност размишљања помоћу аналогија. „Међутим, постоји расправа у којој мери ти модели заиста користе опште апстрактно размишљање, а ослањајусе на пречаце или друге непоуздане процесе, попут оних што превише зависе од сличности с подацима на којима су тренирани”, тумаче аутори.
У новм истраживању научници су истражили поуздасност способности закључивања путем аналогије истакнуте класе LLM – GPT ( Generative Pre-training Transformer) модела у три домена: аналогијама с низовима слова, бројчаним матрицама и у наративним аналогијама.
У свакој су тестирали људе и GPT моделе на варијацијама изворних задатака с аналогијама – верзијама које испитују исте способности апстрактног закључивања, али су друкчије од задатака у тренинзима модела. Идеја је да систем који користи поуздано апстрактно размишљање не би требало да показује значајан пад делотворности на тим варијацијама. Но тестови су показали другачије. „Kод једноставних аналогија с низовима слова открили смо да људи и даље постижу високе резултате на обе тестиране варијанте, док се успешност GPT модела нагло смањује. Тај узорак је мање изражен кад се повећава сложеност аналошких задатака јер и људи и GPT модели тада постижу лошије резултате и на изворним и на варијантним задацима.
Kод бројчаних матрица пронашли смо сличан образац, али само код једне од две тестиране варијанте. На крају, тестирали смо поузданост људи и GPT модела на наративним аналогијама и открили да су, за разлику од људи, GPT модели осетљиви на учинке редоследа одговора и да су вероватно склонији парафразирању него људи”, закључују аутори.
Примери из студије укључивали су једноставне низове слова, рецимо: ако низ abcd прелази у abce, који би онда био наставак за низ ijkl? Већина људи одговориће ijkm – замењено је посљедње слово следећим, па се исти принцип примењује и у новом случју. У том задатку GPT-4 ће одговорити исправно. Но ако је примјер abbcd → abcd, где се уклања поновљено слово, и кад питање гласи: ijkkl → ?, људи ће врло вероватно рећи ijkl. Међутим, GPT-4 ће ту често грешити.
Аутори истичу да су код једноставних аналогија с низовима слова открили да људи и даље постижу високе резултате на обе тестиране варијанте док се успешност GPT модела нагло смањује. Тај узорак био је мање изражен кад се повећала сложеност аналошких задатака јер су и људи и GPT модели тада постизали лошије резултате и на изворним и на варијантним задацима. Kод бројчаних матрица научници су пронашли сличан образац. Проблем није у подацима, већ у начину на који се користе.
Већину данашњих модела вештачке интелигенције тренира се на великим количинама података. Што више информација имају, то боље препознају обрасце. Но генерализација – оно што људи интуитивно раде – захтева више од понављања узорака. Људи су у стању да апстрахују из специфичних образаца до општих правила, док велики језички модели немају ту способност. Они су добри у препознавању и повезивању образаца, али не и у генерализизацији.
Студија је, такође, показала да су AI модели осетљиви на тзв. учинак редоследа – значајно мењати зависно од редослиједа којим се задаци презентују. Kод људи тај учинак готово и не постоји. AI је надаље склона парафразирању – уместо да јасно одговори на питање, често га преформулише, што додатно отежава тумачење одговора и одлука. Људски мозак не учи само из примера; он зна кад правило вреди, а кад не. Примерице, кад судија разматра преседан у судском поступку, он зна да примени ранију одлуку чак и ако се конкретни детаљи поступка разликују. То захтева аналошко размишљање – способност да се разуме како се једно правило може применити у другачијем контексту. AI то не може учинити поуздано. Студија је обелоданила да AI модели показују нижи степен такозваног zero-shot учења, односно способности да се нешто тачно закључи без познавања неког ранијег примера из исте категорије. Ако не препознаје разлику између сличног и истог, AI у здравству може, на пример, предложити погрешан лек јер не схвата да један симптом може имати потпуно различите узроке у различитим контекстима.
Због свега наведеног постоји стварна опасност да AI модели, кад се користе за анализу правних случајева, дијагностику у медицини или процену ризика у финансијама, донесу одлуке које на папиру делују исправно, а заправо промашују бит у стварним уаловима. У тим случајевима AI не греши због недостатка знања, већ због погрешног размишљања. Резултати студије показују да се AI не сме оцењивати само према тачности одговора већ и према томе колико су ти одговори стабилни и логички утемељени. А то захтева дубинско разумевање начина на који AI модели доносе закључке.
(Илустрација Freepik AI generated)
(Индекс)
