AI iemācās krāpties Q * bert tādā veidā, kā neviens cilvēks to vēl nav izdarījis

Mākslīgajam intelektam ir izdevies pievilt ar labāko cilvēces piedāvājumu, atklājot klasiskās arkādes spēles Q * bert izmantošanu un skrienot ar to.

Kaut arī agrāk AI atkārtojumi pareizi spēlētu Q * bert, kādā brīdī, mācoties, kā spēle darbojas, tas atklāj ekspluatāciju, kas ļauj tai apkopot nenormālus punktus. Protams, tāpat kā jebkurš spēlētājs, kas meklē medību rezultātu, tas atkārto procesu, lai pēc iespējas efektīvāk varētu palielināt savu rezultātu.

Zemāk esošajā videoklipā varat redzēt, kā AI darbojas pa platformām. Sākumā izskatās, ka tas bezmērķīgi lec starp platformām. Tā vietā, lai redzētu, kā spēle virzās uz nākamo kārtu, Q * bert iestrēgst cilpā, kur sāk mirgot visas tās platformas - šeit mākslīgais intelekts pēc tam var turpināt spēli ar neprātu, sakrājot milzīgus punktus.

LASI TĀLĀK: Beidzot ir diskreditēts viens no vispretrunīgākajiem spēļu ierakstiem

kā dokumentu pārvērst par JPEG

Kā AI uzvarēja Q * bert karā

Sagraujot visu laiku titula rekordu, AI ieguva neiespējami augstu rezultātu, pateicoties tā evolūcijas stratēģijas algoritmu programmēšanai. Evolūcijas stratēģijas (ES) atšķiras no parastās mācīšanās pastiprināšanas (RL), ko tradicionālais AI izmanto, jo tā tiek uzskatīta par vairāk pielāgojamu tās paaudžu mācīšanās dēļ.

Katra mācību cilpa tiek saukta par paaudzi, un tā turpina savu uzdevumu, līdz tiek izpildīts noteikts nosacījums (šajā gadījumā augsts rezultāts). Ar katru nākamo paaudzi AI uztver iepriekšējās paaudzes zināšanas un tāpēc labāk sasniedz to pašu mērķi un pārspēj tos. Turpiniet iet, un jūs iegūsiet AI, kurai ir absolūti nepārspējams uzdevums. Tas ir tieši tas, kas šeit notika ar Q * bert rezultātu.

Ieskicēts papīrs , kuru pagājušajā nedēļā publicēja Freiburgas universitātes (Vācija) pētnieki, šķiet, ka kļūda nebija zināms daudzums. Patiesībā, lai arī viņi nav pārāk pārsteigti par kļūdas atrašanu, ir interesanti redzēt, kā AI pēc tam gāja uz priekšu un iemācījās to izmantot katru reizi, kad spēlēja, lai maksimizētu savu punktu skaitu.

LASI TĀLĀK: Šis mākslīgais intelekts ir iemācījies apgūt Super Mario Bros

Lai atrastu kļūdu, aģentam vispirms bija jāiemācās gandrīz pabeigt pirmo līmeni - tas netika izdarīts uzreiz, bet tika izmantoti daudzi mazi uzlabojumi, pētnieki paskaidroja Reģistrs . Mums ir aizdomas, ka kādā apmācības brīdī viens no pēcnācēju risinājumiem saskārās ar kļūdu un ieguva daudz labāku punktu skaitu, salīdzinot ar brāļiem un māsām, kas savukārt palielināja tā ieguldījumu atjauninājumā - tā svars bija vislielākais svērtajā vidējā vērtībā. Tas lēnām pārvietoja risinājumu telpā, kur arvien vairāk pēcnācēju sāka sastapties ar to pašu kļūdu.

Mēs nezinām precīzus nosacījumus, kādos parādās kļūda; iespējams, ka tas parādās tikai tad, ja aģents ievēro modeli, kas šķiet neoptimāls, [piemēram, ja aģents tērē laiku vai pat zaudē dzīvību]. Ja tas tā būtu, tad standarta RL būtu ārkārtīgi grūti atrast kļūdu: ja izmantojat papildu atlīdzības, jūs iemācīsities stratēģijas, kas ātri dod zināmu atlīdzību, nevis mācīšanās stratēģijas, kas kādu laiku nedod daudz atlīdzību un tad pēkšņi laimē lielu.

Skatīt saistīto Dragster čempions Tods Rodžers tikko zaudējis savu vainagu pēc 35 gadiem Šis mākslīgais intelekts jau 17 dienas mācās apgūt Super Mario Bros 1-2 Skatieties, kā šis AI iemācās braukt GTA V vietnē Twitch

Tomēr, neskatoties uz robota brīnišķīgajiem rezultātiem, pētnieki nesaka, ka tas ir gadījums, kad ES čempions mācās RL. Faktiski abām sistēmām ir savas problēmas, un šo divu kombinācija lielākoties tiek uzskatīta par labāko variantu, kas virzās uz priekšu.

Tā pati ES metode citās Atari spēlēs nenodrošināja gandrīz vienādus pozitīvus rezultātus. No otras puses, RL ir atbildīgs par rekordu sagrūšanu pa kreisi, pa labi un pa centru, tostarp par pasaules labākā GO spēlētāja pārspēšanu. ES tomēr joprojām ir sava vieta lietās, un patiesībā tas, kā Nvidia veic daudz AI apmācības, jo tam ir nepieciešama lielāka skaitļošanas jauda, ​​bet ilgāk sasniedz labākus rezultātus.

Neatkarīgi no tā, kurš veids kļūs par AI attīstības nākotni, vismaz šis robots, kurš krāpj sistēmu, nav tik slikts kā šis tagad apkaunots videospēļu pasaules čempions .