Četbot by zmaturoval na dvojku
Päť slovenčinárov by nerozoznalo umelú inteligenciu od žiaka
Rovina je ako tajomná krajina plná krásnych tajomstiev a nekonečných možností. Jej rozľahlosť sa tiahne do nekonečna, ako keby sa nikdy nekončila. Jej jednoduchosť a čistota sú ako prírodný klenot, ktorý v sebe skrýva neopísateľnú krásu.“
Toto nie je úvod slohovej práce spoteného maturanta v obleku, ktorý zo seba za hodinu vysúkal zopár prvoplánových metafor. Tieto vety napísala umelá inteligencia ChatGPT od spoločnosti OpenAI. Stačilo zadať iba jednu vetu: „Napíš umelecký opis na tému čaro roviny.“
Učitelia priznávajú, že s veľkou pravdepodobnosťou by neprišli na to, že maturitný sloh nenapísal živý človek. Umelá inteligencia síce nevyniká originálnosťou, ale jej slohové práce sú na úrovni maturanta, ktorého baví viac fyzika než literatúra.
Četbotu sme dali vypracovať štyri texty na základe vlaňajších maturitných otázok, medzi nimi diskusný príspevok či úvahu. Učitelia niektoré texty ohodnotili na dvojku a prekvapili ich zaujímavé argumenty, s ktorými četbot prišiel. Napríklad jeden z úvahy s názvom Kde je vlastne náš domov?
„Je zaujímavé, že často sa snažíme nájsť svoj domov vonku, v exteriéri, ale skutočný domov je skôr v interiéri, v našom vnútri. Náš domov môže byť v našom vnútornom svete, v našom vnútornom ja. Keď sa cítime vnútorne istý a pokojný, sme schopní nájsť domov kdekoľvek,“píše aj s chybami četbot.
SLOVENČINÁRKA: FASCINUJE MA, AKÉ TEXTY DOKÁŽE ROBOT FORMULOVAŤ
Stačí zadať správny pokyn, jednoduché kľúčové slová a umelá inteligencia vygeneruje súvislý text. Na písanie maturitných slohov sme využili systém ChatGPT (skratka z „Chat Generative Pre-trained Transformer“), ktorý bol spustený v novembri 2022 spoločnosťou OpenAI. Ide o revolučný četbot, ktorý dokáže vygenerovať text na základe zadaných požiadaviek. Je postavený na jazykovom modeli nazvanom GPT-3, ktorý obsahuje 175 miliárd parametrov.
ChatGPT pripomína bežné četovanie, no s tým rozdielom, že na druhej strane nie je živý človek, ale „robot“. Používatelia s ním môžu konverzovať, spýtať sa ho, ako sa má, môžu si od neho vypýtať vtip, báseň, krátky referát na akúkoľvek tému. Môžu mu dať vymyslieť nadpis článku, preložiť nejaký text alebo opraviť v ňom chyby a vypracovať zadanie do práce či do školy.
Najnovšie dáta, s ktorými četbot pracuje, sú z roku 2021, nedokáže teda reagovať na aktuálne témy. Nevie napríklad, že kráľovná Alžbeta II. zomrela a že na Ukrajine je vojna.
Tomuto konverzačnému nástroju sme dali vypracovať tieto maturitné otázky písomnej časti maturitnej skúšky zo slovenčiny. Čaro roviny (umelecký opis) „Príroda je stále nekonečne populárnejšia ako dejiny.“Karel Čapek (diskusný príspevok)
Kde je vlastne náš domov? (úvaha)
Som Ofélia (beletrizovaný životopis literárnej postavy z diela Hamlet od Williama Shakespeara)
Systém pomerne dobre vedel, čo je povedzme umelecký opis, a vôbec nebolo potrebné dávať mu podrobnejšie príkazy, ako napríklad umelecké obrazy či metafory. Stačilo povedať: „Napíš umelecký opis na tému čaro roviny.“Počas testu bola služba vyťažená a mala občasné výpadky. Ponúkala maximálne 250-slovné odpovede, čo na maturitný sloh, ktorý má mať rozsah minimálne jeden a pol strany, nestačí. Problém sa dá obísť ďalším príkazom, v ktorom sme aplikácii povedali, aby pokračovala. Systém nám teda nevypľul hotový sloh „na jeden šup“, ale viac kratších textov, ktoré sme potom spojili.
A keby to študentom stále nestačilo, stačilo mu zadať, aby napríklad do rozpísaného umeleckého opisu vytvoril ďalších 10 originálnych metafor alebo 10 nevšedných personifikácií. Četbot to do pár sekúnd splnil a študent by tak mal k dispozícii kopu ďalšej inšpirácie na dokončenie svojej úlohy.
Keď sa na to pozrelo päť slovenčinárov z rôznych častí Slovenska, každý z nich priznal, že by pri ani jednom texte nevedel jednoznačne rozhodnúť, či to písal človek alebo počítač. Texty najčastejšie ohodnotili dvojkou a trojkou. Najhoršie dopadol beletrizovaný životopis Ofélie, ktorému dali štvorku.
Slovenčinár Michal Bohuš z Gymnázia Ladislava Sáru v Bratislave by neodhalil počítač napríklad pri diskusnom príspevku o citáte Karla Čapka „Príroda je stále nekonečne populárnejšia ako dejiny“. „Musím uznať, že je to dosť náročný útvar a aj táto téma bola ťažká, takže s podobnou kvalitou som sa stretával aj u študentov. Tu by som bol asi náchylný uveriť, že to napísal žiak,“tvrdí.
Četbot v texte napríklad argumentuje, ako sa príroda a dejiny navzájom ovplyvňujú. „Napríklad, ak sa pozrieme na dejiny industrializácie, vidíme ako ľudia využívali prírodné zdroje na rozvoj priemyslu a ako to ovplyvnilo prírodu,“tvrdí počítač.
„Z obsahovej stránky ide o text s geniálnou aktualizáciou a širokou a pestrou slovnou zásobou vrátane termínov,“myslí si slovenčinárka Mária Stráňanková z Gymnázia Kráľovnej pokoja v Žiline. Text má podľa nej aj logickú štruktúru.
Stráňanková oceňuje aj umelecký opis. Podľa nej má bohatú slovnú zásobu a umelecké básnické prostriedky „v miere väčšej, ako dnes bežne zoštylizuje priemerný stredoškolák“. Podľa slovenčinárky zo Žiliny by nebolo možné odhaliť, že text napísal počítač. „Bola som fascinovaná z toho, aké texty z obsahovej a lexikálnej stránky dokáže robot naformulovať,“hovorí. V úvahe na tému domova slovenčinárka ocenila, že počítač dospel k porovnaniu fyzického a vnútorného sveta. Četbot píše: „Kým sme vnútorne istý, môžeme nájsť domov kdekoľvek, kým sme vnútorne nestabilný, môžeme sa cítiť stratený, aj keď sme fyzicky v našom ‚skutočnom‘ dome,“uvažuje počítač.
„Oceňujem vyústenie k pointe starať sa o vlastný vnútorný svet, ide o originálny pohľad,“hodnotí Stráňanková, aj keď počítaču nezabudne vytknúť hrúbky.
Práve za túto úvahu dostal četbot jedinú jednotku. Udelila
Je v záujme zdravo uvažujúceho pedagóga vťahovať prostriedky a výdobytky modernej vedy a techniky do svojho predmetu a prepájať súvislosti svojho predmetu s reálnym životom. Mária Stráňanková
slovenčinárka z Gymnázia Kráľovnej pokoja
mu ju Zora Červenáková, učiteľka slovenčiny z Gymnázia Andreja Kmeťa v Banskej Štiavnici. Podľa nej by si žiaci z textov mohli brať inšpiráciu – aj keď počítaču vyčíta formálne chyby, žiaci by si mohli brať nápady na originálne metafory z umeleckého opisu či rôzne argumenty v úvahe.
Aj podľa Mateja Starjáka z Michaloviec si žiaci v týchto textoch môžu nájsť inšpirácie. Umelá inteligencia podľa neho dokáže napísať „štandardne dobré“texty. „Síce im chýba väčšia originalita a variabilita, cítiť z nich aj istú šablónovitosť, ale časom, predpokladám, sa kvalita týchto textov bude zvyšovať,“hovorí učiteľ slovenčiny z Gymnázia Pavla Horova v Michalovciach.
AKO PRIEMERNÝ ŠTUDENT: NEROZUMIE PROBLÉMU, ALE VIE O ŇOM HOVORIŤ
Robot maturant nezožal od slovenčinárov iba pochvaly. Mnohí mu vyčítali základné chyby, a to aj tie gramatické. Takmer v každom texte našli učitelia hrúbky a iné chyby, ako napríklad „tieňe“či „tabula“. Mechanickosť robotického písania cítiť aj vo vete: „Sú to ako malé bodky na krajine, ktoré ju dodávajú život.“Alebo: „Je to miesto, kde sa človek môže cítiť malý a zároveň veľký súčasťou prírody.“
Počítač prezradili aj formálne pravidlá. Četbot nevie, aspoň zatiaľ, že diskusný príspevok musí mať úvodné oslovenie, nadviazanie na predrečníka či viacnásobné oslovenie publika v texte. Robot nepochopil ani formu beletrizovaného životopisu, podľa učiteľov trafil úplne vedľa. Text mal byť v prvej osobe, s umeleckými prvkami a príbehom.
„Ide o obyčajnú reprodukciu deja, navyše nepresnú, niektoré tvrdenia sú úplne vymyslené, iné si vzájomne odporujú,“hovorí Michal Bohuš. „Vyzerá to ako zúfalý pokus študenta, ktorý Hamleta nikdy nečítal, ale pozrel si pár referátov,“dodáva. Tomuto textu pridelili učitelia najhoršiu známku. „Nedostatočné a falošné informácie,“hodnotí učiteľka z Evanjelickej spojenej školy v Prešove Ľudmila Kónyová.
To, čo robot nevie, sa však časom môže naučiť. Konverzačný nástroj sa neustále zlepšuje a opravuje chyby. Aj keď jeho vety vyzerajú prirodzene, obsah nemusí byť vždy pravdivý. „Pokúša sa vygenerovať vetu, ktorá by najpravdepodobnejšie mohla nasledovať po vete, ktorú ste povedali vy. Naučil sa to na fragmentoch existujúcich textov, ktoré sú dostupné na internete, ale nijako si neoveruje, ktoré texty sú pravdivé a ktoré nie,“vysvetľuje odborník Martin Takáč v rozhovore o umelej inteligencii.
Učitelia vyčítajú textom aj povrchnosť, ploché obrazy a argumenty, ktoré sa bezcieľne opakujú. Podľa Mateja Starjáka z Michaloviec četbot kĺže po povrchu. „Porovnať by sme to mohli s vyjadrovaním priemerného žiaka, ktorý problém neovláda do hĺbky, ale vie o ňom hovoriť,“tvrdí učiteľ z Michaloviec.
Slovenčinár z Bratislavy Michal Bohuš vidí povrchnosť napríklad pri umeleckom opise, kde sa text po chvíli zdal monotónny, pretože robot opakoval jeden motív dookola. „Chýba nejaká premyslená štruktúra alebo smer opisovania, ide skôr o akýsi náhodný sled obrazov,“vysvetľuje.
Počítač to podľa učiteľov nezvládol ani argumentačne. Zvyčajne si v texte vybral iba jeden argument, ktorý v rôznych obmenách opakoval. „Od maturanta by som v takomto texte, kde má primárne uvažovať a vyjadrovať svoje názory, očakával hlbšiu analýzu a dôkladnejšie vysvetlenie názorov,“myslí si Bohuš o diskusnom príspevku. Rovnako to vidí aj pri úvahe: „Mám pocit, že sa tam opakuje v podstate len jeden argument, akurát vždy inými slovami.“
„Chýba ‚ponorenie‘ sa do hĺbky problému, je to len akési povrchné; akási ‚remeselná‘ kvalita bez väčšej originality,“tvrdí Starják. Podľa učiteľky z Prešova sa robot prezradil aj slovnou zásobou. Použil aj také slová, ktoré by maturanti nepoužili – napríklad hacienda či degradácia pôdy. „Chýbali mi zas v slohoch slová typické pre mladých ľudí,“hovorí.
Učitelia vyčítajú textom ešte jeden chýbajúci aspekt – subjektivitu. „Pri textoch chýbal subjektívny postoj pisateľa, osobné zaangažovanie či uvedenie konkrétnej životnej skúsenosti,“vysvetľuje Kónyová. Učitelia oceňujú, ak žiak vie prepojiť tému so svojou skúsenosťou, čo robot zatiaľ nedokáže.
UČITEĽ NEMÁ ZADÁVAŤ ÚLOHY, KTORÉ ŽIAK DOKÁŽE VYRIEŠIŤ PODVODOM
Slovenčinárom ešte na stole nepristál sloh, ktorý by si študenti dali napísať četbotom. Teda aspoň na to nikto z nich neprišiel. „Ani mi nenapadlo, že by to bolo možné,“priznáva Červenáková z Banskej Štiavnice.
No každý z nich sa už stretol s tým, že si žiak stiahol referát z internetu, občas sa tým netaja a skopírujú celé odseky. Aj preto učitelia radšej píšu slohy priamo na hodine. Michal Bohuš referáty už ani nezadáva. „Snažím sa skôr vymýšľať zadania, ktoré od študentov vyžadujú vyššie zručnosti než len urobiť kompilát z internetových zdrojov,“hovorí. „Ak učiteľ zadáva úlohy, ktoré žiaci dokážu vyriešiť podvodom, tak si to v podstate zaslúži,“dodáva Bohuš.
Slovenčinárka z Prešova tvrdí, že jej žiaci sami odmietli používať na hodinách umelú inteligenciu. „Dosť ma to prekvapilo, lebo sa mi zdalo, že slohové práce vnímajú ako nutné zlo,“tvrdí Ľudmila Kónyová. „Tvrdia, že pri tvorivých úlohách je to nezmysel, pretože sa chcú učiť písať a tvoriť sami.“
Zdá sa, že pre učiteľov a žiakov je četbot ešte príliš nový vynález a v slovenských školách revolúciu zatiaľ nespravil. Inak je to v USA, kde už viaceré americké stredné školy zablokovali prístup k ChatGPT cez svoje wi-fi siete, aby obmedzili podvody, no študenti si rýchlo nájdu iné cesty, ako sa k službe dostať, napísal denník New York Times.
Učitelia si začínajú uvedomovať, že časy, keď mohli študentom zadať úlohu, aby napísali niekoľko strán na danú tému, sa končia. Niektorí pedagógovia tak svoje zadania skúšajú skomplikovať, študentov napríklad žiadajú, aby písali o svojich vlastných životoch alebo o aktuálnych udalostiach, ktoré si ešte četbot nestihol „naštudovať“. Niektorí učitelia zásadne prekopávajú svoje predmety, pridávajú viac ústnych skúšok, skupinové práce a práce písané rukou namiesto na počítači, dodáva New York Times.
Slovenskí učitelia sa ešte nemuseli zamýšľať nad tým, ako s tým na hodinách pracovať. Slovenčinárka zo Žiliny priznáva, že prečítanie týchto slohov ju prinútilo začať o tom uvažovať. „Je v záujme každého zdravo uvažujúceho pedagóga vťahovať prostriedky a výdobytky modernej vedy a techniky do svojho predmetu a prepájať súvislosti svojho predmetu s reálnym životom,“hovorí Mária Stráňanková.
Podľa nej je aj toto spôsob, ako pripravovať mladých ľudí na povolania, ktoré ešte ani neexistujú. „Je dôležité klásť dôraz aj na mäkké zručnosti, tzv. soft skills, a začať vzdelávať deti a mladých v nových konceptoch,“hovorí učiteľka.
Podľa Starjáka by bolo vhodné, aby s umelou inteligenciou pracovali na hodinách učitelia a žiaci spoločne. „Napríklad posudzovať kvalitu týchto textov a učiť sa ich aj odlišovať,“vysvetľuje. Slovenčinár z Bratislavy by vedel četbot využiť pri väčších štúdiách, z ktorých by mu robot spravil efektívny a rýchly súhrn. „Môže to učiteľom pomôcť pri tvorbe študijných materiálov, čo by mohlo znížiť čas, ktorý trávia výkladom teórie, a vytvoriť viac priestoru na diskusie a praktické aktivity,“hovorí Michal Bohuš.
Písanie textov je však pre žiakov dôležité a ani umelá inteligencia by to nemala zmeniť, pripomínajú učitelia. Písanie by malo „odrážať kreativitu a originalitu žiakov, ich schopnosť premýšľať a riešiť problémy a to zatiaľ umelá inteligencia, myslím, nedokáže“.
Podľa učiteľky zo Žiliny Márie Stráňankovej písanie rozvíja samotné premýšľanie žiakov – keď dávajú dokopy myšlienky a z nich formulujú názor. Počítač vie urobiť niektoré úlohy čiastkovo, ale človek „by mal byť tým konečným a rozhodujúcim faktorom, ktorý posúdi kvalitu“.
S tým súhlasí aj slovenčinár z Michaloviec. Počítač, aspoň zatiaľ, dokáže podľa neho písať iba štandardné texty, teda na trojku. „V dohľadnom čase však schopnosť obratného, originálneho využívania jazyka zostane doménou človeka,“dodáva Starják.
Odborná verejnosť však už očakáva príchod jazykového modelu GPT-4, ktorý môže byť násobne väčší, a aplikácie, ktoré budú na ňom postavené, môžu prinášať skokovo lepšie výsledky. Nedávno sa šírili klebety, že model GPT-4 by mohol obsahovať až 100 biliónov parametrov. Sam Altman, riaditeľ spoločnosti OpenAI, ktorá jazykový model vyvíja, však tieto špekulácie označil za „úplnú blbosť“. Takéto očakávania sú podľa neho prehnané.
Mnohí očakávajú, že model GPT-4 by mohol byť predstavený v prvej polovici tohto roku, no Altman zatiaľ nechce termín konkretizovať.
„Sme v novom svete. Generovaný text je niečo, čomu sa musíme všetci prispôsobiť, a to je v poriadku. Prispôsobili sme sa kalkulačkám a zmenili sme to, čo sme testovali na hodinách matematiky. Toto je nepochybne extrémnejšia verzia. Ale aj jeho výhody sú extrémnejšie,“citoval Altmana časopis Verge.
Téma bola ťažká, takže s podobnou kvalitou som sa stretával aj u študentov. Tu by som bol asi náchylný uveriť, že to napísal žiak. Michal Bohuš
slovenčinár z Gymnázia Ladislava Sáru v Bratislave