Recent onderzoek van twee wetenschappers van de Universiteit van Pennsylvania heeft aangetoond dat het gebruik van AI-tools zoals ChatGPT de mate van leren kan verlagen. In hun studie vergeleken zij ChatGPT met een traditionele zoekmachine en onderzochten zij de impact daarvan op de kennisverwerving van gebruikers.
De onderzoekers voerden zeven experimenten uit met in totaal 10.000 studenten. In twee van deze experimenten kregen de deelnemers de opdracht informatie te vinden over het starten van een groentetuin. De deelnemers werden verdeeld in twee groepen: de ene groep vroeg AI om hulp, terwijl de andere groep online zocht. Na afloop werden de studenten gevraagd op te schrijven wat ze geleerd hadden en dit met een vriend te delen.
Wat bleek? De deelnemers die gebruik maakten van ChatGPT gaven kortere en minder gedetailleerde adviezen over tuinieren. Ze waren minder creatief, hadden minder feitelijke kennis en deden minder moeite om hun geleerde kennis samen te vatten. In vervolgexperimenten over gezondheidsverbetering zagen de onderzoekers dezelfde trend. Studenten die AI gebruikten, hadden een oppervlakkiger begrip van het onderwerp.
Een ander deel van het onderzoek bestond uit het vragen van een nieuwe groep studenten om de gegeven adviezen over gezondheid en tuinieren te beoordelen. De adviezen verkregen via ChatGPT werden als minder nuttig ervaren dan de informatie die op verschillende websites was gevonden.
Morten Goodwin, professor in kunstmatige intelligentie aan de Universiteit van Agder in Noorwegen, verklaarde dat hij niet verrast was door deze bevindingen. “Het is logisch dat leren afneemt wanneer studenten minder tijd besteden en niet zelf actief op zoek gaan naar kennis. Je leert minder als iemand je het antwoord geeft, in plaats van wanneer je het zelf vindt”, aldus Goodwin.
Volgens de professor vraagt het googelen van informatie om een actieve inspanning. Je moet zoekresultaten evalueren, informatie lezen en interpreteren, en zelf de stukjes samenbrengen tot een geheel. Deze inspanning leidt tot een grondiger verwerking van de informatie.
Goodwin benadrukte ook dat als studenten boeken zouden lezen of praktische ervaring opgedaan, ze waarschijnlijk nog meer zouden leren. Het gebruik van AI-gegenereerde antwoorden verandert leren van een actieve tot een passieve handeling.
De onderzoekers testten ook of deelnemers beter leerden als de AI-antwoorden linkjes naar bronnen bevatten, maar dit had nauwelijks effect. Bovendien onderzochten ze het AI-overzicht dat bovenaan de Google-zoekresultaten verschijnt, en ontdekten dat deelnemers die met dit soort samenvattingen werkten, ook minder leerden.
De conclusie van het onderzoek is dat het niet gaat om de informatie die we ontvangen, maar om hoe deze wordt gepresenteerd. Andere studies ondersteunen de bevindingen, waarbij sommige aantonen dat studenten beter worden in coderen en vreemde talen door AI te gebruiken, terwijl anderen aangeven dat leerlingen moeite hebben om de via AI verkregen informatie effectief te gebruiken.
Goodwin meent dat AI-tools verbeterd kunnen worden. “Ze kunnen zo worden ontwikkeld dat ze meer leren bevorderen. Bijvoorbeeld door ChatGPT te vragen om een onderwerp uit te leggen in plaats van alleen maar een antwoord te geven.” In het nieuwe onderzoek werd niet onderzocht of de antwoorden die deelnemers van AI ontvingen juist waren, maar andere studies hebben dit wel gedaan.
Volgens onderzoekers van OpenAI, die ChatGPT hebben ontwikkeld, is het probleem van ‘hallucinaties’ inherent aan zelfs de meest geavanceerde AI-modellen. AI-tools worden getraind om te raden, maar niet om om te gaan met onzekerheid, wat betekent dat ze vaak foute antwoorden geven in plaats van te zeggen dat ze het niet weten. Professor Erik Velldal van de Universiteit van Oslo voegde hieraan toe dat het aanzienlijke vakkennis vereist om te kunnen doorzien wanneer een AI-antwoord onjuist is.
Aan de andere kant kan Google ook linken naar verkeerde informatie. “Als ik zoek naar beter gezondheid, is het niet gegarandeerd dat alle pagina’s in de zoekresultaten op wetenschappelijke aanbevelingen gebaseerd zijn”, zegt Goodwin. Echter, naar zijn mening vormen de foutenbronnen een groter probleem bij AI.
De onderzoekers benadrukten ook dat de deelnemers verschillende ervaringen hadden met AI en online zoekopdrachten. De meesten hebben veel meer ervaring met het zoeken naar en evalueren van informatie via Google dan via AI-tools, wat de resultaten kan hebben beïnvloed.
