Als u vermoedt dat chatgpt -power -gebruikers dommer kunnen worden – kijkend naar u, Cuomo en RFK Jr. – lijken de gegevens aan te geven dat u gelijk hebt. Een nieuwe studie door wetenschappers van MIT en Wellesley, getiteld “Your Brain on Chatgpt: Accumulation of Cognitive Debt bij het gebruik van een AI-assistent voor het schrijven van essays”, stelde een maandenlang vergelijkend experiment op dat de hersenen en essays van sommige studentenschrijvers gemeten en ontdekte dat AI “(groot taalmodel) gebruikers consistent onder de neurale, taalkundige niveaus” gemeten. ” Niet alleen dat, maar de negatieve effecten van het gebruik van AI bleven daarna meetbaar bij de deelnemers, en zelfs wanneer ze hun denken zonder LLM’s deden.
Dus hoe werkte dit experiment? 54 studenten werden opgesplitst in drie groepen en gevraagd om essays in SAT-stijl onder verschillende omstandigheden te schrijven: de ene groep gebruikte een LLM, de andere gebruikte Google-zoekopdracht en een andere gebruikte alleen (hijg) hun hersenen.
Elke schrijver voltooide drie getimede sessies met behulp van hun toegewezen tools, en hun schrijftijd werd opgenomen met behulp van interviews en hersenscanninghelmen met behulp van elektro -encefalografie (EEG), een methode om de elektrische activiteit van de hersenen vast te leggen. Hun essays werden vervolgens beoordeeld en gekwantificeerd door mensen en AI – dit is geen groep wetenschappers die het noodzakelijkerwijs voor de technologie hebben.
In een optionele vierde sessie – 18 kozen ervoor om het te doen – werd de schrijvers gevraagd om tools te ruilen. LLM-groepsdeelnemers werd gevraagd om alleen hun hersenen te gebruiken, en de deelnemers aan alleen hersenen werden gevraagd om de LLM te gebruiken.
Hoe is het gegaan? De conclusies zijn behoorlijk grimmig:
… We demonstreren de dringende kwestie van een waarschijnlijke afname van leervaardigheden op basis van de resultaten van onze studie. Het gebruik van LLM had een meetbare impact op de deelnemers, en hoewel de voordelen aanvankelijk duidelijk waren, zoals we in de loop van 4 maanden hebben aangetoond, presteerden de deelnemers van de LLM Group slechter dan hun tegenhangers in de alleen-hersengroep op alle niveaus: neurale, taalkundige, scoren.
Er is veel in de studie, maar sommige conclusies vielen op.
Uit de krant bleek dat het proces beter was in de hersenen zonder technische tools: “Interne aandacht en semantische verwerking tijdens creatieve ideeën” was het hoogst voor de schrijvers die noch Google noch chatgpt gebruikten. De laatste essays waren ook anders, met het beste schrijven uit de alleen-hersengroep, die de meest unieke tekst had in termen van expressie en vocabulaire.
De studie heeft ook gekeken hoe de essayisten nadenkt over hun eigen werk. Er was een enorme kloof in de mogelijkheden van de deelnemers om zichzelf te citeren: bijna 90% van de chatgpt-gebruikers worstelde om zichzelf te citeren, in tegenstelling tot iets meer dan 10% van alleen zoek- en alleen-hersenschrijvers.
Ik vond deze grafiek ook interessant:
Het idee om eigendom te voelen over je schrijven is een squishy ding om te kwantificeren, maar het vertelt dat de LLM -deelnemers, die het minst geïnvesteerd waren in het proces, reageerden met de minste investering en eigendom in de laatste essays.
Het is geen verrassing, omdat de beschrijving van de studie van het proces van de LLM -groep somber is:
De meeste van hen waren gericht op het hergebruiken van de output van de tools, waardoor ze zich daarom concentreerden op het kopiëren en plakken van inhoud, in plaats van hun eigen oorspronkelijke gedachten op te nemen en mensen met hun eigen perspectieven en hun eigen ervaringen te bewerken.
Kopiëren en plakken is duidelijk niet zo plezierig als denken en jezelf uiten: “Deelnemers die alleen in de groep van de hersenen zaten, meldden hogere tevredenheid”, meldt de studie.
En toen hem werd gevraagd om na te denken over de tools, wat ze schreven, en waarom, vond de studie ‘de meeste deelnemers aan de alleen-hersengroep die meer bezig was met’ wat ‘ze schreven, en ook’ waarom ‘… terwijl de andere groepen zich kort concentreerden op het’ hoe ‘deel’.
De oude cliché lijkt waar, dat schrijven moeilijk is, maar geschreven hebben is geweldig. De arbeid waardig de schepping.
Het wegladen van ons denken en geheugen voor technische tools is het bereiken van een nieuw extreme met grote taalmodellen, maar de wetenschappers zijn duidelijk dat dit niet is wat AI is geïntroduceerd. Dit begon met zoekmachines. De paper bespreekt het “Google -effect”, dat “cognitieve inspanningen kan verschuiven van informatiebehoud naar meer geëxternaliseerde geheugenprocessen.” Dat wil zeggen, omdat we weten dat informatie slechts een snelle zoekopdracht is, zijn we niet geïntroduceerd om iets specifieks te onthouden, en in plaats daarvan “een sterke herinnering behouden van hoe en waar te vinden.” LLMS verergert deze trend alleen: Haustal LLM -gebruikers hebben het moeilijk om de informatie en het proces te onthouden om de informatie te krijgen.
Aangezien dit experiment het schrijven van essays in de middelbare school in omvat, was een verscheidenheid aan ideeën en bronnen onderdeel van het prompt en het proces. Maar LLMS stuurt gebruikers voortdurend naar echokamers:
Dit gebeurt omdat LLM’s in wezen ‘volgende tokenvoorspellers’ zijn die optimaliseren voor de meeste waarschijnlijke outputs, en dus mogelijk meer geneigd zijn om medeklinkinformatie te bieden dan traditionele algoritmen voor informatiesysteem … de converserende aard van LLM-interacties verbindt dit effect, omdat gebruikers kunnen deelnemen aan multi-turn-rurn-conversaties die hun informatieblootstelling beperken.
De meest angstaanjagende conclusie, en degene die eruit springt in de dekking, is dat de schadelijke effecten van het gebruik van chatgpt niet verdwenen zijn. Frequente LLM-gebruikers hebben in de laatste sessie een “cognitieve schuld” gehandhaafd, toen hen werd gevraagd om over te schakelen naar alleen hersenschrijven:
De LLM-groep vertoonde, hoewel hij profiteerde van toolefficiëntie, zwakkere geheugensporen, verminderde zelfcontrole en gefragmenteerd auteurschap. Deze afweging benadrukt een belangrijke educatieve zorg: AL-tools, hoewel waardevol voor het ondersteunen van prestaties, kan onbedoeld diepe cognitieve verwerking, retentie en authentieke betrokkenheid bij schriftelijk materiaal belemmeren. Als gebruikers sterk afhankelijk zijn van AL -tools, kunnen ze oppervlakkige vloeiendheid bereiken, maar er niet in slagen de kennis te internaliseren of er een gevoel van eigendom over te voelen.
En het tegenovergestelde was waar voor de studenten die de hersen-naar-llm schakelaar maakten. Hun essays waren complexer en unieker, ze voelden meer eigendom en ze vertoonden een hogere neurale connectiviteit dan Sessions 1, 2, 3. ” Het is opmerkelijk: zelfs met behulp van een LLM vertoonden studenten die eerder hadden geoefend met hun hersenen meer hersenactiviteit dan de gebruikers die alleen met LLMS zijn begonnen.
Het is behoorlijk verdomd voor AI -boosters die zeggen dat leren schrijven binnenkort verouderd zal zijn. Zowel het proces als het laatste schrijven waren rijker en meer lonend, ongeacht de gebruikte tools, wanneer studenten ervaring hadden met het gebruik van hun hersenen. Het gevaar is dat de studie ook duidelijk maakt dat de LLM -gebruikers minder tijd hebben besteed aan schrijven:
LLM -gebruikers zijn in het algemeen 60% productiever en vanwege de afname van de externe cognitieve belasting zijn gebruikers meer bereid om de taak voor langere periodes aan te gaan, waardoor de hoeveelheid tijd wordt verlengd om taken te voltooien.
Dit is de kern van de aantrekkingskracht voor het pro-AI-kamp in mijn ervaring: het gaat om efficiëntie. Een sneller resultaat wordt gezien als een onbetwistbaar goed. Maar dat lijkt een grimmige afweging wanneer gebruikers ook niet om het proces of het eindproduct geven en zich zelfs niet veel kan herinneren over wat ze hebben gemaakt.
Tegelijkertijd begrijp ik dat school saai en vervelend kan aanvoelen, en minder tijd om huiswerk -essays te maken is duidelijk aantrekkelijk voor veel kinderen. Zoals 404 media meldden, zijn klaslokalen al overspoeld in LLM -gebruik en het is al een zeer huidige uitdaging voor leraren.
Wat kun je zelfs meer zeggen? Deze LLM’s zijn gewoon niet goed. “Maar James, denk aan de applicaties! AI kan een handig hulpmiddel zijn!” Misschien, maar waarom een tool gebruiken die de neuronen in je hersenen loskoppelt? Ik zou geen hamer gebruiken die niet alleen de spijker mist waar ik naartoe slingert, maar ook terug stuitert en me in het hoofd klokt.
Eerlijk gezegd heb ik genoeg in mijn leven die mijn hersenen rotten en me een slecht gevoel geven – ik wil niet graag een andere toevoegen.
