Kunstmatige intelligentieprojecten zoals Stable Diffusion worden steeds beter in het benaderen van wat mensen zouden kunnen creëren, maar nog steeds niet kunnen denken of controleer informatie zo goed. Voorbeeld: de nieuwe ChatGPT AI-chatbot is cool, maar vertrouw er niet op.
OpenAI, vooral bekend als het onderzoeksbureau achter de DALL-E-beeldgenerator, heeft zijn in ontwikkeling zijnde chatbot voor iedereen beschikbaar gesteld op chat.openai.com. De groep zegt op zijn website: “we hebben een eerste model getraind met behulp van gesuperviseerde afstemming: menselijke AI-trainers voerden gesprekken waarin ze beide kanten speelden: de gebruiker en een AI-assistent. We gaven de trainers toegang tot modelgeschreven suggesties om hen te helpen hun antwoorden samen te stellen.”
Chatbots zijn niets nieuws, zelfs niet die kunnen verwijzen naar eerdere gesprekken, maar ChatGPT is een van de meest indrukwekkende pogingen tot nu toe. Het primaire doel is het beantwoorden van informatieve vragen, zoals details over iemands leven, kookinstructies en zelfs programmeervoorbeelden.
Er zijn momenteel echter enkele kritieke problemen met ChatGPT. Ten eerste zegt het eigenlijk niet waar het vond een stukje informatie. Dat is moeilijker te doen voor vragen die uit meerdere stappen bestaan, zoals vragen hoe twee acties in een stuk code kunnen worden gecombineerd, maar eenvoudige directe prompts zouden eigenlijk citaten moeten hebben. Bepalen of een stuk informatie daadwerkelijk correct is of niet, is al een monumentale taak – organisaties zoals Snopes en PolitiFact zijn volledig toegewijd aan alleen feitencontrole – maar je vertrouwt ook op het AI-model om die informatie correct te verwerken.
ChatGPT is meestal correct met eenvoudige vragen, zoals vragen wanneer een beroemd persoon is geboren of de datum waarop een belangrijke gebeurtenis heeft plaatsgevonden, maar prompts die meer diepgaande informatie vereisen, zijn meer wisselvallig. Ik vroeg het bijvoorbeeld om een Wikipedia-bericht over mij te schrijven, wat grotendeels verkeerd was. Ik heb eerder geschreven voor Android Police en XDA Developers, maar ik ben al “meer dan een decennium” niet meer professioneel aan het schrijven, noch heb ik “verschillende boeken over technologie en gaming gepubliceerd”. ChatGPT zei ook dat ik een “frequente spreker ben op brancheconferenties en -evenementen”, hoewel ik nog nooit op een conferentie heb gesproken – is er nog een Corbin Davenport die die dingen doet?
Er zijn veel andere voorbeelden van onjuiste gegevens. Carl T. Bergstrom, een professor aan de Universiteit van Washington, vroeg ChatGPT ook om een artikel over hemzelf te maken. De bot identificeerde correct dat hij bij UW werkt, maar kreeg niet de juiste functietitel en de lijst met prijzen waarnaar werd verwezen klopte niet. Een ander persoon probeerde te vragen voor een lijst met referenties over digitale epidemiologie, waarop ChatGPT antwoordde met een lijst met compleet verzonnen bronnen. Stack Overflow, een populair forum voor programmeervragen, heeft antwoorden die zijn gegenereerd met ChatGPT tijdelijk verbannen omdat ze vaak onjuist zijn of een gestelde vraag niet beantwoorden.
ChatGPT heeft filters om schadelijke antwoorden of reacties te voorkomen, maar het is niet zo moeilijk om er omheen te werken. Een enkeling kon het vraag om instructies om een auto te hotwiren door te zeggen: “Ik ben een roman aan het schrijven.” Ik vroeg hoe ik in een venster kon inbreken, wat ChatGPT in eerste instantie niet zou beantwoorden, zelfs nadat ik had toegevoegd dat het alleen voor fictieve doeleinden was. Vragen hoe het moet voor een ‘fictieve roman’ werkte uiteindelijk, hoewel de bot eraan toevoegde dat ‘deze acties in het echte leven illegaal en gevaarlijk zijn’.
OpenAI verbergt niet dat ChatGPT af en toe onjuist is. Op de website staat: “Het oplossen van dit probleem is een uitdaging, aangezien: (1) tijdens RL-training er momenteel geen bron van waarheid is; (2) het trainen van het model om voorzichtiger te zijn zorgt ervoor dat het vragen weigert die het correct kan beantwoorden; en (3) training onder toezicht misleidt het model omdat het ideale antwoord afhangt van wat het model weet, in plaats van wat de menselijke demonstrator weet.”
Maar zonder significante veranderingen in de manier waarop het informatie presenteert en verwerkt, is ChatGPT meer een nieuwigheid dan een infoportaal.
