Een onderzoek dat op 18 augustus werd gepubliceerd door onderzoekers van Stanford University laat zien hoe diep en potentieel gevaarlijk het geheim is van GPT-4 en andere geavanceerde AI-systemen.

Ze onderzochten in totaal 10 verschillende AI-systemen, waarvan de meeste grote taalmodellen waren, zoals die die worden gebruikt in ChatGPT en andere chatbots. Dit omvatte veelgebruikte commerciële modellen, zoals GPT-4 van OpenAI, PaLM 2 van Google en Titan Text van Amazon. Ze beoordeelden de openheid van de systemen op 13 criteria, waaronder de transparantie van de ontwikkelaars over de gegevens die werden gebruikt om de modellen te trainen (inclusief de methoden voor het verzamelen en annoteren van gegevens en of er auteursrechtelijk beschermd materiaal is opgenomen). Ze onderzochten ook of de ontwikkelaars informatie openbaarden over de hardware die werd gebruikt om de modellen te trainen en uit te voeren, de softwareframeworks die werden gebruikt en het energieverbruik van het project.

De bevindingen waren dat geen enkel AI-model meer dan 54% scoorde op de transparantiecijfers over alle genoemde criteria. Over het algemeen scoorde Titan Text van Amazon het laagst op transparantie en werd Llama 2 van Meta het meest open beoordeeld. Interessant is dat Llama 2, die als een prominente speler in de recente controverse tussen open en gesloten modellen wordt beschouwd, ondanks zijn open-source-status niet de gegevens heeft vrijgegeven die werden gebruikt voor het trainen, inclusief de methoden voor het verzamelen en cureren van gegevens. Dit betekent dat de industrie nog steeds een wijdverbreid en voortdurend probleem heeft met ondoorzichtigheid, zelfs terwijl AI een steeds grotere invloed heeft op onze samenleving.

Dit betekent dat er een risico is dat de AI-industrie een sector wordt die meer gericht is op winst dan op wetenschappelijke vooruitgang, wat zou kunnen leiden tot een monopolie-achtige toekomst gedomineerd door een paar bedrijven..

De CEO van OpenAI, Sam Altman, heeft al publiekelijk verklaard dat hij wereldwijde beleidsmakers ontmoet om hen te informeren over deze vreemde en nieuwe intelligentie en om hen te helpen bij het concretiseren van relevante regelgeving. Hoewel hij in principe een internationale organisatie steunt die AI ​​regelt, gelooft hij dat sommige beperkte regels, zoals het verbieden van al het auteursrechtelijk beschermde materiaal uit datasets, een onredelijke hindernis zouden kunnen vormen. De naam 'OpenAI' impliceert een 'openheid' die duidelijk afwijkt van de radicale transparantie die ze oorspronkelijk beoogden.

Maar de bevindingen van het Stanford-rapport benadrukken ook dat er geen noodzaak is om hun modellen zo geheimzinnig te houden vanwege concurrentie. De bevindingen zijn immers ook een indicator van de slechte prestaties van bijna alle bedrijven. Er zijn bijvoorbeeld geen bedrijven die statistische gegevens verstrekken over het aantal gebruikers dat afhankelijk is van hun modellen of over de regio's of marktsegmenten die hun modellen gebruiken.

Er is een gezegde binnen open-source organisaties: 'Veel ogen zien alle bugs' (Linus's law). Ruwe cijfers helpen problemen te identificeren en te corrigeren.

Maar open-source-praktijken hebben de neiging om geleidelijk de sociale status en erkenning van openbare bedrijven, zowel intern als extern, te ondermijnen., dus het is niet zinvol om ze te overdrijven. In plaats van te focussen op het kader van open versus gesloten modellen, zou het beter zijn om de discussie te richten op het geleidelijk uitbreiden van de externe toegang tot de 'gegevens' die ten grondslag liggen aan krachtige AI-modellen..

Voor wetenschappelijke vooruitgang is het belangrijk om de reproduceerbaarheid (Reproducibility) van specifieke onderzoeksresultaten te garanderen.. Dit zou kunnen leiden tot concrete maatregelen om de transparantie te waarborgen voor de belangrijkste componenten van de modelcreatie. Zonder dit zal de industrie waarschijnlijk vast komen te zitten in een gesloten en stagnerende monopolie-achtige situatie. En dat is iets wat we moeten beschouwen als een belangrijke prioriteit gezien de huidige en toekomstige snelle penetratie van AI-technologie in alle sectoren.

Het is belangrijk voor journalisten en wetenschappers om gegevens te begrijpen, en transparantie is een voorwaarde voor geplande beleidsinspanningen voor beleidsmakers. Voor het publiek is transparantie ook belangrijk omdat ze, als eindgebruikers van AI-systemen, potentiële slachtoffers of daders kunnen zijn met betrekking tot intellectuele eigendom, energieverbruik en potentiële problemen met vooroordelen. Sam Altman beargumenteert dat het risico van uitsterven door AI ​​een wereldwijde prioriteit moet worden, vergelijkbaar met sociale risico's op schaal, zoals pandemieën of nucleaire oorlog. Maar we mogen niet vergeten dat een gezonde relatie met AI ​​essentieel is voor het voortbestaan van onze samenleving voordat we die gevaarlijke situatie bereiken.

*Dit artikel is de originele versie van een column die op 23 oktober 2023 in de elektronische krant werd gepubliceerd.

Referenties

AI wordt krachtiger - maar ook geheimzinniger

Introducing The Foundation Model Transparency Index

Generatieve AI, gesloten versus open 'tegenaanval'

Wat OpenAI werkelijk wil

Openheid opnieuw tot leven brengen bij Mozilla: een gemengde onderzoeksmethode⁠⁠⁠⁠⁠⁠⁠