AI + Bijbel = BijbelGPT?

Published on: 1 april 20231 april 2023Author: adminComment: 0

De grootste hype van 2023 begint langzaam af te koelen, maar bedrijven met ‘AI’-oplossingen blijven als paddenstoelen uit de grond schieten. Veel van deze bedrijven komen nu voor het eerst op een laagdrempelige manier in aanraking met kunstmatige intelligentie en zien de toegevoegde waarde voor hun bedrijf. Bedrijven als Snap, Quizlet en Instacart hebben bijvoorbeeld al manieren gevonden om het GPT-3 te integreren met hun huidige softwaresystemen [1]. Bij de meest recente update van GPT-4 is het ook mogelijk plug-ins te schrijven voor het model. Hierdoor kunnen bedrijven eenvoudig kennis en functionaliteiten toevoegen aan het model, een innovatief voorbeeld is de plugin van Expedia. Zij maken het mogelijk om via een chatbot vliegtickets te boeken. De mogelijkheden die OpenAI hier voor schetst zijn eindeloos, van het bestellen van eten tot het afsluiten van een verzekering.

Het gebruik van GPT-3 voor repeterende taken is gemakkelijk, maar het kan ook ingewikkeld zijn vanwege de onvoorspelbaarheid van het model bij nieuwe data. De API van OpenAI biedt echter de mogelijkheid om gebruik te maken van hun taalmodel door middel van software, voornamelijk voor het samenvatten, vertalen of beantwoorden van vragen vanuit een gegeven context.

Geavanceerde Bijbelzoekmachine

Als persoon ben ik vaak opzoek naar onderbouwing voor keuzes of meningen. Dit zorgt in het geval van een overdenking of Bijbelstudie vaak voor een hoop geblader door de Bijbel of onderzoek op het internet naar de juiste passages die aansluiten bij een keuze of standpunt. Digitale bijbelapps hebben gelukkig al goede zoekfuncties, maar toch gaf dit niet altijd de juiste passages terug doordat de zoekfuncties niet ‘Google’ waardig zijn.

Dit leidde tot de vraag wat zou er gebeuren als een AI-taalmodel wordt getraind op de Bijbel. Na enig onderzoek kwam naar voren dat dit technisch gezien mogelijk was. Dit zou kunnen leiden tot een zeer geavanceerde zoekmachine. De eerste stap was het kiezen van een Bijbelvertaling voor het experiment. Volgens OpenAI is de meeste data waarop het model is getraind van 2015-2021 [2]. Daarom leek de Bijbel in Gewone Taal de beste optie, omdat deze vertaling waarschijnlijk het best begrepen kon worden door GPT-3.

Vectoren: Technische obstakels en oplossingen

De volgende stap was een manier vinden om de volledige bijbel te trainen op GPT-3. Hier ontstond een klein probleem, het taalmodel ondersteund maar tot een aantal karakters om te trainen. Zelfs wanneer ieder hoofdstuk zou worden opgesplitst zou dit voor problemen zorgen. Hiervoor heeft OpenAI de zogenaamde ‘embeddings’ ontwikkeld. Dit werkt als volgt, de Bijbel wordt gesplits op ieder hoofdstuk, van ieder hoofdstuk worden zogenaamde ‘Vectoren’ gemaakt, deze vectoren representeren de informatie die in het hoofdstuk staat(voorbeeld van een vector: [1, -3]). Deze vectoren maken het gemakkelijk te zoeken naar gelijksoortige informatie die de gestelde vraag zouden kunnen beantwoorden.

Als er vectoren worden gevonden die overkomsten hebben met de gestelde vraag, zal het bijpassende hoofdstuk worden voorgeschoteld aan GPT-3, deze informatie wordt dan gebruikt om antwoord te geven op de vraag vanuit de context die gegeven is.

Resultaten

Na verschillende iteraties blijkt dat de resultaten van BijbelGPT steeds beter worden. De antwoorden op gestelde vragen en situaties zijn vrijwel altijd correct volgens de Bijbel. Met name op gerichte vragen weet BijbelGPT juiste antwoorden te geven. Het taalmodel wordt verrijkt door de juiste Bijbelgedeeltes aan te bieden, waardoor de kennis van het model groeit.

Om te controleren of BijbelGPT correcte verwijzingen maakt, is er een slimme functie ingebouwd die automatisch het juiste Bijbelgedeelte opzoekt. Echter, de beperkingen van BijbelGPT liggen voornamelijk in het aantal Bijbelgedeeltes dat het model kan inladen voor context. Zo kan BijbelGPT bijvoorbeeld geen goede antwoorden geven op vragen zoals ‘Hoe vaak komt het woord hoop voor in de Bijbel?’ Dit komt doordat de gebruikte techniek slechts een aantal partities van de Bijbel kan gebruiken per vraag/antwoord.

Het nieuwe taalmodel GPT-4 is in veel vlakken verbeterd ten opzichte van GPT-3. Zo is GPT-4 op nog 10x zoveel data getraind als GPT-3, en kan het model meer context inladen voor het beantwoorden van de vragen. GPT-4 zou dan ook meer Bijbelpassages kunnen gebruiken voor zijn antwoord, maar heeft nog steeds een limiet van 8192 karakters.

Noot: GPT-4 is niet gebruikt voor dit experiment, door 20x hogere kosten dan GPT3.5. Waardoor het openbaar maken van de tool niet mogelijk zou zijn.

Ethische kanttekeningen

Hoewel de techniek van BijbelGPT effectief is om het bladeren door een Bijbel te vermijden, zijn er enkele kanttekeningen die goed moeten worden overwogen.

Biased – Het grootste ethische bezwaar is dat ieder groot taalmodel moet worden getraind op veel tekstuele data. Een bekend probleem is dat deze data kan leiden tot een ‘biased’ AI-model. Verschillende studies hebben het afgelopen jaar aangetoond dat ook GPT-3 biases heeft die problematisch kunnen zijn. Zo heeft een recente studie aangetoond dat GPT-3 moslims heeft gekoppeld aan geweld zonder enige context [4]. Dit specifieke voorbeeld lijkt niets te zeggen over de bias van antwoorden over de Bijbel, maar niets is minder waar. Dit voorbeeld toont aan dat de data die is gebruikt om het model te trainen niet neutraal is. OpenAI is ook niet transparant over de data die is gebruikt om het model te trainen wat het extra onvoorspelbaar maakt.
Diverse bronnen naast de Bijbel – Een vraag die kan rijzen, is waarom dit taalmodel nodig is om antwoorden te geven op basis van de Bijbel. Waarom kan alleen de Bijbel niet gebruikt worden als trainingsmateriaal? Helaas is dat niet mogelijk. Taalmodellen zoals GPT-3 bestaan uit 175 miljard parameters, en de nieuwe variant GPT-4 zelfs uit 1,6 biljoen parameters. Dit illustreert de enorme hoeveelheid trainingsdata die nodig is om deze parameters te verkrijgen. Als een model alleen getraind zou zijn op de Bijbel, zou het waarschijnlijk niet in staat zijn om te communiceren, laat staan vragen te begrijpen.
Interpretatie van een machine – Het is belangrijk om de juistheid van de interpretatie van de Bijbel te waarborgen. Wanneer in dit geval een machine de interpretatie gaat bepalen kan dit tegen de Bijbel in gaan. Zoals er in 2 Timoteüs 3:16-17 ook staat geschreven: ‘Al de Schrift is van God ingegeven, en is nuttig tot lering, tot wederlegging, tot verbetering, tot onderwijzing, die in de rechtvaardigheid is;Opdat de mens Gods volmaakt zij, tot alle goed werk volmaaktelijk toegerust.’ De Bijbel moet gebruikt worden door mensen om dwalingen en fouten te weerleggen, niet door een machine.
Worden als God – Al sinds mensen heugenis willen mensen als God zijn. De nieuwe technologieën van nu lijken ook weer deze richting op te gaan. Een ‘alwetend’ AI model dat antwoorden heeft op al je vragen. Meer dan 1100 wetenschappers en tech-experts roepen op om te stoppen met de ontwikkeling van AI-systemen. De risico’s voor mens en maatschappij kunnen niet op een juiste manier beheerst worden. [5] Ook BijbelGPT is lastig te beheersen, antwoorden zijn niet voorspelbaar en fouten lastig te checken. Een AI model dat alle antwoorden op Bijbelse vragen kan geven gaat dan misschien ook wel de verkeerde kant op.

Het is duidelijk dat het model antwoorden geeft op basis van de getrainde data, maar hoe kunnen we zeker zijn van de antwoorden die het model geeft? Op dit moment is er nog geen duidelijke oplossing voor. De meest gebruikte technieken zijn het filteren van de antwoorden door middel van programmatuur. Vooral bij een toepassing als BijbelGPT is dit echter ingewikkeld. Het filteren op ‘ongepaste’ woorden is niet voldoende, juist de onderbouwing van de antwoorden moet worden gecontroleerd op waarheid. Een mogelijke oplossing hiervoor zou het concept “human-in-the-loop” [6] kunnen zijn. Door de antwoorden te laten controleren door de gebruikers zou het systeem zichzelf kunnen verbeteren, maar het resultaat is afhankelijk van de input van de gebruikers.

Het experiment heeft uiteindelijk meer nieuwe vragen opgeleverd dan daadwerkelijk antwoorden. Om er een aantal te noemen:

Is de interpretatie van een machine gelijk aan die van mensen?
Moeten we deze techniek nu omarmen, of ver weg van blijven?
Kunnen deze taalmodellen ooit zonder Bias worden getraind?
Is de Bijbel door een machine te interpreteren, of zal een machine de Bijbel nooit volledig kunnen doorgronden?

Conclusie

Al met al heeft dit experiment laten zien dat taalmodellen zoals GPT-3/4 uitermate goed werken voor het maken van een geavanceerde zoekmachine. Ook de context van passages begrijpen en dit samenvatten of uitleggen is iets waar GPT-3/4 zich uitermate goed voor leent. De komende jaren zal deze techniek constant verbeterd worden waardoor deze toepassingen steeds beter zullen werken. De andere inzichten die naar voren zijn gekomen zijn de uitdagingen die deze techniek met zich meebrengt en de ethische kanttekeningen. Op het technische vlak blijft het lastig deze techniek op een verantwoordelijke manier in te zetten door de onvoorspelbaarheid en de gebrek aan transparantie over de traindata vanuit OpenAI. Hiernaast blijven de ethische vraagstukken onbeantwoord, waarbij de belangrijkste vraag misschien wel is: ‘Laten we straks de interpretatie van een machine leidend zijn over het woord van God?’

Desalniettemin biedt het een interessant inzicht in de toekomst van kunstmatige intelligentie in combinatie met de bijbel. Via bijbelgpt.nl kan je het zelf uitproberen en een mening vormen over de vraag of dit iets is wat geïntegreerd moet worden in onze Bijbel-apps of dat we hier juist ver vandaan moeten blijven.

Jonathan Vollmuller: Jonathan is een Master student Human Centered AI, een internationaal masterprogramma waarbij een combinatie wordt gemaakt tussen Ethiek & AI.

Voorbeelden