Onderzoekers van de NTT Communication Science Laboratories in Japan hebben een belangrijke stap gezet in het begrip van de menselijke geest, door een kunstmatige intelligentie te ontwikkelen die in staat is de hersenactiviteit die samenhangt met beelden die door een persoon zijn gezien of voorgesteld, in tekst om te zetten.
Deze ontwikkeling, genaamd mind captioning, maakt het mogelijk om gedetailleerde beschrijvingen van mentale inhoud te genereren op basis van hersensignalen, en komt dichterbij het langgekoesterde doel van de neurowetenschap: het transformeren van gedachten in begrijpelijke woorden voor anderen.
Mind Captioning AI: Van de hersenen naar geschreven woorden
Het werk, geleid door Tomoyasu Horikawa en gepubliceerd in Science Advances, toont voor het eerst de mogelijkheid van een kunstmatig systeem om samenhangende zinnen te genereren vanuit patronen van hersenactiviteit, zonder gebruik van gesproken taal.
De methode bestaat uit het registreren van de hersenactiviteit met functionele magnetische resonantie imaging terwijl de deelnemers duizenden korte video’s bekijken met gevarieerde scènes. Vervolgens wordt kunstmatige intelligentie gebruikt om de correspondentie te leren tussen neurale patronen en de semantische kenmerken van de teksten die deze video’s beschrijven.
In plaats van een directe vertaling, transformeert het tussenliggende systeem het hersensignaal in een semantische ruimte — een conceptuele kaart van de betekenis. Zo reconstruert een taalmodel, vergelijkbaar met ChatGPT, zinnen die geleidelijk de mentale inhoud van de deelnemer weergeven, waarbij rekening wordt gehouden met de context en de aanwezige acties.
Hierdoor ontstaat er uit de wolk van neurale gegevens een gedetailleerde beschrijving zoals: “Een persoon springt van een klif in het water.”
Deze uitkomst markeert een vooruitgang ten opzichte van eerdere werken die alleen in staat waren om sleutelwoorden te identificeren, aangezien nu de gehele context kan worden getranscribeerd, inclusief het onderwerp van een video en de acties die daarin plaatsvinden, legt Horikawa uit. Het systeem is in staat om volledige en contextuele zinnen te genereren die zijn afgestemd op de visuele of voorgestelde ervaring.
Verder denken dan taal: de visuele hersenen en AI
Een van de meest opmerkelijke bevindingen van het onderzoek is dat het proces van mind captioning niet uitsluitend afhankelijk is van het klassieke talennetwerk van de hersenen, dat traditioneel geassocieerd wordt met spraak of verbale begrip. Zelfs wanneer dit gebied uit de analyse werd uitgesloten, bleef het AI-systeem coherente en gedetailleerde beschrijvingen genereren van de waargenomen of herinnerde scènes.
De visuele betekenis en de relatie tussen objecten, acties en context lijken te bestaan in hersengebieden zoals de occipitale kwab, de pariëtale cortex en de frontale kwab, volgens het onderzoek.
Dit suggereert dat de menselijke hersenen in staat zijn om de betekenis van een complexe scène te organiseren en op te slaan in gebieden die niet verbonden zijn met taal. “Onze resultaten tonen aan dat mentale inhoud kan worden gerepresenteerd en gedecodeerd, zelfs zonder het taalsysteem erbij te betrekken,” benadrukt Horikawa.
Deze ontdekking stelt voor dat het mogelijk is om te denken en betekenissen te structureren zonder afhankelijk te zijn van gesproken taal, en dat kunstmatige intelligentie in de toekomst de semantiek van de menselijke hersenen kan lezen en transcriberen. Zo wordt de grens tussen gedachten en taal herdefinieerd met technologische tools die nieuwe mogelijkheden openen voor het begrip en de connectiviteit van de menselijke geest.
Wat is hersenactiviteit en hoe functioneren de menselijke hersenen?
Hersenactiviteit verwijst naar de elektrische en chemische processen die plaatsvinden in de hersenen wanneer neuronen met elkaar communiceren. Deze communicatie genereert signalen die door neurale netwerken reizen, waarmee functies zoals denken, voelen, bewegen en herinneren mogelijk worden gemaakt.
De werking van hersenactiviteit hangt af van elektrische impulsen, die tussen zenuwcellen worden overgedragen via synapsen en neurotransmitters. Activiteit kan worden bestudeerd met technieken zoals het elektro-encefalogram, dat de hersengolven meet.
Het is belangrijk op te merken dat deze processen fundamenteel zijn voor de werking van lichaam en geest, en het mogelijk maken zich aan te passen en te reageren op interne en externe stimuli.
