Het kiezen van het juiste ontwerp kan het leren in visuele AI-systemen versnellen. Onderzoekers van de Johns Hopkins University hebben ontdekt dat kunstmatige intelligentiesystemen, die zijn gebouwd met biologisch geïnspireerde structuren, activiteitspatronen kunnen produceren die vergelijkbaar zijn met die van de menselijke hersenen, zelfs voordat ze enige training ondergaan.
De studie, gepubliceerd in Nature Machine Intelligence, suggereert dat het ontwerp van een AI-model misschien wel belangrijker is dan de uitgebreide processen van diep leren, die vaak maanden duren, enorme energie vereisen en miljarden dollars kosten.
“De huidige richting in het AI-veld is om een overvloed aan data naar de modellen te gooien en rekencapaciteit te creëren ter grootte van kleine steden. Dit vereist honderden miljarden dollars aan investeringen. Ondertussen leren mensen om te zien met zeer weinig data,” aldus hoofdonderzoeker Mick Bonner, assistent-professor in de cognitieve wetenschap aan de Johns Hopkins University. “Evolutie heeft mogelijk om een goede reden voor dit ontwerp gekozen. Ons werk suggereert dat architectonische ontwerpen die meer hersenachtig zijn, AI-systemen een zeer voordelig startpunt bieden.”
Bonner en zijn collega’s onderzochten drie belangrijke categorieën van netwerkontwerpen die vaak de constructie van moderne AI-systemen begeleiden: transformers, volledig verbonden netwerken en convolutionele netwerken.
AI-Architecturen en Hersenactiviteit
De wetenschappers hebben de drie blauwdrukken voortdurend aangepast om tientallen unieke kunstmatige neurale netwerken te bouwen. Vervolgens hebben ze deze nieuwe en ongetrainde AI-netwerken blootgesteld aan beelden van objecten, mensen en dieren en de reacties van de modellen vergeleken met de hersenactiviteit van mensen en primaten die dezelfde beelden zagen.
Wanneer transformers en volledig verbonden netwerken werden aangepast door hen veel meer kunstmatige neuronen te geven, veranderden ze niet veel. Het aanpassen van de architecturen van convolutionele neurale netwerken op een vergelijkbare manier stelde de onderzoekers echter in staat om activiteitspatronen in de AI te genereren die beter simuleerden wat er in de menselijke hersenen gebeurt.
Architectuur is Belangrijker dan Verwacht
De ongetrainde convolutionele neurale netwerken evenaarden conventionele AI-systemen, die doorgaans miljoenen of miljarden beelden blootgesteld worden tijdens training. Dit suggereert dat de architectuur een belangrijkere rol speelt dan onderzoekers eerder dachten.
“Als training op enorme hoeveelheden data echt de cruciale factor is, zou het niet mogelijk moeten zijn om hersenachtige AI-systemen te bereiken door alleen architectonische aanpassingen,” aldus Bonner. “Dit betekent dat we door te beginnen met de juiste blauwdruk, en misschien andere inzichten uit de biologie toe te passen, het leren in AI-systemen drastisch kunnen versnellen.”
De volgende stap voor de onderzoekers is het ontwikkelen van eenvoudige leeralgoritmen die zijn gemodelleerd naar de biologie, wat kan bijdragen aan een nieuw kader voor diep leren.
