{"id":82446,"date":"2022-06-22T18:32:50","date_gmt":"2022-06-22T18:32:50","guid":{"rendered":"https:\/\/hanstimmerman.me\/?p=82446"},"modified":"2022-06-22T18:32:50","modified_gmt":"2022-06-22T18:32:50","slug":"levenslang-leren-versus-catastrofaal-vergeten","status":"publish","type":"post","link":"https:\/\/hanstimmerman.me\/nl_nl\/levenslang-leren-versus-catastrofaal-vergeten\/","title":{"rendered":"Levenslang leren versus catastrofaal vergeten\u00a0"},"content":{"rendered":"

Of een computer ooit voor een levend wezen kan doorgaan, is \u00e9\u00e9n van de belangrijkste uitdagingen op het gebied van kunstmatige intelligentie. Alan Turing cre\u00eberde wat nu de Turing-test wordt genoemd – of een machine intelligent gedrag zou kunnen vertonen dat gelijk is aan of niet te onderscheiden is van dat van een mens. Machines worstelen echter nog steeds met een van de fundamentele vaardigheden die een tweede natuur is voor mensen en andere levensvormen: levenslang leren<\/i>. Dat wil zeggen, leren en ons aanpassen terwijl we een taak uitvoeren zonder eerdere taken te vergeten, of intu\u00eftief kennis over te dragen die van de ene taak is verzameld naar een ander gebied. Vaak nog moeten ze helaas eerst \u2018catastrofaal vergeten<\/i>\u2019 voordat ze iets nieuws kunnen leren.\u00a0<\/span><\/span><\/p>\n

Neurale netwerken<\/b><\/span><\/p>\n

Als mens en dier hebben we een geheugen waar we nog lang niet alles van weten. Het is ons vermogen<\/a> van opslag, het vasthouden of bewaren en het terugzoeken van informatie. Daarnaast is ons geheugen essentieel om te kunnen leren en nieuwe kennis en vaardigheden in onze hersenen op te slaan. Onze hersenen doen dat ook nog eens op een zeer energie-effici\u00ebnte manier, waarvan we graag meer zouden willen weten. Bij de ontwikkeling van kunstmatige intelligentie zijn diep neurale netwerken (DNN\u2019s) een veelbelovende\u00a0 <\/span>ondersteuning. Deze wat betreft structuur en biologie op het menselijke geheugen ge\u00efnspireerde opslagtechniek staat zeer in de belangstelling.\u00a0<\/span><\/span><\/p>\n

Onderzoekers aan de Graz universiteit publiceerden<\/a> in \u2018Nature Machine Intelligence<\/i>\u2019 over een studie die laat zien dat neuromorfe computerhardware zoals DNN\u2019s, 4 tot 16 keer effici\u00ebnter kunnen zijn dan conventionele computerhardware. In hun tests evalueerden onderzoeker Wolfgang Maass en zijn collega’s de energie-effici\u00ebntie van een groot neuraal netwerk dat draait op een neuromorfe computerchip gemaakt door Intel. Deze is speciaal ontworpen om reeksen van grote letters of cijfers, zoals zinnen, te verwerken. DNN’s zijn van cruciaal belang om de cognitieve functie op een hoger niveau te brengen, zoals het vinden van relaties tussen zinnen in een verhaal en het beantwoorden van vragen over de inhoud ervan. De uitdaging<\/a> van het semantische internet web 3.0.<\/span><\/p>\n

Sprinten en rusten<\/b><\/span><\/p>\n

Het ontwikkelen van hersen-ge\u00efnspireerde neurale architecturen is naast genoemde energie-effici\u00ebnte ook interessant om sneller informatie te vergelijken. Onze hersenen gebruiken hiervoor zeer effici\u00ebnte \u2018skiping-neuronen<\/i>\u2019 die soms hyperactief kunnen zijn, maar ook op zijn tijd de nodige rust moeten krijgen. Deze balans tussen vari\u00ebrende hyper-activiteit en \u2018luiheid\u2019 maakt het geheugen niet alleen razendsnel maar ook energie-effici\u00ebnt. In huidige kunstmatige DNN\u2019s worden neuronen tienduizenden keren per seconde geactiveerd, terwijl in ons menselijk geheugen een gemiddeld neuron maar enkele keren per seconde een signaal afgeeft.\u00a0<\/span><\/span><\/p>\n

In hun experimenten toonden Maass en zijn collega’s aan dat de neiging van veel biologische neuronen om te rusten na spiking, kan worden gerepliceerd in neuromorfe hardware en kan worden gebruikt als een “computationele truc” om taken voor het verwerken van tijdreeksen effici\u00ebnter op te lossen. Bij deze taken moet nieuwe informatie worden gecombineerd met informatie die in het recente verleden is verzameld (bijvoorbeeld zinnen uit een verhaal dat het netwerk vooraf heeft verwerkt).<\/span><\/p>\n

Lange weg<\/b><\/span><\/p>\n

Door deze biologische tactiek in het kunstmatige netwerk te reconstrueren, werd zoals eerder gezegd in hetzelfde DNN 4 tot 16 keer minder energie verbruikt dan in conventionele data-opslagchips. De uitdaging is om goed te weten welke neuronen het meest vermoeid zijn en rust nodig hebben. Door bij te houden welke informatie recentelijk is verwerkt en daar de verantwoordelijke neuronen voor te kennen, kan men die noodzakelijke behoefte aan \u2018luiheid\u2019 herkennen en gebruiken bij het aansturen van de neuronen. \u00a0<\/span><\/span><\/p>\n

Er is nog veel te leren over de effici\u00ebntie van zowel informatie-opslag als -verwerking door onze hersenen. Ons brein kan leren door slechts \u00e9\u00e9n keer een scene te zien, terwijl de huidige DNN\u2019s nog een buitensporige training moeten krijgen met ontelbare voorbeelden. DNN\u2019s staan nog maar aan het begin wat betreft \u2018kunstmatig kunnen leren\u2019. Onze hersenen gebruiken om snel te leren verschillende leermethoden parallel in verschillende delen van onze hersenen. Hierdoor is mogelijk eerder beslissingen te nemen op basis van die parallelle informatie die we krijgen aangeboden. De combinatie van die leermethoden maakt het mogelijk ook individuele ervaringen te genereren om ook later betere beslissingen te kunnen nemen. \u00a0<\/span><\/span><\/p>\n

Levenslang leren<\/b><\/span><\/p>\n

Levenslang leren is een verzameling biologisch ge\u00efnspireerde vaardigheden die we als vanzelfsprekend beschouwen, zoals het vermogen om nieuwe vaardigheden te verwerven zonder onze oude in gevaar te brengen, het aanpassen aan veranderingen en het toepassen van eerder geleerde kennis op nieuwe taken. De manier waarop wij als mens en dier leren, is door ervaring, imitatie en zelfonderzoek. Als je een nieuwe taak leert, betekent dat niet dat je eerdere taken vergeet. Mensen leren tijdens het werk. We komen opdagen en beginnen te leren en dan weten we hoe we het moeten doen. Machines kunnen dat nog niet.<\/span><\/p>\n

De behoefte aan snellere en betere kunstmatige intelligentie is nodig om allerhande complexe modellen te kunnen bestuderen. Bijvoorbeeld ons milieu en klimaat zijn zo complex, dat we die met gewone rekenmodellen beslist niet in het geheel kunnen doorrekenen. Maar ook aerodynamische modellen voor luchtstromen zijn nog veel te complex om goed door te rekenen, zelfs voor de huidige supercomputers. DNN\u2019s zijn momenteel onze fysieke weg om sneller en slimmer te kunnen leren en simulaties te kunnen doorrekenen. \u00a0<\/span><\/span><\/p>\n

Catastrofaal vergeten<\/b><\/span><\/p>\n

Levenslang leren is informatie te kunnen verwerken die een relatie heeft met eerder opgebouwde kennis. Een bio-ge\u00efnspireerde terugkoppeling die – zoals men in proeven<\/a> met robots al eerder heeft gedaan – om met letterlijk vallen en opstaan zelf te leren lopen. Van enorm belang voor de volgende generatie van zelfrijdende auto’s, autonome robots en drones en intelligente prothesen, exoskeletten en draagbare apparaten. Waneer je een machine iets nieuws wil leren, moet je meestal eerst het geheugen wissen en vergeet hij hoe hij de voorafgaand dingen deed. Dit is een probleem dat bekend staat als ‘catastrofaal vergeten<\/i>‘, een van de belangrijkste tekortkomingen van de huidige AI-systemen<\/span><\/p>\n

Als mens kun je leren pingpongen, welke vaardigheid je daarna ook gebruikt om te leren badmintonnen of tennissen. Machines zijn daar (nog) niet toe in staat. Hoe ontwikkel je het vermogen om kennis over te dragen en opnieuw te gebruiken en om je aan te passen aan nieuwe omgevingen. Of begrijpen wanneer tijdens de training van de ene taak naar de andere moet worden overgeschakeld zonder dat dit wordt verteld. Dit noemt men neuromodulatie: het systeem in de hersenen van levende wezens dat helpt om het leren te verbeteren, het probleem van catastrofaal vergeten te overwinnen en zich aan te passen aan onzekere omgevingen en veranderingen in context te begrijpen.\u00a0<\/span><\/span><\/p>\n

Onze hersenen hebben hiervoor astrocyten – andere hersencellen die interacteren met neuronen om het leren te ondersteunen – en de neurale pieken en bursts die informatie in gecodeerde vorm overbrengen. Levenslang leren is vooralsnog een biologisch systeem, waar AI-onderzoekers jaloers naar kijken en proberen te begrijpen. Of we daar snel toe in staat zijn, is de vraag. De natuur had er uiteindelijk miljoenen jaren van evolutie voor nodig.\u00a0<\/span><\/span><\/p>\n

Photo by Hal Gatewood<\/a> on Unsplash<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Of een computer ooit voor een levend wezen kan doorgaan, is \u00e9\u00e9n van de belangrijkste uitdagingen op het gebied van kunstmatige intelligentie. Alan Turing cre\u00eberde wat nu de Turing-test wordt genoemd – of een machine intelligent gedrag zou kunnen vertonen dat gelijk is aan of niet te onderscheiden is van dat van een mens. Machines worstelen echter nog steeds met een van de fundamentele vaardigheden die een tweede natuur is voor mensen en andere levensvormen: levenslang leren. Dat wil zeggen, leren en ons aanpassen terwijl we een taak uitvoeren zonder eerdere taken te vergeten, of intu\u00eftief kennis over te dragen die van de ene taak is verzameld naar een ander gebied. Vaak nog moeten ze helaas eerst \u2018catastrofaal vergeten\u2019 voordat ze iets nieuws kunnen leren.\u00a0<\/p>\n","protected":false},"author":3,"featured_media":82447,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[194,70,71,72,75,80,138],"tags":[81,120,124,237],"class_list":["post-82446","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-transformatie","category-data-ownership","category-digital-economy","category-digitalisation","category-innovation","category-trusted-it","category-strategie","tag-strategie","tag-machine-learning","tag-storage","tag-data-opslag"],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/hanstimmerman.me\/wp-content\/uploads\/2022\/06\/hal-gatewood-OgvqXGL7XO4-unsplash-scaled-e1655922009680.jpg?fit=2553%2C774&ssl=1","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts\/82446","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/comments?post=82446"}],"version-history":[{"count":3,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts\/82446\/revisions"}],"predecessor-version":[{"id":82450,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts\/82446\/revisions\/82450"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/media\/82447"}],"wp:attachment":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/media?parent=82446"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/categories?post=82446"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/tags?post=82446"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}