Het bouwen van agents blijft een uitdagend proces. De bouwfase is vaak complex, waarbij de SDK-abstrahering vaak niet goed functioneert tijdens de werkelijke gebruiksfase van de tools. Bij het beheer van caching zijn er aanzienlijke verschillen tussen platforms. Handmatig beheer wordt vaak als meer voorspelbaar en efficiënter beschouwd, en de expliciete caching-methode van de Anthropic SDK geniet de voorkeur.
De Rol van de Versterkingslus
De versterkingslus speelt een cruciale rol in de nauwkeurigheid van taakstatus bijhouden en het herstellen van mislukkingen. Mislukkingen moeten apart worden beheerd om ineenstorten van de loop te voorkomen. Voor het beheer van gedeelde toestand is een bestandssysteem-achtige hiërarchie belangrijk, wat basisstructuur biedt voor gegevensuitwisseling tussen codering, uitvoering en inferentietools.
Kies de Juiste SDK voor je Agent
Bij het bouwen van een agent moeten ontwikkelaars beslissen of ze de basis SDK’s van bedrijven zoals OpenAI of Anthropic willen gebruiken, of dat ze kiezen voor een hoger abstractieniveau zoals de Vercel AI SDK of Pydantic. Er zijn grote verschillen tussen modellen, wat soms betekent dat een eigen abstractielaag ontwikkeld moet worden. Vercel’s SDK heeft bijvoorbeeld problemen laten zien bij het verwerken van tools aan de provider-kant, en de webzoekfunctie van Anthropic kan de boodschapgeschiedenis verstoren. Daarom is het direct gebruik van de SDK zonder abstractielaag momenteel voordeliger.
Belangrijke Lessen in Cachingbeheer
De aanpak voor caching verschilt per platform. Bij Anthropic zijn er kosten verbonden aan caching, en dit vereist expliciet beheer. Handmatig beheer maakt het echter makkelijker om zowel kosten als de effectiviteit van caching te voorspellen. Het instellen van meerdere caching-punten, zoals na systeemprompten, helpt bij het behouden van context tijdens gesprekken.
Versterking in de Agent Loop
Tijdens de gereedschapsuitvoering kunnen niet alleen eenvoudige resultaten worden teruggegeven, maar ook belangrijke informatie zoals doelstellingen en aanwijzingen voor falen kunnen worden opnieuw in de lus geïnjecteerd. Dit helpt bij de zelfversterking en het handhaven van de stabiliteit van de loop. Dit kan bijvoorbeeld door berichten in te voegen die de verwerking baseren op eerdere fouten.
Fouten Isoleren
Voor taken waar herhaalde mislukkingen te verwachten zijn, is het nuttig om subagents in te schakelen. Dit zorgt ervoor dat alleen de succesvolle resultaten aan de hoofdloop worden teruggerapporteerd. Anthropic’s SDK biedt mogelijkheden voor contextbewerking, wat nodige fouten kan verwijderen zonder de hele geschiedenis te behouden.
Gedeelde Bestandsystemen en Subagents
De meeste agents zijn op basis van uitvoerend en genererend werk, waarbij een gezamenlijke gegevensopslag nodig is. Dit vereist het gebruik van een virtueel bestandssysteem (VFS), zodat verschillende tools dezelfde padstructuur kunnen delen voor beeldgeneratie, compressie, en inferentie.
Output Tools en Model Keuzes
Agents opereren voornamelijk via interne berichtcycli in plaats van chat sessies, waardoor output tools zoals e-mailcommunicatie die verantwoordelijk zijn voor het communiceren met externe systemen, essentieel zijn. De keuzes tussen verschillende modellen zoals Haiku, Sonnet, en Gemini blijven cruciaal, ondanks dat er beperkingen zijn in de prestaties van bepaalde modellen.
Evaluaties en Testing
Het testen en evalueren van agents wordt vaak gezien als een van de moeilijkste uitdagingen. Het vereist observatie en metingen gebaseerd op echte uitvoeringsdata, wat momenteel geen bevredigende oplossingen biedt. De meeste AI agents worden zonder rigoureuze testen uitgerold, wat kan leiden tot een gebrek aan betrouwbare kwaliteitscontrole.
Afsluitend
Naarmate de techniek zich ontwikkelt, blijft het belangrijk om de juiste afwegingen te maken tussen direct werken met SDK’s en het bouwen van eigen systemen. Het leren van de valkuilen en het effectief implementeren van best practices zal de ontwerpen van agents in de toekomst verbeteren.
