Azure AI & Lowlands
Competence Developers Emile Strijbos (Data Analytics) en Chris Twigt (AI) bezochten afgelopen week Azure AI & Lowlands. Een verfrissende dag die volledig in het teken stond van alle AI (gerelateerde) ontwikkelingen binnen Azure.
Wat deze conferentie zo leuk maakt is het randprogramma. Naast de interessante sessies werden we getrakteerd op spectaculaire shows waarbij er bijvoorbeeld BMX’ers kwamen stunten in de halfpipe terwijl er ook nog bij gezongen werd. Maar goed, we kwamen voor de inhoud, er waren in totaal 33 sessies om uit te kiezen en we willen er een aantal in deze blog beschrijven.
Onze missie was om te weten wat er momenteel speelt in de wereld van AI en Data Analytics. Voor wat betreft AI is het antwoord simpelweg RAG (Retrieval Augmented Generation). Het merendeel van de AI tracks ging over toepassingen van RAG.
Wat is RAG (Retrieval Augmented Generation)?
Bij RAG worden vragen aan een LLM “verrijkt” met gegevens uit andere databronnen zonder dat de gebruiker dat ziet. Door de vraag aan een LLM te verrijken met relevante gegevens kan de LLM tot een specifieker en beter gegrond antwoord komen. De databronnen kunnen PDF documenten zijn maar ook geluidsbestanden, beelden en zelfs source code. Eigenlijk elke vorm van gegevens die maar relevante context kan geven aan de vraag van de gebruiker.
Als gebruiker van LLM’s zul je je afvragen hoe die gegevens dan worden gevoerd aan de LLM en of die gegevens wel gaan passen in de context-lengte (aandachtsspanne) van de LLM. Hier zijn oplossingen voor bedacht. Als brongegevens te groot zijn om in de context-lengte van een LLM te passen dan worden ze opgeknipt in stukjes met enige overlap en vervolgens omgezet in vectoren waarmee Vector Search-oplossingen ze kunnen vinden (Vector Search wordt gebruikt om documenten te matchen op de betekenis van de woorden in de vraag).
Hier volgt een verslag van de sessies die we hebben bijgewoond:
Digital AI assistant – The coworker that never sleeps
Matthias Verlinde – Lead data scientist bij Cegeka
Constantijn Rijsdijk – Business Consultant Data Analytics & AI bij Cegeka
Cegeka ontwikkelt domein-specifieke digital assistents op basis van RAG (Retrieval Augmentated Generation). Hun product – MILO genaamd – gebruikt een LLM in combinatie met Hybrid Search om met antwoorden te komen op vragen van de gebruiker.
Hybrid search is een combinatie van Vector Search & Keyword Search. Vector Search matcht niet op woorden die voorkomen in de vraag maar op de betekenis van de woorden in de vraag.
Cegeka heeft vele “Connectors” gebouwd om gegevens beschikbaar te maken voor hybrid search waaronder niet alleen de gebruikelijke tekstbestande (PDF/Word/CSV) maar ook geluidsbestanden, beelden en source code en git repositories. Ook kan MILO Dall-E 3 gebruiken om afbeeldingen te genereren.
MILO geeft citaties in zijn antwoorden. Citaties(referenties naar de geraadpleegde bron) zijn belangrijk voor gebruikers om vertrouwen op te bouwen in het systeem.
Future of LLM’s
Carlotta Castellucio – AI cloud advocate bij Microsoft
Deze goede sessie plaatste RAG in het perspectief van een extensie op LLM’s. RAG is een “architecture pattern” dat steeds vaker wordt geadopteerd. Met RAG is een LLM niet beperkt tot de kennis die is opgenomen tijdens training en kan gegronde antwoorden geven over grote actuele datasets. RAG kan op die manier belangrijke bijdragen leveren aan research en data analytics.
Beide componenten van Hybrid Search hebben hun eigen rol. Vector Search wordt gebruikt om documenten te matchen op de betekenis van de woorden in de vraag en Keyword Search is essentieel om bijvoorbeeld documenten te vinden die iets zeggen over specifieke zaken zoals een adres of een error code.
Met RAG kunnen bedrijven hun bedrijfsgegevens ontsluiten naar hun eigen werknemers via een LLM. De bedrijfsgegevens blijven eigendom van de rechtmatige eigenaar en blijven binnen de cloud van het bedrijf.
Kortom, RAG is de nieuwe richting van de toekomst voor AI.
Data kwaliteit verbeteren met Azure OpenAI
Alpa Buddhabhatti – Azure Data Engineer bij WSP
In veel sessies kwam Azure OpenAI terug. Dit is de dienst van Microsoft die toegang biedt tot de modellen die ontwikkeld zijn door OpenAI. Hiermee kunnen Azure gebruikers eenvoudig de kracht van GPT-3 of 4 gebruiken in hun Azure toepassingen. In deze presentatie werd gedemonstreerd hoe dat er in de praktijk uit ziet.
De integratie van Azure OpenAI met je applicaties kan op verschillende manieren. REST API’s, een python SDK of via ADF. Maar de eenvoudigste manier om gebruik te maken van de kracht van GPT is via MS Fabric. Er werd gedemonstreerd hoe je de data kwaliteit kan verbeteren met behulp van Azure OpenAI. Denk aan taken zoals:
- Datum conversie
- Duplicaten verwijderen
- Typo’s corrigeren
- Ontbrekende velden invullen
- Outliers detecteren/verwijderen
- Standarisatie van hoofdlettergebruik
- Etc.
Ze liet zien dat je heel eenvoudig de prompts kan opgeven om de data op te schonen. En omdat het in Fabric plaatsvind heb je geen gedoe met de integratie van je dataset. Je hoeft geen connectors te installeren, geen CSV te importeren of dataframes te maken; in Fabric heb je een omgeving waarbij je eenvoudig bij al je data kan. Als Data Engineer heb je regelmatig met dit soort taken te maken en de integratie van OpenAI met het cloud platformen zoals Azure gaat ons in de nabije toekomst helpen bij het verhogen van de datakwaliteit maar gaat ons ook helpen bij het reduceren van de tijd die hiermee gemoeid gaat.
Large Language Models Demystified
Alan Smith – AI Developer, Trainer & Mentor bij Active Solution, Microsoft AI MVP
Dit was de talk van de dag wat mij betreft. Geweldig goed!
Alan Smith legt uit in 45 minunten hoe inference werkt in GPT-2 op basis van zowel algemene principes als de inference source code van GPT-2. Slechts 90 regels code weliswaar maar wat voor code. Dan heb je lef!
Werkelijk magistraal uitgelegd aan de hand van diagrammen en voorbeelden worden we meegenomen langs prompt engineering, voorspelling van het volgende woord, vectorizatie van tekst door middel van token embeddings, positional embeddings, attentie mechanismen (transformers) en eindselectie van het volgende woord door middel van soft-max en temperature vs Top-P. Ik had het allemaal al eens gelezen in de boeken maar het was fantastisch om het allemaal nog eens de revue te zien passeren.
Alan had 2 maanden nodig om de kennis op te bouwen voor zijn geweldige presentatie. Zijn inzichten over wat een LLM daadwerkelijk leert (en wat niet) en de voorbeelden die hij daarvoor aandroeg zijn bijzonder leerzaam en geestig en zouden onderdeel moeten zijn van elk boek over LLM’s.
Building Generatieve AI Solutions at NS: An Insider’s View
Dibran Mulder – Cloud Republic, Azure Solutions Architect bij NS
Bij NS wordt een chat applicatie gebouwd (ChatNS) om verschillende databronnen te ontsluiten voor gebruikers. Ook hier wordt RAG gebruikt. Beveiliging en authorizatie zijn vanaf het begin meegenomen in het ontwerp. Databronnen worden onderverdeeld in zogenaamde “buckets”. Bijvoorbeeld Juridisch en Educatief waarbij voor elke bucket wordt wordt bepaald welk target audience toegang krijgt. De applicatie reageert ook op spraak.
Bijzonder is dat ChatNS op basis van verschillende LLM’s kan werken. NS wil zich niet afhankelijk maken van van een enkele LLM.
ChatNS maakt voor het opsplitsen van grote brondocumenten gebruik van LangChain die vele manier van splitsen ondersteunt. Voor de opslag van vectoren wordt Postgress gebruikt. Voor de evaluatie van de antwoorden van de ChatNS wordt gebruik gemaakt van – hoe kan het ook anders – een LLM 😊
Automatische generatie van ontslagbrieven
Laura Verhoek – Digital Health Data Scientist bij UMC Utrecht
Ruben Peters – Data Scientist bij UMC Utrecht
Dat LLM’s registratielast naar beneden kunnen brengen was al bekend. In het UMC Utrecht hebben ze dit al toe kunnen passen in de praktijk. Naar schatting spenderen medewerkers in de zorg 43% van hun tijd aan administratie. Er vindt vaak overdracht plaats en het is enorm belangrijk dat er goed wordt vastgelegd wat de aandoeningen, condities en behandelingen waren. Met name bij de ontslagbrief kost het veel tijd om nauwkeurig op te schrijven wat er allemaal gebeurd is.
In 2023 hebben ze in het UMC Utrecht 28.000 opnamen gehad en het kost gemiddeld een uur om een ontslagbrief te schrijven. De business case om hier verandering in te brengen is dan ook snel gemaakt. Voor hun oplossing hebben ze ook gebruik gemaakt van Azure OpenAI. Waarom? Omdat ze dan weten dat hun data in Europa wordt verwerkt, Azure kan pseudoniemiesatie toepassen en ze zijn er zeker van dat de “abuse & content monitoring” uit staat.
Toch vroeg ik me af waarom ze ervoor gekozen hebben om de gevoelige patientdata aan te bieden aan Azure OpenAI. Ze hebben binnen de muren van het ziekenhuis gigantisch veel ontslagbrieven om een eigen model te trainen. Ik was dan ook benieuwd waarom ze toch voor een publieke LLM zijn gegaan. Ze vertelden me dat dit vooral te maken had met een gebrek aan eigen krachtige infrastructuur.
Ter afsluiting
Het merendeel van de sessies die we hebben gevolgd was in de eerste plaats gericht op toepassingen van AI/Data Analytics en niet zo zeer op de toepassing van software van Microsoft en stellen wij op prijs. Dit was een interessante en informatieve dag.