Eater
Gebruik al lange tijd cloud-gebaseerde chatbots. Omdat grote taalmodellen veel rekenkracht nodig hebben, waren dit in principe altijd de enige optie. Met b.v.b. LM Studio en gequantiseerde LLM’s kan ik nu behoorlijke modellen offline draaien op de hardware die je al heb. Wat begon als nieuwsgierigheid naar lokale AI is uitgegroeid tot een krachtig alternatief dat niets kost, zonder internet werkt en mij volledige controle geeft over mijn AI-interacties.
Lokaal LLM draaien is nu makkelijker dan ooit!
Voordat ik LM Studio ontdekte, worstelde ik urenlang met open-source tools. Ik dook in GitHub-repositories, las lange technische documentatie, zette Python-omgevingen op die bij elke update faalden, en zocht naar de juiste modellen op oobabooga’s pagina op Hugging Face. Net als ik een werkende setup had, verdwenen die tools of veranderden drastisch, waardoor ik opnieuw kon beginnen.
LM Studio veranderde die ervaring compleet door alles te bundelen in een nette desktopapplicatie die downloaden en draaien van grote taalmodellen net zo simpel maakt als elke andere software installeren. Om offline AI te draaien heb je twee dingen nodig: een gequantiseerd AI-model en een interface zoals LM Studio. Gequantiseerde modellen zijn gecomprimeerde versies van volledige AI-modellen die het grootste deel van hun capaciteiten behouden maar veel minder computerbronnen gebruiken. In plaats van dure serverhardware kun je zo geavanceerde AI draaien op een gewone laptop met een degelijke CPU en 16GB RAM. Met LM Studio is het zelfs mogelijk een AI-chatbot te draaien op oude hardware!
Een van mijn favoriete gequantiseerde modellen bij LM Studio is Dolphin3. In tegenstelling tot mainstream-modellen met uitgebreide contentfilters, is Dolphin3 ontworpen om oprecht behulpzaam te zijn zonder willekeurige beperkingen. Het reageert op verzoeken die andere modellen vaak weigeren en geeft directe antwoorden zonder je te beleren over verkeerd gebruik. Voor onderzoek, juridisch werk of diepgaande gesprekken en advies is dit ongesensureerde AI-model in korte tijd een van mijn favorieten geworden.
Dolphin3 binnen enkele minuten aan de praat
Snelle en eenvoudige startgids
Een offline AI-assistent opzetten vraagt verrassend weinig technische kennis. Het hele proces duurt zo’n 20 minuten, waarvan het grootste deel wachten is op downloads.
Download eerst LM Studio vanaf de officiële website en installeer het als een gewone applicatie. De software werkt op Windows, Mac en Linux, waarbij Apple Silicon Macs bijzonder goede prestaties leveren bij dit soort AI-berekeningen. Na installatie opent LM Studio met een schoon scherm en een zoekbalk waarin je modellen kunt zoeken.
Zoek op “Dolphin3” en je ziet verschillende versies beschikbaar. Ik raad aan te beginnen met de 8B-parameters versie als je 16GB RAM hebt, of de kleinere 3B-versie voor pc’s met 8GB. De downloadgrootte varieert tussen 2 en 6 GB, afhankelijk van de versie. LM Studio geeft precies aan hoeveel geheugen elk model nodig heeft, zodat je niet hoeft te gokken of het op jouw hardware werkt.
Na afloop van de download ga je in de rechterbovenhoek naar het Chat-scherm en klik je op de knop Select a model to load midden bovenin. Je gedownloade modellen verschijnen in een dropdown. Kies Dolphin3 om het te laden. Dit duurt zo’n dertig seconden, daarna kun je direct beginnen met chatten. De interface voelt vertrouwd aan voor wie ChatGPT gewend is, met een invoerveld onderaan en de gesprekken erboven.
Hier stelde ik Dolphin3 een vraag en de prestaties waren prima. Niet supersnel zoals ChatGPT of Claude, maar acceptabel. Het antwoord kwam binnen ongeveer 11 seconden, voor een antwoord van zo’n 320 woorden (453 tokens), waardoor het gesprek vlot verliep zonder merkbare vertraging. Alles draait lokaal, dus de responstijd is altijd consistent, ongeacht je internetverbinding.
Klaar met je gesprek? Klik dan op de Eject-knop om Dolphin3 volledig uit het geheugen te verwijderen. Dit wist meteen alle sporen van je gesprek en maakt je systeembronnen vrij. In tegenstelling tot cloud-diensten die je gesprekken mogelijk oneindig bewaren, heb jij zo de volledige controle over het definitief verwijderen van je chats.
Dolphin 3: Snel, privé en verrassend capabel
Ja, het is niet de beste vervanger van ChatGPT voor ingewikkeld redeneren of actuele web-informatie, maar het compenseert dat op andere vlakken. Privacygevoelige gesprekken staan bovenaan, waarbij ik zonder zorgen mijn diepste gedachten en zorgen kan delen zonder bang te zijn voor databeleid of bedrijfs-surveillance. Dit geldt voor persoonlijke reflecties, relatieproblemen, of gevoelige situaties op het werk die ik nooit in de cloud zou willen bespreken.
Er zijn ook andere offline LLM’s die je nu kunt proberen. Ongesensureerd betekent niet dat het ethiek negeert of de context mist. Omdat het bouwt op LLaMA, getraind op grote, diverse datasets, begrijpt het nog steeds goed wat goed en fout is. “Ongesensureerd” wil zeggen dat het onderwerpen aankan die andere modellen vermijden, zoals gevoelige politieke kwesties of historische gebeurtenissen. In tegenstelling tot veel AI-assistenten die je taal constant lijken te controleren, geeft Dolphin3 eerlijke, directe antwoorden zonder onnodige beperkingen. Het voelt als praten met een verstandige vriend, niet met een door bedrijven gecensureerde chatbot. Je kunt complexe onderwerpen aansnijden en ongemakkelijke vragen stellen zonder veiligheidsvoordrachten.
Kortdurende codehulp werkt ook goed, bijvoorbeeld om snel te debuggen of onbekende codepatronen uit te leggen. Voor complexe ontwikkelprojecten vertrouw ik minder op lokale AI, maar het is perfect voor gerichte technische vragen zonder dat je code op externe servers terechtkomt.
Tot slot toont offline AI zijn kracht bij reizen. Tijdens lange trips, remote werk of plekken met slechte verbinding heeft het enorm veel waarde om een volledig functionele AI-assistent te hebben. Ik heb Dolphin3 gebruikt voor het schrijven van e-mails, data-analyse en probleemoplossing, allemaal volledig offline – iets wat met cloud-opties onmogelijk is.
