Lokale AI op eigen hardware: van een desktop-GPU tot Kimi K3

AI op je eigen hardware geeft je een andere vorm van controle. Je kiest waar prompts worden verwerkt, welke modelversie beschikbaar blijft en hoeveel capaciteit je koopt. Een documentassistent of een programmeerworkflow wordt zo een dienst die je naast je andere applicaties beheert.

Je hoeft daarvoor niet met een serverrack te beginnen. De AMD Radeon AI PRO R9700 heeft 32 GB GPU-geheugen. Daarmee is een gekwantiseerde Qwen3.8-27B een realistische kandidaat voor lokaal gebruik. Een Mac mini biedt een andere route, met gedeeld geheugen voor CPU en GPU. Grotere DeepSeek- en GLM-modellen vragen honderden gigabytes; bij Kimi K3 wordt lokale inferentie een infrastructuurproject.

Deze gids vergelijkt specificaties en modelbestanden die zijn gecontroleerd op 5 september 2026. De geheugeninschattingen dienen voor planning; we hebben deze configuraties niet gebenchmarkt. Downloadgroottes staan in decimale GB/TB zoals de repositories ze tonen; hardwaregeheugen volgt de aanduiding van de fabrikant. Genoemde prijzen zijn referentieprijzen van fabrikanten, geen actuele Belgische winkeloffertes.

Begin met geheugen, meet daarna de snelheid

Inferentie is het uitvoeren van een getraind model om een antwoord te produceren. Je downloadt de gewichten—de numerieke waarden die het model tijdens de training heeft geleerd—en laadt ze in een runtime. Je hoeft het trainingsproces niet te herhalen.

Een nuttige eerste berekening is:

Ruwe opslag voor gewichten in GB ≈ parameters in miljarden × bits per parameter / 8

Bij 16 bits vraagt een model met 27 miljard parameters ongeveer 54 GB voor die parameters. Bij 4 bits daalt de berekening naar 13,5 GB. Kwantisatie slaat gewichten met minder precisie op en ruilt daarmee wat numerieke nauwkeurigheid voor een kleinere omvang. Echte bestandsformaten bewaren ook schaalfactoren, metadata en sommige tensors op hogere precisie. Een vierbitsdownload is daardoor groter dan deze eenvoudige berekening.

Daar komen werkgeheugen van de runtime, de attention-cache van het gesprek en eventuele beeldcomponenten bij. Langere contexten en gelijktijdige gebruikers nemen ruimte in die overblijft nadat de gewichten zijn geladen. Bij een computer met gedeeld geheugen hebben ook het besturingssysteem en andere applicaties hun deel nodig.

Bij mixture-of-experts-modellen (MoE) is er nog een onderscheid. Slechts een deel van de parameters wordt voor elk token gebruikt, maar de andere experts moeten wel beschikbaar blijven. Actieve parameters helpen de rekenlast te verklaren; het totale aantal bepaalt het eerste budget voor de gewichten. Experts naar CPU-geheugen verplaatsen verandert waar dat budget terechtkomt en kan de snelheid beperken.

Geheugencapaciteit bepaalt of een configuratie aannemelijk is. Geheugenbandbreedte, rekenkracht, runtimeondersteuning en gelijktijdig gebruik bepalen hoe prettig ze werkt. Meet de tijd tot het eerste token, de generatiesnelheid en wachtrijen met je eigen documenten en prompts.

Qwen als praktisch vertrekpunt op de desktop

Alibaba's Qwen-familie omvat modellen voor verschillende hardwareklassen. De kleinere Qwen3.5-releases bevatten modellen van 0.8B, 2B, 4B en 9B. Ze zijn kandidaten voor extractie, classificatie, korte documenttaken en lichte assistenten. Evalueer het kleinste model dat je taak betrouwbaar uitvoert. Let op de naam: deze kleine releases zijn Qwen3.5, terwijl ons grotere desktopvoorbeeld Qwen3.8-27B is. Zie de Qwen3.5-collectie en de Qwen3.8-modelkaart.

Een concreet geheugenreferentiepunt: Unsloth biedt voor Qwen3.8-27B onder meer een UD-Q4_K_M-bestand van 16,5 GB en een Q8_0-bestand van 29 GB aan. Dit zijn kwantisaties van Qwen-gewichten door een externe uitgever. De groottes slaan op bestanden, niet op het totale geheugen tijdens gebruik. Unsloth-bestanden.

De 32 GB van de R9700 past daarmee goed bij de vierbitsvariant en laat ruimte voor runtimeallocaties. Een achtbitsbestand van 29 GB laat veel minder marge. Een bestand dat kleiner is dan het VRAM bewijst nog niet dat de gewenste context of meerdere gebruikers passen. Gebruik een compatibele llama.cpp-versie en controleer GPU, besturingssysteem en drivers in de ROCm-ondersteuningsmatrices.

Begin voor tekstexperimenten met een korte context en één gebruiker, en verhoog daarna de belasting. De volledige precisie laden of beeldverwerking inschakelen verandert de vereisten.

Ook GLM heeft een desktopoptie: GLM-4.7-Flash, met 30B totale en 3B actieve parameters. De Q4_K_M-download van 18,3 GB maakt het een kandidaat voor een GPU met 24–32 GB. Het is veel kleiner dan GLM-5.3-Flash, dat verderop aan bod komt. Officiële modelkaart, gekwantiseerde bestanden.

Interessante hardware om te vergelijken

Dit is een selectie over de relevante geheugenklassen. Losse kaarten vragen een geschikte computer, voeding, koeling en PCIe-slots. Bij complete systemen zitten die onderdelen in de aankoop. Een productpagina bevestigt dat een productoptie bestaat; ze bewijst geen actuele lokale voorraad of leverdatum.

GPU's voor desktops en werkstations

Intels B70-referentieprijs komt uit de aankondiging van maart 2026. NVIDIA kondigde de desktop-5090 aan vanaf $1.999. Deze Amerikaanse referentieprijzen bevatten de rest van de computer niet en zijn niet rechtstreeks vergelijkbaar met een Belgische systeemofferte inclusief btw.

De professionele NVIDIA-kaart heeft 96 GB en de oudere RTX 6000 Ada 48 GB. Controleer dus de volledige naam in offertes. Maak ook onderscheid tussen desktopkaarten en laptop-GPU's met gelijkaardige namen.

Een 5090 kan niet meer gewichten laden dan een R9700 enkel doordat hij meer kost: beide hebben 32 GB. De keuze hangt af van gemeten doorvoer, ondersteunde kernels, modelformaat en de totale systeemprijs. llama.cpp ondersteunt CUDA, HIP, Vulkan en SYCL, maar backendondersteuning garandeert niet dat elke modelfunctie er even goed werkt.

Complete systemen met gedeeld geheugen

Let op de beschikbaarheid van de Mac Studio: de M5-modellen hierboven zijn op de datum van dit artikel vooraf te bestellen. Apple noemt 22 september 2026 voor de eerste beschikbaarheid en eind oktober voor configuraties met 512 GB. Het gaat om aangekondigde capaciteit om mee te plannen, niet om machines die op 5 september al geleverd worden. Apples aankondiging.

Bij Apple silicon gebruiken CPU en GPU dezelfde fysieke geheugenpool. Daardoor kan een Mac een model draaien dat groter is dan het afzonderlijke VRAM van veel desktopkaarten: er is geen aparte, kleinere geheugenlimiet op de grafische kaart. De MLX-documentatie legt die architectuur uit. De geïnstalleerde capaciteit wordt wel gedeeld door macOS, applicatie, gewichten en werkgeheugen. Een Mac met 64 GB is dus geen GPU met 64 GB exclusief geheugen.

AMD beschrijft een verwant capaciteitsvoordeel voor Ryzen AI Max+ in zijn uitleg over Variable Graphics Memory. NVIDIA combineert in Spark gedeeld geheugen met CUDA en levert het systeem zelf en via partners. Geen van deze geheugencijfers belooft dezelfde inferentiesnelheid.

DeepSeek en GLM: waar het geheugenbudget verandert

Voor grotere modellen moet je goed kijken naar de specifieke release en kwantisatie. Flash is een modelnaam, geen belofte dat het model in 32 GB past.

DeepSeek-V4-Flash heeft 284B totale parameters en 13B actieve parameters per token. Gebruik voor de huidige release het officiële checkpoint DeepSeek-V4-Flash-0731. De repository is ongeveer 167 GB en de gewichten gebruiken gemengde formaten met lage precisie. Unsloths UD-Q4_K_XL van deze julirelease is ongeveer 155 GB. Een apart, optioneel model voor speculative decoding voegt ongeveer 11 GB toe. Officiële julibestanden, kwantisaties.

Zelfs de theoretische vierbitsberekening komt op 142 GB vóór overhead. Dat overschrijdt al één kaart van 96 GB, een Spark van 128 GB of een Ryzen-systeem van 128 GB. Een computer met 256–512 GB gedeeld geheugen of een geschikt systeem met meerdere GPU's komt qua capaciteit in beeld. Runtimeondersteuning en het werkelijk gemeten geheugenverbruik blijven bepalend. De vLLM-deploymentgids beschrijft serverconfiguraties; ze valideert geen Mac-opstelling.

GLM-5.3-Flash van Z.ai heeft 320B totale en 18B actieve parameters. De gepubliceerde FP8-repository is ongeveer 328 GB. Kwantisatie verandert de opties: Unsloth biedt een IQ4_XS-versie van ongeveer 157 GB en een Q4_K_XL-versie van ongeveer 200 GB. Een machine van 256 GB is daardoor een kandidaat voor bepaalde kwantisaties bij beperkte belasting. Een configuratie van 512 GB biedt meer ruimte. Dit zijn inschattingen, geen geteste garanties voor contextlengte of gebruikersaantallen. Officieel model en bestanden, kwantisaties.

De volledige GLM-5.3 vraagt een andere investering. De vLLM-gids noemt ongeveer 743B totale en 39B actieve parameters, met acht H200-GPU's als referentieconfiguratie en acht B200-GPU's met FP8 attention-cache voor de volledige context. De originele FP8-repository is ongeveer 756 GB. Unsloths IQ4_XS-conversie van ongeveer 365 GB maakt een werkstation met 512 GB een capaciteitskandidaat, zonder daarmee serverprestaties te bewijzen. De Q4_K_XL van ongeveer 467 GB laat veel minder marge. GLM-5.3-kwantisaties.

Twee GPU's gedragen zich niet automatisch als één grotere GPU. De runtime moet het model verdelen, en communicatie tussen kaarten kan de beperkende factor worden. De RTX 5090 heeft geen NVLink; bij meerdere kaarten moet je rekening houden met de PCIe-topologie. CPU-offloading kan grotere modellen laden, maar benchmark de vertraging voordat je daarop een aankoop baseert.

Mac Studios en DGX Sparks clusteren

Meerdere kleine computers kunnen samen een bruikbaar lokaal inferentiecluster vormen. Bepaal eerst wat de extra machines moeten doen. Replica's bewaren elk een volledig model en verdelen verzoeken onderling. Dat bedient meer gebruikers en kan de beschikbaarheid verbeteren. Sharding verdeelt één model over meerdere machines, zodat een grotere verzameling gewichten past. Elke shard moet beschikbaar zijn om een verzoek te beantwoorden.

Elke node behoudt zijn eigen besturingssysteem, geheugen en runtimeallocaties. Twee Macs van 256 GB bevatten samen 512 GB geïnstalleerd geheugen, maar worden geen enkele Mac met een transparante geheugenpool van 512 GB. De inferentiesoftware moet het model verdelen en tussenresultaten uitwisselen. Door die communicatie betekent twee keer zoveel hardware niet automatisch twee keer zoveel snelheid.

Mac Studio: directe Thunderbolt-verbindingen en MLX

Apple ondersteunt RDMA over Thunderbolt op Apple silicon Macs met Thunderbolt 5, vanaf macOS 26.2. RDMA vermindert de overhead bij gegevensuitwisseling tussen machines. Je moet het expliciet inschakelen en compatibele software gebruiken. Een Thunderbolt 5-kabel voegt de functie niet toe aan een Mac met Thunderbolt 4. Apples technische RDMA-notitie.

Twee compatibele Mac Studios kunnen rechtstreeks verbinden. Voor vier machines vraagt een volledige mesh zes kabels en drie geschikte poorten per Mac: elke machine verbindt met de andere drie. Een ring gebruikt minder verbindingen en koppelt elke machine aan zijn twee buren. Apple toont beide topologieën in zijn sessie over gedistribueerde MLX.

MLX kan lagen over nodes verdelen met pipelineparallelisme, of berekeningen binnen lagen verdelen met tensorparallelisme. Dat laatste wisselt doorgaans vaker data uit. Stem model, verdeling en topologie af op de concrete runtimeversie: de MLX-startgids onderscheidt de TCP-ringbackend van JACCL, terwijl de huidige JACCL-implementatie ook RDMA-ringen ondersteunt. exo biedt een hoger orkestratieniveau met automatische detectie en modelverdeling. Ook daar gelden eigen vereisten voor modellen en topologie.

Een praktisch klein Mac-cluster heeft zo twee netwerken: directe Thunderbolt-verbindingen voor de verdeelde berekening, en gewoon Ethernet voor beheer, modeldownloads en clientverzoeken. Een MikroTik-Ethernetswitch hoort op dat Ethernet-netwerk. Hij vervangt de Thunderbolt-kabels niet. Gedistribueerde runtimes over Ethernet zijn een andere optie, met andere bandbreedte- en vertragingseigenschappen.

DGX Spark: directe paren, een ring van drie of een switch

Elke Spark voegt 128 GB geïnstalleerd geheugen toe. NVIDIA documenteert een directe verbinding tussen twee Sparks via 200 GbE QSFP, zonder switch. Het beschrijft ook drie Sparks in een ring. Twee nodes bevatten samen 256 GB; vier bevatten 512 GB, vóór overhead en cachereserves per node.

Voor vier of meer toont NVIDIA's gids voor clusters met een switch een opstelling met vier machines. Die vraagt minstens vier switchverbindingen van 200 Gb/s, rechtstreeks of via geschikte breakouts van 400G naar tweemaal 200G. Een paar Sparks is daardoor qua capaciteit een kandidaat voor een verdeelde DeepSeek Flash-deployment met de genoemde gewichten van 155 GB. Of de gekozen runtime en kwantisatie daadwerkelijk goed over dat paar werken, moet je testen.

Gebruik het ConnectX-netwerk voor berekeningen tussen nodes en houd beheerverkeer apart. Sparks QSFP-poorten bieden meerdere logische interfaces. Volg daarom de NVIDIA-netwerkgids en behandel twee fysieke poorten niet als een gegarandeerde hostverbinding van 400 Gb/s. NVIDIA neemt netwerk- en communicatietests op vóór het uitvoeren van een verdeelde workload.

MikroTik maakt het Ethernet-netwerk betaalbaarder

MikroTik maakt het netwerk een relatief bescheiden kostenpost naast meerdere computers met veel geheugen. Hieronder staan de gepubliceerde adviesprijzen in Amerikaanse dollars, gecontroleerd op 5 september 2026. Reken kabels of optische modules, compatibele hostinterfaces, btw en lokale resellerprijzen apart mee.

De afweging zit in de snelheid van het volledige pad. Een switch van 100G begrenst een compatibele Spark-verbinding tot 100 Gb/s, onder NVIDIA's 200G-referentie. Bits delen door acht geeft ruwe maxima van 1,25 GB/s voor 10G, 12,5 GB/s voor 100G en 25 GB/s voor 200G, vóór protocoloverhead. Dat zijn netwerksnelheden, geen generatiesnelheden van een model. Een snellere switch maakt van de ingebouwde 10GbE-poort van een Mac ook geen 100G-interface.

Voor RDMA over Ethernet, RoCE, moeten netwerkkaarten en switchconfiguratie samenwerken. MikroTik documenteert PFC om geselecteerde verkeersklassen te pauzeren en ECN om congestie te signaleren. De RouterOS QoS-gids bevat een ondersteuningstabel per apparaat en een RoCE-voorbeeld. Alleen de poortsnelheid bewijst nog geen werkend RDMA-netwerk.

Deze MikroTik-producten zijn kandidaten om te valideren, geen door NVIDIA gecertificeerde Spark-boodschappenlijst. Controleer de exacte firmware, NIC-lanemodus, kabels of optische modules, foutcorrectie en onderhandelde snelheid. Voer daarna NVIDIA's communicatietests uit. Ook SFP+-aansluitingen vragen geschikte modules of kabels: de RJ45-Ethernetkabel van een Mac past er niet rechtstreeks in. Neem de accessoires en configuratietijd mee in het clusterbudget.

PCIe-switching wanneer de host te weinig lanes heeft

Een desktopprocessor biedt soms te weinig PCIe-lanes voor meerdere GPU's plus snelle netwerkkaarten en opslag. Met een PCIe-switch kunnen meerdere apparaten één upstreamverbinding naar de host delen. Broadcoms PEX-families leveren hiervoor de chips in uitbreidingskaarten, backplanes en servers. Broadcoms overzicht van PCIe-switches.

Drie verschillende producten worden gemakkelijk verward:

Supermicro legt bifurcatie uit als een verdeling van lanes. Een backplane met een switch werkt anders. De 4UPF Gen4 van One Stop Systems biedt bijvoorbeeld een OSS-538-configuratie met één upstream-x16-verbinding en vier downstream-x16-slots. De topologie ziet er zo uit:

CPU — PCIe 4.0 x16 — PCIe-switch
                      ├── x16 — GPU 1
                      ├── x16 — GPU 2
                      ├── x16 — GPU 3
                      └── x16 — GPU 4

Dit voegt aansluitingen toe voor GPU's en hun geheugen. Het maakt van 16 CPU-lanes geen 64 CPU-lanes. De gedeelde PCIe 4.0 x16-uplink biedt theoretisch ongeveer 31,5 GB/s per richting vóór transactieoverhead. Alle transfers naar de host delen die limiet. NVIDIA gebruikt hetzelfde cijfer in zijn beschrijving van de DGX A100-architectuur.

Als GPU's en drivers peer-to-peertransfers ondersteunen, kan verkeer tussen GPU's op dezelfde switch binnen die switch blijven, zonder de hostuplink te gebruiken. Dat maakt switching interessant voor inferentie waarbij de gewichten in GPU-geheugen blijven. Veelvuldig CPU-offloading of grote transfers naar een netwerkkaart buiten die switch kunnen de upstreamverbinding belasten. Broadcoms PEX88000-architectuur beschrijft de directe paden tussen apparaten.

Koop de volledige topologie, niet alleen een chipnaam. Controleer directe geheugentoegang bij de gekozen GPU's en drivers, apparaatherkenning en adresruimtetoewijzing in de firmware, switchgeneratie, hostverbinding, kabels, extra voeding en koeling. NVIDIA's NCCL-gids voor probleemoplossing legt uit waarom PCIe-topologie en isolatie-instellingen van het platform die transfers beïnvloeden. Een switch kan geen transfer inschakelen die de GPU of driver niet ondersteunt.

Backplanes met switches en uitbreidingschassis zijn gespecialiseerde aankopen. Ze kunnen zoveel kosten dat een werkstation- of serverplatform met meer native lanes als totaaloplossing voordeliger is. Vergelijk beide offertes. Dit breidt een geschikte PCIe-host uit; het is geen upgradepad voor de geïntegreerde GPU's van een Mac Studio of DGX Spark.

Wat is er nodig om Kimi K3 lokaal te draaien?

Kimi K3 van Moonshot AI trekt dit principe verder door: 2,8 biljoen totale parameters, waarvan 104B actief per token, met native MXFP4-gewichten. De officiële repository is ongeveer 1,56 TB. Het actieve aantal maakt er geen download ter grootte van een 104B-model van. Modelkaart, originele bestanden.

De vLLM-gids voor K3 noemt minstens acht GB300-GPU's, of minstens acht AMD MI355X/MI350X-accelerators voor de ROCm-route, en raadt meerdere nodes aan voor productieverkeer. Dat is een concrete runtimereferentie om met een serverintegrator te bespreken.

Ter vergelijking: acht desktopkaarten van 96 GB leveren nominaal 768 GB, ongeveer de helft van de originele repository. Acht desktopkaarten en acht serveraccelerators zijn heel verschillende voorstellen. Een praktische opstelling vraagt ondersteund modelparallelisme, snelle verbindingen, host-RAM, meerdere terabytes SSD-opslag en voeding en koeling voor het volledige systeem.

Vier Mac Studios van 512 GB zouden samen ongeveer 2 TB geïnstalleerd geheugen bieden. Dat maakt ze interessant voor capaciteitsexperimenten, maar de K3-runtime, kwantisatieondersteuning, geheugenmarge per node en netwerkprestaties moeten nog worden aangetoond. Het is geen bewezen vervanging van de serveropstelling. De pas aangekondigde M5 Ultra-configuratie van 512 GB wordt bovendien eind oktober verwacht.

Experimentele, extreme kwantisatie kan veranderen wat er geladen kan worden. Unsloth publiceert een eenbitsvariant van ongeveer 466 GB, waardoor een machine van 512 GB dicht bij de grens voor de gewichten komt. Dat laat beperkte ruimte voor de rest en roept een belangrijke kwaliteitsvraag op. Het bewijst niet dat een Mac van 512 GB de mogelijkheden of prestaties van de gepubliceerde K3-opstelling levert. Unsloth Kimi K3-bestanden.

Voor een bedrijf is dit het moment om een deploymentbenchmark en infrastructuurofferte te laten maken. Lokaal kan een serverruimte of eigen infrastructuur in colocatie betekenen. Een deployment in eigen beheer vereist niet dat de machine onder je bureau staat.

Een Chinees model kan je data volledig lokaal verwerken

Het land van herkomst van een model en de locatie van inferentie zijn aparte vragen. Qwen-, GLM-, DeepSeek- of Kimi-gewichten downloaden stuurt je prompts niet inherent naar Alibaba, Z.ai, DeepSeek of Moonshot. Met gedownloade gewichten en een lokale runtime kan de berekening op je eigen machine gebeuren, ook zonder internetverbinding. LM Studio documenteert offline model- en documentverwerking.

Dat is een concreet privacyvoordeel. De grens moet wel juist worden getrokken: een cloudchatinterface, externe embeddingdienst, webzoekfunctie, gehoste gateway of telemetrie-integratie kan nog steeds data elders verwerken. Controleer de volledige applicatieroute. Externe netwerkverbindingen na de installatie verbreken is een nuttige manier om te controleren of de bedoelde lokale workflow blijft werken.

Lokale uitvoering neemt modelbias, foutieve antwoorden, onveilig toolgebruik of risico's in softwareafhankelijkheden niet weg. Evalueer het gedrag op je taken, haal gewichten en runtimes bij identificeerbare uitgevers, beoordeel eventuele uitvoerbare modelcode en geef tools alleen de toegang die ze nodig hebben. Deze eigenschappen moet je onderzoeken bij modellen uit elk land.

Open gewichten betekenen ook niet dat alle licenties gelijk zijn. Qwen3.8-27B gebruikt Apache 2.0; GLM-5.3 en Kimi K3 hebben eigen licentievoorwaarden. Controleer de licentie bij het exacte checkpoint vóór commercieel gebruik of herdistributie. Qwen-licentie, GLM-5.3-licentie, Kimi K3-licentie.

Zo vereist K3's licentie een afzonderlijke overeenkomst voor bepaalde Model-as-a-Service-aanbieders met meer dan $20 miljoen gezamenlijke jaarlijkse omzet van verbonden ondernemingen. De gedefinieerde uitzondering voor intern gebruik heeft eigen grenzen. Dat is relevant wanneer de investering een dienst voor klanten moet ondersteunen. Commerciële voorwaarden van Kimi K3.

Naast privacy laat eigen beheer je een geteste modelversie behouden, offline workflows beschikbaar houden, batchwerk plannen wanneer capaciteit vrij is en de applicatie aanpassen zonder dat een provider zijn endpoint wijzigt of die modelversie terugtrekt.

Van een tokenfactuur naar een investering in capaciteit

Bij een gehoste API leidt gebruik meestal tot een variabele tokenfactuur. Lokale hardware kopen verschuift een deel van die uitgaven naar CAPEX: een voorafgaande investering in capaciteit die je zelf beheert. Elektriciteit, onderhoud, software, mensen en vervangingscapaciteit blijven OPEX.

Dat is relevant voor het bedrijfsmodel van een product. Bij intensieve, voorspelbare inferentie kun je plannen rond de kosten van een machine en haar bruikbare doorvoer. Meer activiteit kan de bezettingsgraad verbeteren zonder een providerkost per gegenereerd token. Zodra de machine vol zit, betekent extra vraag wel een wachtrij of een nieuwe capaciteitsaankoop.

Neem dit illustratieve maandbudget, exclusief btw:

Dit zijn illustratieve planningsaannames. Het stroomvoorbeeld veronderstelt dat het systeem buiten die uren uitstaat. Voeg sluimerverbruik, financiering, koeling, reservecapaciteit en kosten buiten het beheerbudget toe. De verdeling over 36 maanden spreidt de aankoop voor deze vergelijking; de betaling gebeurt vooraf.

Tel bij een cluster elke node, de switch, kabels en optische modules en eventuele PCIe-uitbreidingschassis mee. Voorzie ook budget voor orkestratie en reservecapaciteit. Als je één model over meerdere machines verdeelt, horen al die machines bij de kosten om het beschikbaar te stellen.

Bij een hypothetisch gemiddeld API-tarief van €5 per miljoen tokens komt €435,15 overeen met ongeveer 87 miljoen tokens per maand. Bij €0,50 per miljoen is dat ongeveer 870 miljoen. Het model moet de vereiste belasting daadwerkelijk binnen de betaalde bedrijfsuren kunnen verwerken om die vergelijking zinvol te maken.

Bereken het gemiddelde API-tarief met een vaste, representatieve verhouding tussen invoer- en uitvoertokens, inclusief gecachete invoer en batchkortingen. Vergelijk daarna dezelfde taakkwaliteit en responstijd. De kosten per succesvol verwerkt document of afgehandelde ondersteuningsvraag zijn vaak een betere bedrijfsmaatstaf dan de ruwe kosten per token.

Bij sporadisch gebruik kan een API goedkoper blijven. Bij gestage private workloads kan eigen hardware de kosten per taak en de beschikbaarheid van modellen beter beheersbaar maken. De kans zit in een kostenstructuur die past bij het werkelijke gebruik van inferentie in je bedrijf.

Koop voor een workload die je kunt aantonen

Begin met één nuttige taak en een representatieve evaluatieset. Probeer een klein Qwen-model op bestaande hardware. Als de kwaliteit Qwen3.8-27B vereist, vergelijk dan een systeem met een GPU van 32 GB met een passend uitgeruste Mac. Ga naar de grotere DeepSeek- en GLM-klassen wanneer de kwaliteitswinst het geheugen, beheerwerk en de volledige systeemprijs rechtvaardigt.

Vraag vóór bestelling een benchmark met het exacte modelbestand, de kwantisatie, runtimeversie, contextlengte en het aantal gelijktijdige gebruikers. Leg piekgeheugen, verbruik aan het stopcontact en succesvol uitgevoerde taken per tijdseenheid vast. Zo wordt een geheugenspecificatie bewijs voor een aankoop.

Behoud bij integratie met andere applicaties dezelfde duidelijkheid over de weg die verzoeken afleggen. Onze gids voor lokale en publieke AI via één gateway legt die grens uit, inclusief de stap via de EU-gehoste gateway. Kies de volledige verzoekroute op basis van de privacyvereiste die je naar lokale inferentie bracht.