Stel dat je twee AI-applicaties hebt. De eerste beantwoordt vragen over gepubliceerde productdocumentatie. De tweede doorzoekt interne documenten met klantgegevens. Voor de eerste kun je een publiek model toestaan, terwijl de tweede een model op je eigen server gebruikt.
Die afspraak moet ook standhouden wanneer de GPU bezet is, een model wordt bijgewerkt of een ontwikkelaar een instelling in de client verandert. Met één gateway kun je op een centrale plek controleren welke routes zijn toegestaan.
Welke weg een verzoek aflegt
Applicaties verbinden bij Anchras met de AI Gateway. Die stuurt verzoeken naar een private runtime, zoals Ollama of vLLM, of naar een goedgekeurde publieke provider. Elke applicatie kan een eigen API-key met beperkte rechten gebruiken. De instellingen voor de providers staan in de gateway.
Anchras host de gateway en de control plane in de EU. Een lokaal model draait op infrastructuur die je zelf beheert, maar de verzoeken passeren nog steeds die gehoste gateway. Als prompts je eigen locatie niet mogen verlaten, voldoet deze opstelling daar niet aan. Controleer dus ook wat de gateway verwerkt en opslaat. Onze gids over toegang tot clouddata gaat verder in op die controle.
Volg een verzoek.
Bekijk hoe de toegestane modelroute verandert met de data.
AI GatewayGehost in de EU
Dit verzoek blijft op de goedgekeurde lokale route. Is dat model niet beschikbaar, dan wordt het verzoek geweigerd.
Leg de rechten per applicatie vast
Geef de documentatie-assistent toegang tot de specifieke publieke modellen die je hebt goedgekeurd. Geef de interne zoekapplicatie alleen toegang tot haar lokale modelroute. Bewaar de inloggegevens van providers buiten de clients. Beperk ook de rechtstreekse toegang tot de server waarop het model draait, zodat clients de gateway niet kunnen omzeilen.
Laat de dataclassificatie afhangen van een instelling die je beheert, zoals de applicatie of de API-key. Een model dat de inhoud van een prompt bekijkt, mag een eerder toegewezen classificatie niet verlagen.
Onderstaande tabel is een voorbeeld om voor een installatie af te spreken en in te stellen. Ze beschrijft voorgestelde regels, niet de standaardinstellingen van het platform.
| Dataclassificatie | Route | Als het model niet beschikbaar is |
|---|---|---|
| Publiek | Een goedgekeurd lokaal of publiek model | Een ander goedgekeurd model proberen |
| Intern | Lokaal; extern alleen voor specifiek goedgekeurde toepassingen | Alleen een alternatief gebruiken dat voor deze toepassing is toegestaan |
| Vertrouwelijk | Lokaal model | Verzoek weigeren |
| Strikt vertrouwelijk | Specifiek lokaal model met beperkte toegang | Verzoek weigeren |
Voor de interne zoekapplicatie in dit voorbeeld blijft een mislukt lokaal verzoek mislukt. Het doorsturen naar een publiek model zou veranderen wie de klantgegevens verwerkt. Een instelling voor beschikbaarheid mag die keuze niet maken.
Test de runtime met je eigen toepassing
Anchras biedt Ollama en vLLM als catalogusapplicaties aan voor installatie op je Kubernetes-cluster. Kies een model dat bij de taak en hardware past. Test daarna de verwachte contextlengte en het aantal gelijktijdige verzoeken. Een model dat bij een kort gesprek in het GPU-geheugen past, kan te weinig ruimte overlaten voor langere contexten en meerdere gebruikers.
Beide runtimes bieden een OpenAI-compatibele interface, maar ondersteunen niet automatisch alle mogelijkheden. Controleer de API-documentatie van Ollama of de serverdocumentatie van vLLM voor de functies die je client gebruikt. Test streaming, toolaanroepen en gestructureerde uitvoer als je applicatie daarvan afhangt. Een andere basis-URL instellen regelt alleen de verbinding.
Test ook wat geweigerd moet worden
Begin met fictieve documenten en twee applicatiekeys. Controleer of de documentatie-assistent zijn goedgekeurde publieke model kan bereiken. Probeer daarna dezelfde route met de key van de interne zoekapplicatie. Dat verzoek moet worden geweigerd.
Stop de lokale runtime en herhaal het interne verzoek. Controleer in de gatewayregistratie of er geen externe provider is gekozen. Probeer ook rechtstreeks verbinding te maken met de runtime vanuit een client die alleen via de gateway toegang hoort te hebben.
Bepaal vóór je echte documenten toevoegt wat de applicatie, gateway en runtime mogen loggen, wie die logs mag lezen en wanneer ze worden verwijderd. Test de wachttijden onder belasting en leg vast hoe je een modelupdate terugdraait. Daarmee heb je een eerste installatie die je verder kunt uitbreiden. Het ontwerp voor hybride AI toont de infrastructuur eromheen.