CNCF Confidential Containers (CoCo) maken het mogelijk om workloads op de Trusted Execution Environments op CPU’s en GPU’s te draaien. Fortanix biedt er vanaf nu support voor binnen het eigen Confidential AI. De encryptie gaat pas van de data af als zowel de hardware als de workload een verificatie krijgt.
De infrastructuurbeheerder kan door CoCo niet bij de AI-modellen, agents en applicaties op Kubernetes. Sinds juli is dit CNCF-project ‘incubating’, ofwel in opbouw bij de gecoördineerde open-source community.
De oplossing draait om het beschermen van data op elk moment van de lifecycle. Data at rest en in transit zijn bekend terrein en via bekende middelen af te schermen. CPU- en GPU-workloads hebben echter niet normaliter deze tooling. Beheerders met privileges of clouoperators kunnen daardoor bij de data tijdens deze cruciale stap.
Plugins voor attestation en key release
CoCo draait Kubernetes-pods in confidential VM’s via Kata Containers. Het draait dus niet direct op de gedeelde host-kernel. Fortanix heeft open-source plugins bijgedragen die CoCo koppelen aan Fortanix Confidential Computing Manager (CCM) voor attestation en Fortanix Data Security Manager (DSM) voor de sleutelvrijgave. Die plugins controleren of elke container echt is, binnen een TEE draait en aan het securitybeleid voldoet. Pas na deze controles komen de sleutels vrij en is de data uitleesbaar. CPU en GPU worden samen geverifieerd via zogeheten composite attestation. De sleutels blijven in DSM, een HSM met FIPS 140-2 Level 3-certificering.
“Attestation is een protocol. Vertrouwen is een operatie”, vat Anuj Jaiswal, Chief Product Officer bij Fortanix, het samen. Omdat attestation en sleutelbeheer in één platform zitten, hoeven teams volgens hem de trust-laag niet zelf te bouwen.
Ook air-gapped
De oplossing is als SaaS af te nemen, maar ook beschikbaar voor on-premises of volledig air-gapped omgevingen. Zo kunnen bedrijven modellen van frontier AI-labs naast hun gevoelige data draaien, zonder het intellectueel eigendom aan de LLM-bouwer bloot te stellen. Nvidia publiceerde voor die use case al een referentiearchitectuur met Kubernetes, Kata Containers en CoCo.
Lees ook: F5 lanceert AI Security Platform en neemt SurePath AI over