F5 och NVIDIA lanserar nya funktioner för att optimera leverans, säkerhet och prestanda i AI-infrastrukturer, särskilt inom Kubernetesmiljöer. Lösningen har redan validerats i praktisk drift av den europeiska AI-infrastrukturleverantören Sesterce.
Samtidigt visar SoftBank-tester att F5:s lösning ger 11 gånger snabbare svarstider – och 190 gånger bättre energieffektivitet.
Den utökade version av lösningen F5 BIG-IP Next för Kubernetes är nu optimerad för NVIDIA:s BlueField-3 DPU:er och plattform för DOCA-programvara. Tillsammans möter F5 och NVIDIA de växande kraven på avancerad lastbalansering, flermodellsstöd och säkerhet i miljöer som hanterar storskaliga AI-applikationer.
En viktig nyhet är möjligheten till intelligent routing av AI-förfrågningar direkt på BlueField-3-hårdvara. Det gör att enklare generativa AI-uppgifter kan dirigeras till mindre modeller medan mer avancerade förfrågningar går till kraftfullare språkmodeller. Resultatet blir kortare fördröjning, upp till 60 procent snabbare svarstider och effektivare resursanvändning.
En annan fördel är multi-tenant-stödet där flera kunder kan dela på samma infrastruktur. Det gör lösningen perfekt för AI-as-a-Service och delade GPU-kluster.
SoftBank har också haft tillgång till F5 BIG-IP Next. Deras tester visar att genomströmningen av data har ökat med 18 procent, svarstiden har blivit 11 gånger snabbare samtidigt som energieffektiviteten nu är hela 190 gånger bättre.
Ny teknik för smartare AI-trafik och bättre resursanvändning
F5:s integration med NVIDIA Dynamo och KV Cache Manager gör det också möjligt att utnyttja cache-funktioner för att minska beräkningstiden i AI-inferenser, särskilt för stora språkmodeller (LLM – Large Language Models). Det ökar GPU-utnyttjandet och minskar behovet av dyr GPU-minnesanvändning.
En annan nyhet är stöd för Model Context Protocol (MCP), ett öppet protokoll som standardiserar hur kontext skickas till LLM:er. Med F5:s teknik som reverse proxy för MCP-servrar får användare både förbättrat skydd mot säkerhetshot och smidigare skalbarhet i AI-tillämpningar.
Valideringen av lösningen har genomförts av franska Sesterce som utvecklar självständig och hållbar AI-infrastruktur för europeiska kunder. De rapporterar bland annat en initial förbättring på 20 procent i GPU-utnyttjande samt betydande vinster i flexibilitet och prestanda.
