Qwen 3.8-Flash-Next is een populair model voor lokaal AI-gebruik. Het Amerikaanse Cohere ontdekte echter dat de LLM probeerde een bestand te uploaden naar een server in China.
Het ging om een server van Alibaba, het bedrijf achter Qwen, in Beijing. In de reasoning traces, ofwel de toegankelijke gedachtes van het AI-model, stond geen bewijs van een tool call. Aangezien Cohere het model draaide in een geïsoleerde context, was er geen sprake van werkelijke exfiltratie.
Onduidelijke motivatie
Cohere ziet het incident als een voorbeeld van de schijn van betrouwbaarheid die open-weight modellen hebben. Ook al draait de LLM op de eigen hardware, de acties ervan zijn nooit volledig te vatten of te controleren. Het alarmisme van Cohere komt dat bedrijf overigens goed uit; zelf biedt het modellen en diensten die soevereiniteit als belangrijk voordeel claimen. Denk daarbij aan trainingsdata die Cohere zelf controleert en bijhoudt om kwaadaardig gebruik en data poisoning te voorkomen, of het bieden van extra transparantie aan securityteams indien gevraagd.
Dat wil niet zeggen dat het incident een ondubbelzinnige poging tot spionage of datadiefstal is van Alibaba. Zo was de taak van Cohere voor het Qwen-model om een defensieve detectieregel te schrijven. Het trachtte in plaats daarvan een probe-bestand te uploaden. Eerdere voorvallen van verdacht Qwen-gedrag draaiden om het opzoeken van bestanden, niet het uploaden.
Zeldzaam, maar niet nieuw
Het gedrag is zeldzaam, stelt Cohere. Het gaat om minder dan één op de 100.000 tool calls die een externe dienst ongevraagd raadplegen. Maar een dienst met 10 miljoen agent-turns per week kan volgens Cohere tot honderd van zulke calls zien, waardoor het een structureel gevaar vormt zonder de juiste sandboxing. Ontwikkelaars meldden sinds augustus al dat er ongevraagde Alibaba Cloud-links werden gegenereerd, naast fetches naar de host routify-file-proxy-sg.
Met prefilling vond Cohere de trigger voor dit opmerkelijke AI-gedrag. Zodra het model de curl-flag -o schrijft, stijgt het aandeel gegenereerde URL’s van 4 naar 92 (!) procent. Daarnaast benaderde het in 23 tot 36 procent van de completions het metadata-adres 169.254.169.254, waar cloudservers hun IAM-credentials ophalen. In een andere test omzeilde het met unshare een rechtenbeperking.
Backdoor of overblijfsel van training?
Of het om een bewuste ‘call home’-implant gaat of om achtergebleven agent-logs uit trainingsomgevingen, kan Cohere niet zeggen. “Een weight-bestand dat je niet kunt vertrouwen, blijft een black box”, stelt het bedrijf. Hugging Face telt ruim 113.000 opties die gelden als Qwen-afstammelingen. Hetzelfde gedrag dook al op in builds van vier van de publishers binnen die groep, inclusief maker Alibaba, aldus Cohere.
Cohere raadt aan om agent-egress standaard te blokkeren en unprivileged user namespaces in containers uit te schakelen. De traces en een reproductiescript staan op Hugging Face.
Lees ook: Cohere North 2: soevereine agents en grip op tokenkosten