Cohere North 2: soevereine agents en grip op tokenkosten

Cohere North 2: soevereine agents en grip op tokenkosten

Cohere heeft North 2 uitgebracht. Het is een grote upgrade van het agentic AI-platform van het bedrijf. Het platform krijgt een nieuw orkestratiesysteem voor agents, een geheugen en uitgebreide beheertools om het tokenverbruik te beperken. In tegenstelling tot de grootste AI-modelbouwers levert Cohere tevens deployments in air-gapped omgevingen en on-prem.

North verscheen in augustus vorig jaar als platform dat bedrijfsdata binnen de eigen omgeving houdt. Sindsdien heeft Cohere het uitgerold in onder meer de financiële sector, de zorg, telecom, energie en de publieke sector. Op die praktijkervaring is North 2 gebouwd.

Agents die zaken onthouden

De basis is een nieuw agent harness dat complexe processen met meerdere stappen zelfstandig moet afhandelen. Gebruikers bouwen agents en automations met prompts en delen ze binnen de organisatie. Skills, net als elders in feite herbruikbare vaardigheden, zijn hierbij van groot belang. Andere herkenbare zaken zijn Libraries voor gedeelde kennis en Memory om agents hun context te laten bewaren tussen sessies. Daarnaast genereert North vanuit de chatfunctie dashboards, documenten en basale apps.

Nieuwe connectors koppelen het platform verder aan Slack, SharePoint, OneDrive, Outlook, Exchange, Jira, Linear, Notion en GitHub. Financiële databronnen als PitchBook, Crunchbase, S&P Global en FactSet volgen later.

Grip op tokens

Via North Admin stellen beheerders rollen, rate limits, quota per gebruiker en plafonds voor de gehele organisatie in. Alerts waarschuwen al voordat een limiet bereikt is, belooft Cohere. Het platform is model-agnostisch, dus “Bring Your Own Model” geeft gebruikers flexibliteit. En wie Cohere-modellen op Nvidia Blackwell of Hopper draait, haalt volgens beide bedrijven meer tokens per seconde per node.

De deployment-opties zijn bij Cohere zoals gezegd erg breed. Denk daarbij aan self-hosted, VPC, hybride, on-premises of volledig air-gapped omgevingen. Guardrails werken tot op het niveau van individuele agents en kunnen dus aangepast worden op basis van de use case.

Lees ook: Cohere en Aleph Alpha gaan samen: AI-bedrijf met twee hoofdkantoren