AWS heeft een nieuwe loganalyse-engine toegevoegd aan Amazon OpenSearch Service. De nieuwe technologie moet organisaties helpen de snel groeiende hoeveelheid logdata efficiënter te verwerken. Volgens AWS verdubbelt de verwerkingssnelheid, dalen de opslagkosten fors en is daarvoor geen extra licentie of premiumdienst nodig.
De nieuwe engine richt zich vooral op observability- en monitoringomgevingen, waar de hoeveelheid loggegevens door cloud native applicaties en AI-workloads snel toeneem. Volgens AWS groeit het volume aan logdata bij veel organisaties jaarlijks met 30 tot 40 procent. Dat zorgt ervoor dat DevOps-teams steeds vaker moeten investeren in extra opslag of aanvullende analysetools, of noodgedwongen loggegevens eerder verwijderen.
Andere opslagarchitectuur
Om die groei op te vangen heeft AWS de opslag- en verwerkingsarchitectuur van Amazon OpenSearch Service aangepast. Waar logdata traditioneel worden opgeslagen via inverted indexes, kiest de nieuwe engine voor het kolomgeoriënteerde Apache Parquet-formaat. Dat maakt een compactere opslag mogelijk en vermindert de hoeveelheid benodigde opslagruimte aanzienlijk.
Voor de verwerking van zoekopdrachten maakt AWS gebruik van meerdere opensourcecomponenten. Apache Calcite bepaalt automatisch welke query-engine het meest geschikt is voor een opdracht. Analytische bewerkingen op kolomdata worden afgehandeld door Apache DataFusion, terwijl klassieke zoekopdrachten blijven draaien op Apache Lucene.
Daarnaast ondersteunt de engine zowel SQL als Piped Processing Language (PPL) met dezelfde full-text zoekfuncties. Daardoor kunnen gebruikers complexe analyses en gerichte zoekopdrachten combineren binnen één query.
Meer prestaties zonder extra kosten
Volgens interne benchmarks van AWS kan de nieuwe engine ongeveer 1,78 miljoen documenten per seconde verwerken. Bij de tests werden 24,4 miljard documenten en 9,5 terabyte aan JSON-data geanalyseerd. AWS stelt dat de doorvoersnelheid daarmee ongeveer twee keer zo hoog ligt als bij een implementatie die uitsluitend op Apache Lucene is gebaseerd.
Ook de prijs-prestatieverhouding zou verbeteren. AWS spreekt van gemiddeld ongeveer 70 procent lagere opslagkosten en een viervoudige verbetering van de prijs-prestatieverhouding bij analytische queries over grote hoeveelheden logdata. Die claims zijn gebaseerd op interne metingen; onafhankelijke benchmarks zijn vooralsnog niet gepubliceerd.
Beschikbaar binnen OpenSearch Service
De nieuwe loganalyse-engine is per direct beschikbaar in alle AWS-regio’s waar OpenSearch Optimized Instances worden ondersteund. Gebruikers kiezen de engine bij het aanmaken van een nieuw OpenSearch-domein door ‘observability’ als primaire toepassing te selecteren.
AWS rekent geen aanvullende licentiekosten voor de nieuwe functionaliteit. Klanten betalen uitsluitend de reguliere tarieven voor compute-capaciteit en opslag.