Att välja rätt verktyg för prestandatestning är avgörande av flera skäl:
För det första måste det kunna utföra prestandatester på den installerade programvarubasen som du vill testa och därför erbjuda tillräcklig protokolltäckning. Inte alla verktyg kan till exempel testa Citrix, SAP eller Oracle Forms. Det måste också passa kundens organisation och arbetssätt.
För det andra är priset eller abonnemanget också ett viktigt kriterium.
Slutligen är användarvänlighet, kvaliteten på supporten och en strategi för versionuppgraderingar för att hålla jämna steg med marknadsutvecklingen alla viktiga kriterier.
I den här artikeln presenterar vi en sammanfattande jämförelse av tre verktyg.
JMeter är ett open source-verktyg för belastningstestning som numera används i stor utsträckning av alla typer av kunder: offentlig sektor, stora företag och olika organisationer.
Dess grafiska gränssnitt är enkelt och effektivt. Det kan användas för att testa alla webbapplikationer, webbtjänster (REST, SOAP), Web 2.0, meddelandetjänster osv.
JMeter har inbyggda funktioner (i makro-bemärkelse) för dynamisk datainmatning och/eller datamanipulation i realtid under belastningstestningen.
JMeter är utvecklat i Java och erbjuder ett stort antal tillägg för olika övervakningstekniker.
Det kan användas för testning tidigt i utvecklingscykeln – ”Shift Left” – dvs. testning av API:er, webbtjänster och mikrotjänster – samt för end-to-end-testning. Dess inspelningsgränssnitt är effektivt.
JMeters mottagarkomponenter gör det möjligt att visualisera resultaten i form av diagram eller grundläggande statistik och att tolka resultaten.
Det är ett komplett verktyg som, tillsammans med ett rapporteringsverktyg av Grafana-typ och ett verktyg för mätvärdesinsamling av Prometheus-typ, gör det möjligt att genomföra belastningstester i en rad olika sammanhang.
Neoload är ett belastningstestverktyg från Tricentis (sedan förvärvet av Neotys).
Neoload stöder protokoll som inte erbjuds av Jmeter, såsom Citrix, Oracle Forms, SAP osv.
Det erbjuder även integrerade funktioner för skriptvariabilisering och dynamisk variabelhantering.
I de senaste versionerna har Neoload tagit ett viktigt steg mot ”Shift Left”-strategin, vilket gör det möjligt för team att testa tidigare i mjukvaruutvecklingscykeln, på API-nivå, tack vare nya funktioner som prestandatestning direkt i koden och import av Swagger-filer.
Förutom verktyget för scenarieinspelning för skriptning och modulen för styrning av belastningsinjektion erbjuder det även en kraftfull integrerad rapporteringsmodul samt en övervakningsmodul, vilket gör det till ett heltäckande verktyg.
Dessutom är det integrerat med APM-verktyg, framför allt Dynatrace, vilket gör det enklare att korrelera svarstider med tekniska mätvärden och därmed ger ett stort mervärde till rekommendationer för att förbättra och finjustera tekniska komponenter.
Verktyget är inte gratis, och dess licensmodell har nyligen ändrats, vilket har gjort det betydligt dyrare.
Gatling är ett grundläggande prestandatestverktyg med öppen källkod som används allt oftare, särskilt i sammanhang där användarföretaget väljer att genomföra prestandatester mycket tidigt i leveranscykeln (främst i agila miljöer) och där utvecklare är mer delaktiga i prestandakraven för sin kod. Gatling gör det enkelt att utföra API- och webbtjänsttester.
Gatling är ett ”utvecklingsverktyg” i den meningen att dess användargränssnitt och uppbyggnad gör det enkelt för utvecklare att hitta rätt, medan traditionella testare (som till exempel använder JMeter eller Neoload) har svårt att hitta rätt (jag har testat …). Man kan säga att det är ett prestandatestverktyg i kodform. Observera att Gatling är utvecklat i Scala och kräver grundläggande kunskaper i detta programmeringsspråk.
I övrigt finns funktionerna där, nära de i JMeter, och de två verktygen är jämförbara vad gäller fördelar och begränsningar jämfört med ett redigeringsverktyg som Neoload.
Det bör noteras att Gatling erbjuder en betald version som bland annat ger tillgång till support och är nödvändig för distribuerad testning (kontroller + flera belastningsgeneratorer).