De magie van Gartner

Gartner is een beroemd (en berucht) onderzoeks- en adviesbureau in de IT-sector. Gartner houdt de ontwikkelingen bij bedrijven in bepaalde technologiegedreven markten bij. De 'Magic Quadrant' is een onderzoeksmethode en een middel van Gartner om de uitkomsten ervan te visualiseren. Dit magische kwadrant brengen zij jaarlijks uit. Gartner beoordeelt de bedrijven op basis van twee criteria: visie en vermogen om iets te realiseren. Op basis daarvan worden bedrijven geklasseerd als nichespeler, visionair, uitdager of leider.

Dit jaarlijkse onderzoek door Gartner vormt één van de middelen die organisaties gebruiken om te beoordelen of ze nog wel over het juiste enterprise content management (ECM) beschikken. Er is immers ook een magisch kwadrant voor ECM oplossingen en de leveranciers ervan. Gartner geeft een goed beeld van iedere leverancier van ECM-systemen: is het een financieel gezond bedrijf, wat is hun invloed op de markt van ECM oplossingen, wat zijn hun mogelijkheden om hun eigen doelen te bereiken, wat is de reikwijdte van hun oplossingen, hoe innovatief zijn ze, enzovoort. Er zit echter een aantal risico's aan al te klakkeloos te vertrouwen op het magische kwadrant. Zo is de analyse van Gartner altijd gericht op de markt en aanbiedende partij en minder op implementatie en de klant.

Het zijn altijd de grote spelers die bovenaan eindigen. Het magische kwadrant wordt op deze manier heel erg een feestje van de aanbieders zonder een stem van de klanten. De onderzoeken zijn ook op een vrij abstract niveau. Er wordt geen empirisch onderzoek gedaan naar het gebruik van software, post-implementatiesuccessen en gebruikerstevredenheid over hetgeen dat is geïmplementeerd.

Als gebruikersorganisatie heb je niet zoveel aan beoordelingscriteria als complete visie, marktstrategie, productstrategie, operatie, en dergelijke. Zelfs de veelbelovende categorie 'klantervaring' beoordeelt de soort programma's die de verkoper aanbiedt en niet welke uitwerking deze toepassingen hebben. Dat wil je als eindgebruiker toch weten: hoe succesvol was een implementatie, pakt de aanbieder dat efficient aan, wat zijn de risico's, hoe tevreden zijn de klanten? Zo eindigt onze leverancier van het documentmanagementsysteem altijd rechtsbovenin als 'leider'. Als kleine klant wordt je door zo'n wereldbedrijf echter niet opgemerkt. Zo bleken er plots geen upgrades meer te worden gemaakt voor het platform waar ons documentmanagementsysteem op draait. Dat beslist de leverancier voor je zonder enige vorm van communicatie. Je moet er zelf maar achter komen.

Het zou goed zijn als Gartner het onderzoek en de oordeelsvorming wat robuuster zou maken. De aanbieders zouden ook vanuit het klantperspectief beoordeeld moeten worden. Daarnaast zouden de producten moeten worden beoordeeld in een alledaagse werkomgeving. In het laboratorium en in de presentatie ziet het er goed uit, maar als er allerlei mensen mee werken, het systeem vol documenten zit, er andere systemen op aangesloten moeten worden, gaat het vaak niet meer zo soepel. En tot slot: vaak is het syteem zelf niet eens slecht, maar wordt het gebruikt voor en in situaties waar het niet voor is bedoeld. De leverancier geeft dat niet aan en poogt eindeloos om het allemaal toch te laten passen.

Het magische kwadrant waar ook de stem van de klant in is meegenomen: dat zou pas magie zijn.