Geplaatst door Periode: 2017-2020
Werkgever: Freelance, Alt-J IT
Opdrachtgever: KLM
Inzet als: IT Specialist afdeling Application Integration
Project: Elasticsearch
Skills: Elasticsearch, Logstash, Kibana
Terug in 2013 is mij gevraagd om een nieuwe syslog stack te bouwen op basis van ELK. Zelf had ik hier nog nooit van gehoord maar mijn collega gaf aan dat dit een goed platform zou zijn om de huidige stack die draaide op php en mysql te vervangen.
Ik ben toen losgegaan op Google en heb met wat guides een aantal servers gebouwd waarop Elasticsearch, Logstach en Kibana draaide. Het belangrijkste onderdeel wat me de meeste tijd gekost heeft is het ombouwen van de monitoring scripts die we hadden die eerst een mysql query deden en nu hun data uit Elastic moesten halen. Al met al ben ik toen wel een half jaar bezig geweest om die stack te bouwen en die heeft zonder incidenten bijna 9 jaar zijn werk gedaan. In die tijd heb ik twee keer een upgrade gedaan van de binaries en dat was het wel.
Nadat de afdeling Webtools was opgeheven en ik aan de slag ging bij de afdeling Application Integration moest ik 50% van mijn tijd gaan besteden aan het monitoring team en de rest aan mijn oude webtools werk wat gewoon door ging in de nieuwe organisatie. Toen bleek dat er binnen het monitoring team een subteam was opgericht wat een business application metrics tool had gebouwd met als storage Elasticsearch. Er waren dus nog meer mensen binnen de KLM die iets met Elastic deden!
Binnen ditzelfde monitoring team was nog een tool opgericht die Elastic gebruikte als data store, namelijk het centrale logging platform in de vorm van Graylog.
Voor BAM was er een team van specialisten die zich bezighielden met hun platform en het goed voor elkaar hadden. Voor Graylog was dit heel anders. In 2015 had iemand een POC gedaan waarbij een Graylog server met Elasticsearch is neergezet om aan te tonen dat dit een goed centraal logging platform zou kunnen zijn. I.p.v. na de POC dit op te ruimen en na te denken over een goed schalende omgeving hebben ze deze server laten staan en zijn de developers er helemaal los op gegaan met als resultaat een zeer instabiele omgeving.
En omdat ik nu tijd kreeg voor dit team en kennis van Elastic had heb ik me op het Graylog platform geworpen en nooit meer terug gekeken.