5 open source logbeheertools

Logbestanden bevatten belangrijke informatie voor sysadmins, vooral op momenten dat er iets misloopt. In een vorig artikel vertelden we al waarom logbeheer zo belangrijk is. Xavier Mertens, Principal Security Consultant bij C-CURE, vatte dit toen treffend samen: "Logbeheer is zoals een verzekeringscontract: je hebt het nodig en je betaalt ervoor, maar je gebruikt het niet... tot er een incident gebeurt."

Er bestaan heel wat logbeheeroplossingen, van open source tot propriëtair, van gratis tot commercieel, van eenvoudig tot complex, van gespecialiseerd tot allesomvattend. In dit artikel beperken we ons tot open source tools, die vaak op meerdere platforms ondersteund zijn. We bespreken zowel tools die gespecialiseerd zijn in het analyseren van specifieke logbestanden als allesomvattende tools die je volledige logbeheer kunnen regelen en soms zelfs nog meer.

Syslog

Syslog is het standaardprogramma voor logboodschappen onder Unix-achtige besturingssystemen, en hiermee krijg je dan ook sowieso te maken. Het gelijknamige bestandsformaat is bovendien het standaard logformaat dat door zowat alle logbeheersoftware ondersteund wordt, en het is zelfs een IEEE-standaard (RFC 5424), al hebben veel programma's wel de neiging om dit formaat op een net iets andere manier te interpreteren. Voor Windows bestaat er ook een Syslog-server, Syslserve.

De originele Syslog-software wordt echter nog weinig gebruikt. Zo is er Syslog-ng, met een open source en een commerciële versie. Het programma breidt de syslog-mogelijkheden onder andere uit met transport over tcp en tls-encryptie. Als reactie op Syslog-ng ontstond er ook Rsyslog, een GPLv3-gelicentieerde uitbreiding van Syslog die flexibele configuratieopties toevoegt, transport over tcp, content-gebaseerde filtering, ondersteuning van tls, enzovoort. Rsyslog is de standaard syslog-daemon op Fedora, openSUSE, Debian, Ubuntu en Red Hat Enterprise Linux 6.

OSSEC

OSSEC (Open Source Host-based Intrusion Detection System) is zoals de naam al zegt veel meer dan een logbeheertool. Naast loganalyse controleert het bestandsintegriteit, detecteert het rootkits, monitort het policy's en ondersteunt het real-time alerting en actieve antwoorden, zoals het onmiddellijk blokkeren van een aanval.

Een sterk punt van OSSEC is dat het extreem cross-platform is: de lijst van ondersteunde besturingssystemen bestaat onder andere uit Linux, Windows, MacOS, Solaris, HP-UX, AIX en Free/Open/NetBSD. Via remote syslog worden ook heel wat andere apparaten ondersteund, zoals Cisco-routers, Juniper-routers, firewalls en switches.

OSSEC begrijpt een breed gamma aan logformaten. Uiteraard van allerlei standaard Unix-toepassingen zoals PAM, OpenSSH, Samba, sudo en su, cron, evenals logs van pakketbeheerders dpkg en Yum. Ook de logs van allerlei ftp-servers, mailservers, firewalls, databases, webservers en zelfs een aantal webapplicaties zoals ModSecurity en het webmailsysteem Horde zijn ondersteund. Voor Windows-systemen worden event logs en Windows Routing en Remote Access logs herkend. Een zwak punt van OSSEC is de beperkte webinterface.

OSSEC is opensource (GPLv3). Sinds de makers ervan overgenomen zijn door Trend Micro kun je bij die laatste terecht voor commerciële support.

Graylog2

Een relatief nieuwe logbeheeroplossing is Graylog2, waarvan de eerste versie in juli 2010 uitkwam. Sindsdien is de ontwikkeling snel gegaan. Graylog2 is open source (GPLv3), de serverkant is in Java geschreven en de webinterface in Ruby on Rails. De serverkant aanvaardt syslog-boodschappen via tcp, udp of amqp en slaat deze op in een MongoDB-databank. De webinterface biedt allerlei manieren aan om je logbestanden te bekijken en te filteren, uiteraard inclusief grafiekjes. Er is een live demo (gebruiker admin en wachtwoord graylog2) om je een idee te geven.

Graylog2 ondersteunt ook een eigen logformaat dat enkele tekortkomingen van het klassieke syslog wil oplossen: GELF (Graylog Extended Log Format). Zo ondersteunt GELF boodschappen van meer dan 1024 bytes en ook allerlei metadata bij de logboodschap. Meer informatie vind je in de specificatie. Op dit moment kunnen GELF-boodschappen alleen via udp of amqp gestuurd worden; tcp-ondersteuning komt eraan.

GELF is vooral bedoeld voor het verzenden van logboodschappen vanuit applicaties, en er bestaan GELF-compatibele logbibliotheken voor Ruby, PHP, Python, Perl, Java, .NET, enzovoort. Het integreren van GELF in je applicaties is daardoor heel eenvoudig, en zo zou je bijvoorbeeld alle exceptions als GELF-boodschappen naar je Graylog2-server kunnen sturen.

Logstash

Logstash is net zoals Graylog2 nog een recente tool, maar in het devops-wereldje heeft het al een zekere populariteit opgebouwd. Logstash gebruikt de Apache 2.0 licentie en laat je je logs verzamelen, parsen en opslaan voor later gebruik. De webinterface laat je toe om snel te zoeken in al je logs en om grafiekjes te tonen. Logstash draait alleen op JRuby, maar je kunt een 'standalone runnable jar' downloaden met JRuby en alle andere dependency's. Er is een live demo, maar die blijkt op dit moment geen inhoud te hebben.

Logstash is heel goed in het filteren van bepaalde metrieken uit je logs en deze dan te plotten op een grafiekje. Een voorbeeld met grafiekjes van het aantal http response codes van Apache in de documentatie laat zien hoe eenvoudig dat is. Logstash ondersteunt allerlei invoer- en uitvoerformaten met behulp van plugins, waaronder naast syslog ook amqp, xmpp en Twitter-boodschappen. Ook zijn er enkele plugins voor filters, zoals grep en split.

AWStats

Algemene logbeheertools schieten meestal hun doel voorbij als je de logs van specifieke applicaties wilt implementeren. AWStats is een bekende open source webanalytics tool en is dus toegespitst op het analyseren van logbestanden van webservers. Het programma is geschreven in Perl en ondersteunt zowat elk besturingssysteem, ook Windows.

AWStats herkent de logformaten van de bekendste webservers, waaronder Apache en IIS. De gegenereerde html-rapporten tonen de resultaten over bezoekers en bezochte webpagina's in tabellen en grafiekjes. AWStats kan ook logbestanden van ftp- en mailservers analyseren. Een live demo toont wat er allemaal mogelijk is.

De rubriek Tips & Tools biedt praktische informatie die IT-professionals in hun dagelijkse werk kunnen toepassen.