AI Dev 7 Min. Lesezeit

LogCarve: selbst gehostete Logfile-Analyse ohne Besucher-Märchen

LogCarve wertet Access-Logs von Nginx und Apache auf dem eigenen Server aus: Bots, KI-Crawler, kaputte Links, Laufzeiten und Security-Hinweise. KI ist optional und ab Werk aus. Beim Meta-Hackathon gab es keinen Preis, weiter geht es trotzdem. Feedback und Mitstreiter sind willkommen.

Laptop zeigt Dashboard zur selbst gehosteten Logfile-Analyse vor beleuchtetem Server-Rack im Rechenzentrum.

Um es direkt hinter mich zu bringen: Beim Meta Global AI Developer Hackathon habe ich mit LogCarve keinen Blumentopf gewonnen, aber in die Schublade lege ich das Projekt deshalb definitiv nicht. Wie die zehn Tage mit Muse Code gelaufen sind, steht im Recap zum Hackathon, und dort hatte ich auch einen eigenen Artikel zum Werkzeug angekündigt. Hier ist er.

LogCarve ist eine selbst gehostete Logfile-Analyse für die Access-Logs von Nginx und Apache. Das Tool zeigt, welche Bots und KI-Crawler vorbeikommen, wo eingehende Links ins Leere laufen, welche Endpunkte lahmen und wer nach wp-config oder .htpasswd stochert. Code und Doku liegen unter Apache-2.0 auf GitHub, eine kleine Projektseite gibt es unter logcarve.com. Der Stand ist eine Preview, und ich schraube weiter daran, auch weil mich das Thema selbst beschäftigt.

TL;DR

Logfile-Analyse auf dem eigenen Server, Open Source und im Preview-Stand. Feedback ist ausdrücklich erwünscht.

  • LogCarve liest Nginx- und Apache-Access-Logs in eine lokale SQLite-Datenbank und zeigt Traffic, Bots, KI-Crawler, 404-Links, Laufzeiten und Security-Kandidaten.
  • Gedacht ist es für SEO und Marketing, für Entwickler und für alle, die ihre Server auf verdächtige Anfragen prüfen.
  • Gezählt wird nur, was ein Log hergibt. Besucher, Sessions, Conversions und Trainingsnutzung tauchen deshalb bewusst nicht auf.
  • KI ist optional und ab Werk aus. Eingeschaltet bekommt das Modell nur lesende Analysewerkzeuge, und jeder Befund in der Antwort trägt Belege mit Link zum Nachzählen.
  • Gerade sammle ich Bugs, Features kommen danach. Mitstreiter sind willkommen.

Wofür eine Logfile-Analyse gut ist und wer sie braucht

Ein Access-Log schreibt jede Anfrage an den Webserver mit, egal ob sie von einem Menschen im Browser kommt, von Googlebot, von GPTBot oder von einem Skript, das nach offenen Admin-Logins sucht. JavaScript-Tracking sieht davon nur einen Teil, denn die meisten Crawler führen keine Tracking-Skripte aus, und wer den Cookie-Banner wegklickt, fehlt dort ebenfalls. Wer wissen will, wer auf dem eigenen Server anklopft, kommt am Log nicht vorbei.

Drei Gruppen haben daran ein ernsthaftes Interesse, und genau für die ist LogCarve gebaut (README). SEO und Marketing sehen, welche Suchmaschinen und KI-Crawler welche Seiten abrufen, welche Statuscodes sie bekommen und welche Links von außen auf einer 404 landen. Für GEO ist das eine der wenigen direkten Datenquellen, denn ob ChatGPT oder Perplexity eine Seite überhaupt abrufen, zeigt ein klassisches Analytics-Dashboard nicht. Entwickler bekommen langsame Endpunkte, Fehlergruppen und einen sortierbaren Request-Explorer. Und wer für die Sicherheit zuständig ist, findet regelbasierte Kandidaten für eine nähere Untersuchung, etwa gehäufte 401- und 403-Antworten oder User-Agents, die sich gleichzeitig als Bots zweier Anbieter ausgeben.

Für Unternehmen ist das vor allem eine Frage der Datenhoheit. Die Logs bleiben auf dem eigenen Server, und solange die KI ausgeschaltet bleibt, bekommt kein Drittanbieter etwas davon zu sehen. Selbst die Oberfläche lädt nichts von einem CDN nach.

Vom Browser-Tool zur eigenen Datenbank

Angefangen hat das im Juli mit LogWerk, einer einzelnen HTML-Seite, die ein Logfile im Browser zerlegt und die Bots nach Anbieter und Zweck sortiert. Für den schnellen Blick reicht das bis heute, und für meine Auswertung, wer llms.txt überhaupt abruft, über drei Monate und fünf Websites hat es auch gereicht. Eine Browser-Seite, die sich nur das letzte Log merkt, kann aber keine Zeiträume vergleichen und kein Log laufend nachlesen.

LogCarve importiert die Logs daher in eine lokale SQLite-Datenbank. Ein erneuter Import derselben Datei legt keine Duplikate an. Auf Wunsch liest ein Follow-Modus neue Zeilen nach, merkt sich die Leseposition und kommt mit Logrotation klar. Neben dem klassischen Combined-Format versteht das Tool die vHost-Variante von Apache, ein erweitertes Nginx-Format, gzip-Archive und in Grenzen eigene Formatdefinitionen (Logformate). Aus LogWerk stammen 70 der 77 Bot-Regeln samt MIT-Hinweis, Anwendungscode ist keiner übernommen (Lizenzhinweise).

Was im Dashboard landet

Die Übersicht zeigt Zeitverläufe, Statuscodes, den Anteil von Bots und browserähnlichem Traffic und eine Heatmap nach Wochentag und Stunde, immer mit ausdrücklich gewählter Zeitzone. Wer tiefer will, landet im Request-Explorer, in dem sich jede einzelne Anfrage sortieren und im Detail aufklappen lässt.

Für SEO und GEO ist der Bot-Bereich der interessanteste Teil. 77 Regeln erkennen benannte Crawler, 18 davon sind KI-Crawler, darunter GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Metas External Agent (Bot-Katalog). Pro Bot sehe ich, welche Pfade er abruft und welche Statuscodes er bekommt, und eine eigene SEO-Ansicht listet Pfade, die im gewählten Zeitraum ausschließlich KI-Crawler angefragt haben.

Dazu kommen:

  • Referrer mit bereinigten Herkunfts-URLs und eingehende Links, die auf einer 404 enden
  • Laufzeiten mit P50, P95 und den langsamsten Endpunkten, sofern das Log Messwerte enthält
  • Security-Kandidaten aus elf Regeln, etwa Path-Traversal, abgeklopfte CMS-Endpunkte oder gehäufte Abweisungen mit 401 und 403
  • Journeys als technische Gruppen von Anfragen, mit neuer Gruppe nach 30 Minuten Pause
  • gespeicherte Filter, Vergleichszeiträume und vollständige Exporte als CSV oder JSON bis 250.000 Zeilen

Was ein Access-Log nicht hergibt

Ein Access-Log ist erst einmal eine lange Liste von Anfragen. Besucher, Sessions, Conversions oder Rankings stehen da nicht drin, und ob ein Crawler die Inhalte zum Training verwendet hat, schon gar nicht. LogCarve zählt nichts davon. Dass ein KI-Crawler im Log noch lange kein Kunde ist, habe ich bei den KI-Zitaten als Erfolgsmetrik schon einmal aufgeschrieben.

Auch Bot-Namen sind Behauptungen. Ein User-Agent, der sich GPTBot nennt, kann von OpenAI kommen oder von einem Skript, das sich nur so nennt, und eine Prüfung per DNS gehört noch nicht zum Umfang. In der Oberfläche steht deshalb „Claimed GPTBot“. Journeys heißen Journeys, weil sie technische Gruppen aus Pseudonym und User-Agent sind, wer dahinter sitzt, weiß das Log nicht. Fehlt im Log die Laufzeit, zeigt LogCarve „unavailable“ an und keine Null. Und ein Security-Treffer ist ein Anlass zum Nachsehen, mehr behauptet das Tool an dieser Stelle nicht.

Pingelig ist das mit Absicht! Eine Zahl, die das Log nicht hergibt, landet gar nicht erst im Dashboard.

KI nur auf Ansage

Ein Projekt aus einem KI-Hackathon ganz ohne KI wäre seltsam, und LogCarve hat einen Assistenten. Ab Werk ist er ausgeschaltet, Dashboard, API und alle Auswertungen laufen ohne Modellschlüssel und ohne Internetverbindung. Wer ihn nutzen will, wählt in den Einstellungen Meta, OpenAI, Google oder Anthropic, hinterlegt einen eigenen API-Schlüssel, bestätigt die Datenrichtlinie und vergibt ein separates Kontingent für Untersuchungen, Requests und Kosten. Solange dieses Kontingent fehlt, geht kein einziger Aufruf raus.

Auf Datenbank oder Shell hat das Modell keinen Zugriff. Es ruft per Tool-Call dieselben lesenden Auswertungen auf, die auch Dashboard und API nutzen, mit Grenzen für Zeit, Tokens, Schritte und Budget. Jede Antwort bringt Evidenzlinks mit, die dieselbe Abfrage im Dashboard erneut ausführen. Nennt die KI 28 Anfragen mit Status 404, lässt sich das mit einem Klick nachzählen (so lief der erste erfolgreiche Live-Test im Hackathon). Auf eine Anregung von Richard Ng (Native) geht der lokale Recheck zurück, der ohne Modell prüft, ob die Belege eines Befunds nach einer Logrotation noch stimmen (Evidenzprüfung).

Was an einen Anbieter geht, ist vorher eingedampft. Query-Werte verwirft LogCarve schon beim Import, Referrer werden gekürzt, Geheimnisse maskiert und IP-Adressen per HMAC pseudonymisiert (Datenschutz und Datenabfluss). Pseudonymisiert heißt übrigens nicht anonym. Wer echte Logs an einen Modellanbieter schickt, klärt Rechtsgrundlage und Auftragsverarbeitung vorher selbst, das nimmt einem kein Tool ab.

Wer lieber automatisiert, holt dieselben Zahlen über die Read-only-API unter /api/v1, abgesichert mit eingeschränkten Bearer-Tokens. Ein Python-Client ohne Abhängigkeiten liegt bei, und die Doku zeigt, wie ein HTTP-Request-Node in n8n eine Zusammenfassung oder einen Export abholt (API-Doku). Externe Agenten können die API genauso nutzen.

Selbst hosten, ohne den Webserver umzubauen

Gedacht ist LogCarve für einen Linux-Server mit Docker Engine und Docker Compose ab Version 2.24. Es läuft ein einzelner Container mit SQLite, ein eigener Datenbankserver ist nicht nötig. Der Container arbeitet ohne Root-Rechte und braucht keinen Docker-Socket, die Logverzeichnisse werden nur lesend eingebunden. Erreichbar ist die Oberfläche standardmäßig nur unter 127.0.0.1:8080. Wer von außen zugreifen will, hängt sie hinter einen vorhandenen Reverse Proxy mit TLS, ohne die Konfiguration des produktiven Webservers anfassen zu müssen. Für Plesk-Umgebungen ist genau das als Vorgabe dokumentiert (Deployment).

Online-Backups mit geprüftem Restore und einstellbarer Aufbewahrung sind dabei, die ursprünglichen Logdateien fasst LogCarve nie an. Die Schlüssel gehören in eine separate Sicherung, sonst sind verschlüsselte Original-IPs und hinterlegte Anbieter-Schlüssel nach einem Restore nicht mehr lesbar (Backup und Restore).

Mindestwerte für CPU und RAM kann ich noch keine nennen. Die einzige Lastmessung stammt von meinem Mac mit M5 Pro: Eine Million synthetische Logzeilen waren in knapp 26 Sekunden importiert, mit knapp 60 MiB Arbeitsspeicher in der Spitze und einer Datenbank von gut 530 MB. Die Abfragen darauf brauchten zwischen einer halben und gut 15 Sekunden, die Journeys knapp 26 Sekunden (Prüfprotokoll). Auf einem kleinen VPS sieht das anders aus, wie anders, weiß ich noch nicht.

Zum Ausprobieren reicht die Demo mit 120 synthetischen Logzeilen. Echte Logs und einen Modellschlüssel braucht sie nicht, Git, curl und Python 3 auf dem Rechner schon (Demo):

git clone https://github.com/abbottis/logcarve.git
cd logcarve
./scripts/demo/init.sh
./scripts/demo/start.sh
./scripts/demo/health.sh

Danach läuft die Oberfläche unter http://127.0.0.1:8080. Angemeldet wird mit demo-admin, das Passwort steht in artifacts/local-demo-secrets/demo.env.

Preview heißt hier Preview

Im Repository steht LogCarve als Preview zur lokalen Evaluierung, und das meine ich so. In der CI laufen 1.503 Unit- und Integrationstests ohne übersprungene Fälle durch, dazu Ruff, der Build der Browser-Assets und ein Gitleaks-Scan über die gesamte Git-Historie (aktueller Status). Den Container habe ich bisher aber nur auf Linux ARM64 geprüft. Ein Installationstest auf einem nativen x86-64-Server steht noch aus, meine eigene manuelle Abnahme auch. Außerdem verwaltet LogCarve nur eine Site und eine Logquelle gleichzeitig, und die Oberfläche spricht bislang nur Englisch.

Öffentlich hat sich im Repo seit dem 4. November nichts getan, das Projekt lag bis zum Ende des Hackathons still. Jetzt geht es weiter. Gerade sammle ich die Bugs ein, die behoben werden müssen, danach kommen die Fixes und erst dann neue Features.

Bugs, Feedback und Mitstreitende gesucht

Dafür brauche ich Menschen, die das Ding tatsächlich benutzen. Wer LogCarve auf einem eigenen Server ausprobiert, (gern auch auf x86-64) und dabei über einen Fehler stolpert, legt ein Issue auf GitHub an. Für Bug-Reports und Feature-Wünsche gibt es dort Vorlagen. Sicherheitslücken gehören in eine private Meldung über die Security Advisories. Eine Bitte, die auch im Repo steht: keine echten Logzeilen, IP-Adressen oder Tokens in Issues kopieren, ein synthetisches Beispiel, das den Fehler zeigt, reicht.

Noch lieber als ein Bug-Report wäre mir jemand, der Spaß am Mitbauen hat: Interface, GUI oder Code. Python-Erfahrung hilft für letzteres, ein zweiter Blick auf die Sicherheitsregeln genauso. Und wer Logformate von Hostern kennt, die ich nie gesehen habe, ist sowieso willkommen. Wie Änderungen ablaufen sollen, steht in den Hinweisen für Beiträge.

Der Blumentopf ging an andere. LogCarve bleibt, und mit ein paar Mitstreitern wird aus der Preview schneller eine Version, die ich ohne Fußnote empfehlen kann.

Artikel teilen: