ECS Log Format

Damit unsere Logs in Elasticsearch durchsuchbar gemacht werden koennen, muessen unsere Log-nachrichten ein bestimmtes Format erfuellen: https://www.elastic.co/guide/en/ecs/current/index.html

Dafuer gibt es bereits ein offizielles Python-package von elastic: https://github.com/elastic/ecs-logging-python

Darueber hinaus loggen wir aktuell viele unnoetige Informationen im Importer, da unser http client (httpx) jeden erfolgreichen Aufruf per Info loggt.

Todo

• Log-Config fuer CLI Jobs
  • Initialisierung des Loggings in der CLI (z.B. sammelrepository/_cli/__main__.py. Wichtig ist, dass diese Config nicht beim Starten des Servers geladen wird, damit es keine Konflikte gibt beim Laden der Gunicorn logs)
  • Allgemeines Logging-Level auf Warning setzen, nur fuer sammelrepository auf Info
  • elastic Library fuer Logging verwenden
• Log-config fuer Gunicorn
  • Erstellen einer Config-Datei, die Gunicorn beim Starten laedt
• Deploy auf PROD, update der logging config

See also

Blog-Post zur Konfiguration von Gunicorn Logging: https://til.codeinthehole.com/posts/how-to-get-gunicorn-to-log-as-json/

https://til.codeinthehole.com/posts/how-to-get-gunicorn-to-log-as-json/