Über Open CoDE Software Wiki Diskussionen GitLab

Skip to content

Resolve "Übernahme Landesredaktions-Schemata"

Felix Bernhardt requested to merge 120-ubernahme-landesredaktions-schemata into main

Erster MR fuer #120 (closed)

Bisheriger Stand des Imports:

  • Es werden alle Repos importiert, allerdings:
    • Die URLs sind bisher noch weggelassen in der eingecheckten Version, da wir noch klaeren muessen, wie wir auf diese zugreifen.
    • Die URLs werden jetzt ueber eine externe json Datei mitgegeben. Der Pfad zu der Datei wird ueber eine neue Umgebungsvariable mitgegeben (ist in der README ergaenzt).
    • Die Imports laufen aktuell parallel zwischen des Repos, allerdings sequenziell fuer jedes einzelne Repo, da sonst der Server immer ein Timeout hat. Der komplette Import wuerde also ewig dauern. Ich lade aktuell daher nur die ersten 10 Schemata aus jedem Repo, solange wir noch nicht den kompletten Stand brauchen und bei jedem Deployment migrieren.
  • Ich habe die pycodestyle warnings von ruff deaktiviert, da es hier einen Konflikt mit black gab. Ist denke ich in Ordnung, da sich black ja um das komplette Formatting kuemmert.
  • Getested habe ich jetzt nur, dass die JSON korrekt geparsed wird. Die Interaktion mit den Repos muessen wir wuerde ich sagen nicht testen, da hier eigentlich nichts schief gehen kann, ausser dass der Server nicht erreichbar ist. Bis auf Retries im crawler habe ich daher ebenfalls auf schlaues Error-Handling verzichtet, da ja nur wir die Fehler sehen und kein User.
  • Es wird bisher nur das Schema geparsed und in die Datenbank gespeichert. Sobald auch die Models im main sind wuerde ich diese erweitern, dass die originale XML Datei und die Code listen ebenfalls mit gespeichert werden.
Edited by Felix Bernhardt

Merge request reports