[Kobv-opus-tester] Gigabytemengen in workspace/tmp

[Heidi Traeger]

Lieber Herr Schwidder,

vielen Dank. An den OAI Abzug habe ich nicht gedacht. Das klingt logisch und ich werde Ihren Vorschlag folgen und per cron ältere Dateien löschen.
Beste Grüße aus Weimar
Heidi Traeger



-----Ursprüngliche Nachricht-----
Von: Kobv-opus-tester [mailto:kobv-opus-tester-bounces at zib.de] Im Auftrag von Jens Schwidder
Gesendet: Dienstag, 23. Oktober 2018 11:15
An: kobv-opus-tester at zib.de
Betreff: Re: [Kobv-opus-tester] Gigabytemengen in workspace/tmp

Liebe Frau Traeger,

da kann vielleicht jemand aus dem Hosting (KOBV/BSZ) noch etwas dazu sagen. Hier sind erst einmal meine Gedanken.

Beim Hochladen einer Datei wird sie unter "workspace/tmp" abgelegt und dann beim Speichern des Dokuments nach "files" verschoben. Eigentlich sollte die Datei dann gelöscht werden, aber vielleicht gibt es da einen Bug?

Beim Abholen von Daten über die OAI-PMH Schnittstelle werden auch Dateien in "workspace/tmp" angelegt. Die Dateien eines Dokuments werden in TAR/ZIB-Dateien verpackt. Diese Dateien sollten eigentlich auch automatisch gelöscht werden, aber es gibt zwei Modi. Beim Effizienteren übernimmt Apache2 die Auslieferung der Datei und sie kann nicht mehr vom OPUS 4 Code gelöscht werden. Das heißt, im Rahmen des Requests. Es bleibt eigentlich nur die Möglichkeit einer regelmässigen Bereinigung, wobei natürlich, wenn man Pech hat, ein laufender Request gestört werden kann.

Wir müssen da bei Gelegenheit noch einmal drüber nachdenken. Spontan habe ich jetzt keine gute Lösung. Vielleicht ein CRON-Job, der alle Dateien löscht, die älter als eine Stunde oder einen Tag sind, damit laufende Requests nicht gestört werden.

Die Volltextextraktionen landen unter "workspace/cache", so dass dort auch viele größere Dateien liegen können, die verhindern, dass der Volltext bei jedem Indizieren, wenn Metadaten geändert wurden, immer wieder extrahiert werden muss.

Vielen Dank und viele Grüße
Jens Schwidder

On 22.10.2018 14:02, Heidi Traeger wrote:
> Liebe OPUS-Anwender, liebes Entwickler Team, mir ist aufgefallen dass 
> seit einiger Zeit sämtliche PDF Dateien bzw. bei mehreren Dateien tar-Files zusätzlich im Verzeichnis workspace/tmp abgelegt werden. Nachdem ich am Freitag 120 GB gelöscht habe sind schon wieder 40 GB belegt und es wächst weiter.
> Wozu wird diese Ablage benutzt, ist das wirklich notwendig?
> Beste Grüße
> Heidi Traeger
> 
> Heidi Traeger
> EDV
> +49 3643 582866
> Bauhaus-Universität 
> Weimar<https://www.uni-weimar.de/de/universitaet/struktur/zentrale-ein
> richtungen/universitaetsbibliothek/>
> 
> 
> 
> 
> --
> Kobv-opus-tester mailing list
> Kobv-opus-tester at zib.de
> https://listserv.zib.de/mailman/listinfo/kobv-opus-tester
> 

--
==============================================================
Jens Schwidder
Kooperativer Bibliotheksverbund Berlin-Brandenburg (KOBV) c/o Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB) Takustr. 7, D-14195 Berlin
Telefon: (030) 841 85 - 308
Telefax: (030) 841 85 - 269
  E-Mail: schwidder at zib.de
     WWW: http://www.kobv.de
==============================================================

--
Kobv-opus-tester mailing list
Kobv-opus-tester at zib.de
https://listserv.zib.de/mailman/listinfo/kobv-opus-tester