[Kobv-opus-tester] Gigabytemengen in workspace/tmp

[Jens Schwidder]

Liebe Frau Traeger,

da kann vielleicht jemand aus dem Hosting (KOBV/BSZ) noch etwas dazu 
sagen. Hier sind erst einmal meine Gedanken.

Beim Hochladen einer Datei wird sie unter "workspace/tmp" abgelegt und 
dann beim Speichern des Dokuments nach "files" verschoben. Eigentlich 
sollte die Datei dann gelöscht werden, aber vielleicht gibt es da einen 
Bug?

Beim Abholen von Daten über die OAI-PMH Schnittstelle werden auch 
Dateien in "workspace/tmp" angelegt. Die Dateien eines Dokuments werden 
in TAR/ZIB-Dateien verpackt. Diese Dateien sollten eigentlich auch 
automatisch gelöscht werden, aber es gibt zwei Modi. Beim Effizienteren 
übernimmt Apache2 die Auslieferung der Datei und sie kann nicht mehr vom 
OPUS 4 Code gelöscht werden. Das heißt, im Rahmen des Requests. Es 
bleibt eigentlich nur die Möglichkeit einer regelmässigen Bereinigung, 
wobei natürlich, wenn man Pech hat, ein laufender Request gestört werden 
kann.

Wir müssen da bei Gelegenheit noch einmal drüber nachdenken. Spontan 
habe ich jetzt keine gute Lösung. Vielleicht ein CRON-Job, der alle 
Dateien löscht, die älter als eine Stunde oder einen Tag sind, damit 
laufende Requests nicht gestört werden.

Die Volltextextraktionen landen unter "workspace/cache", so dass dort 
auch viele größere Dateien liegen können, die verhindern, dass der 
Volltext bei jedem Indizieren, wenn Metadaten geändert wurden, immer 
wieder extrahiert werden muss.

Vielen Dank und viele Grüße
Jens Schwidder

On 22.10.2018 14:02, Heidi Traeger wrote:
> Liebe OPUS-Anwender, liebes Entwickler Team,
> mir ist aufgefallen dass seit einiger Zeit sämtliche PDF Dateien bzw. bei mehreren Dateien tar-Files zusätzlich im Verzeichnis workspace/tmp abgelegt werden. Nachdem ich am Freitag 120 GB gelöscht habe sind schon wieder 40 GB belegt und es wächst weiter.
> Wozu wird diese Ablage benutzt, ist das wirklich notwendig?
> Beste Grüße
> Heidi Traeger
> 
> Heidi Traeger
> EDV
> +49 3643 582866
> Bauhaus-Universität Weimar<https://www.uni-weimar.de/de/universitaet/struktur/zentrale-einrichtungen/universitaetsbibliothek/>
> 
> 
> 
> 
> --
> Kobv-opus-tester mailing list
> Kobv-opus-tester at zib.de
> https://listserv.zib.de/mailman/listinfo/kobv-opus-tester
> 

-- 
==============================================================
Jens Schwidder
Kooperativer Bibliotheksverbund Berlin-Brandenburg (KOBV)
c/o Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB)
Takustr. 7, D-14195 Berlin
Telefon: (030) 841 85 - 308
Telefax: (030) 841 85 - 269
  E-Mail: schwidder at zib.de
     WWW: http://www.kobv.de
==============================================================