[Kobv-opus-tester] OPUS 4.7.0.4 Release

Do Dez 10 14:01:58 CET 2020

Liebe Frau Traeger,

das tut mir erst einmal leid. Vielleicht sollten wir uns mal live 
unterhalten, vielleicht auch mit jemandem aus dem Hosting. Ich bin 
morgen und in der nächsten Woche in diesem Jahr noch verfügbar.

Die Version 4.7.0.4 ändert nichts an der Indexierung. Die Informationen 
hier reichen nicht, um das Problem weiter einzugrenzen. Wir haben keine 
Erfahrungen mit dem Betrieb unter Ubuntu 18, weil es da ja 
Kompatiblitätsprobleme mit der PHP Version gegeben hat, aber das haben 
Sie ja anscheinend gelöst. Es wäre interessant zu wissen, was bei Ihnen 
"composer info" ausgibt, um die Versionsnummern der verwendeten 
Abhängigkeiten mit unseren Installationen abzugleichen.

Danach könnte man sich einzelne Konfigurationsparameter
anschauen, wie den Timeout, evlt. auch, ob für Solr mehr Speicher 
konfiguriert werden muss. Da weiß das Hosting unter Umständen mehr.

Ich würde auch vorschlagen die Entwicklungsversion 4.7.1 zu testen und
dort mit dem Kommando "bin/opus4 index:extract den Extraktionsvorgang
für die Dokumente isoliert auszuführen, da dabei in der Regel die bisher 
beobachteten Probleme auftreten. Das liefert vielleicht weitere 
Informationen für die Ferndiagnose.

Das Verhalten, dass Solr einfriert bzw. sich beendet, tritt bei uns 
bisher dann auf, wenn viele Dokumente nicht vollständig extrahiert 
werden, weil der Timeout die Extraktion beendet. Dabei bleiben die 
Verbindungen zu Solr anscheinend offen, bis keine weiteren Verbindung 
mehr angenommen werden. Das kann man mit dem "index:extract" Kommando 
gut beobachten.

Viele Grüße

Jens Schwidder

On 10.12.20 13:18, Heidi Traeger wrote:
> Liebe Kolleginnen und Kollegen, lieber Herr Schwidder,
> 
> 
> 
> leider hat sich bei uns mit dieser Version die Stabilität des Solr Indexers noch verschlechtert.
> 
> Eine vollständige Indexierung war seit Version 4.7 schon nicht mehr möglich. Ich habe in vielen Einzeletappen neu indexiert und  z.Z. in unserem Bestand 5 PDF-Dokumente selektiert die den Solr- Server abstürzen lassen.
> 
> Ich habe vorgestern auf unserem Produktivserver 4.7.0. 4 aktiviert – in der Hoffnung es wird besser, aber jetzt ist es noch kritischer. Während es vorher nur die 5 Dokumente waren – beendet sich Solr jetzt noch häufiger, auch nachts.
> 
> Ich kann aus dem opus.log nicht herauslesen warum. Das  error.log hat in wenigen Tagen mehr als 1 GB – aber es stehen nur mod_rewrite Informationen drin.
> 
> 
> 
> Ich habe auf einem Testserver die neue Version komplett neu installiert - ohne eigene Anpassungen.  Ich hatte vor einer Neuindexierung die ausgemachten "kritischen" PDF Dateien über die Administration entfernt – trotzdem läuft die Indexdierung nicht durch und Solr beendet sich.
> 
> Ebenso bei einem Versuch so ein Dokument hochzuladen. Mit OPUS 4.6.3 gab es in dieser Hinsicht keine Probleme. Solr hat sich nie selbst beendet.
> 
> 
> 
> Ich habe Ubuntu 18.04, Php 7.1 und die Installation inklusieve Solr nach Vorgaben gemacht.
> 
> 
> 
> Ich hoffe in der Runde hat jemand dazu eine gute Idee?
> 
> 
> 
> Herzlichen Dank und beste Grüße
> 
> Heidi Traeger
> 
> 
> 
> 
> Heidi Traeger
> EDV
> +49 3643 582866
> Bauhaus-Universität Weimar<https://www.uni-weimar.de/de/universitaet/struktur/zentrale-einrichtungen/universitaetsbibliothek/>
> 
> 
> 
> -----Ursprüngliche Nachricht-----
> Von: Kobv-opus-tester <kobv-opus-tester-bounces at zib.de> Im Auftrag von Jens Schwidder
> Gesendet: Mittwoch, 2. Dezember 2020 10:24
> An: kobv-opus-tester at zib.de
> Betreff: [Kobv-opus-tester] OPUS 4.7.0.4 Release
> 
> 
> 
> Liebe Kolleginnen und Kollegen,
> 
> 
> 
> wir haben heute OPUS 4.7.0.4 auf GitHub freigegeben. Der Release beinhaltet einen Bugfix im Framework.
> 
> 
> 
> Da sich die Änderungen diesmal im Framework befinden muss zusätzlich zum Update der Source-Dateien mit
> 
> 
> 
>       git pull
> 
> 
> 
> auch ein Update der Composer Pakete mit
> 
> 
> 
>       composer update
> 
> 
> 
> durchgeführt werden. Es ist nicht notwendig, dass Update-Skript auszuführen.
> 
> 
> 
> Im Gegensatz zu den bisherigen Patch-Releases ändert sich diesmal die Versionsnummer von OPUS 4. Wir werden das in Zukunft auch so fortsetzen.
> 
> 
> 
> Weitere Informationen finden sich in den Release Notes und Changes.
> 
> 
> 
> https://github.com/OPUS4/application/blob/master/RELEASE_NOTES.md
> 
> https://github.com/OPUS4/application/blob/master/CHANGES.md
> 
> 
> 
> 
> 
> # Sonstiges
> 
> 
> 
> Wir arbeiten weiterhin an OPUS 4.7.1.
> 
> 
> 
> Einige der Probleme bei der Indexierung konnten schon jetzt in 4.7 durch Änderungen in der Konfiguration behoben werden. Für 4.7.1 werden die Tools für die Arbeit mit dem Suchindex weiter ausgebaut.
> 
> 
> 
> Ansonsten wird auch weiter an einer ersten Version eines BibTeX Imports für Administratoren gearbeitet.
> 
> 
> 
> Mit dem Release von 4.7.1 ist frühestens im Januar zu rechnen.
> 
> 
> 
> 
> 
> ## Timeout bei der Indexierung
> 
> 
> 
> Sollten Sie bei der vollständigen Neuindexierung zur Zeit Probleme mit Timeouts haben, können Sie sich die aktualisierte Konfiguration für die OPUS 4 Skripte anschauen und die Änderungen übernehmen. Durch einen Timeout von 0 darf die Extraktion des Volltextes einer Datei beliebig lange dauern. Diese Einstellungen wirken sich nur auf der Konsole aus.
> 
> 
> 
> https://github.com/OPUS4/application/blob/4.7.1/application/configs/console.ini.template
> 
> 
> 
> Der Timeout kann in der Datei `application/configs/config.ini` auch für Webrequests verändert werden. Abgeschaltet werden sollte der Timeout dort allerdings nicht, da es sonst dazu kommen kann, dass beim Abschicken des Publish-Formulares der Nutzer nur eine weiße Seite zurück bekommt, wenn die Extraktion mehrere Minuten dauern sollte. Der Defaultwert ist momentan 5 Sekunden.
> 
> 
> 
> 
> 
> ## Umtieg auf Laminas
> 
> 
> 
> Parallel haben die Arbeiten für den Umstieg auf Laminas begonnen.
> 
> Laminas ist die Fortsetzung des Zend Framework Projektes. Das OPUS Framework wurde für 4.7.1 bereits auf PHP Namespaces umgestellt. Das war eine Vorarbeit für den Umstieg und hat etwa 14.000 Änderungen im Code erfordert. Der eigentliche Umstieg wird umfangreicher und komplexer.
> 
> 
> 
> Die Verzeichnisstruktur von OPUS 4 wird sich ändern und es wird viele Veränderungen in den Controller-Klassen geben, sowie in den PHTML-Dateien. Mit dem neuen Framework verändern sich die Details der Interaktion zwischen Controllern und Views. Dadurch wird es unter Umständen schwierig werden lokale Anpassungen mit Git automatisch in die neue Version zu übernehmen. Falls sie Fragen dazu haben können sie sich gerne an uns wenden, per E-Mail oder auch gerne Issues auf GitHub.
> 
> 
> 
> https://github.com/OPUS4/application/issues
> 
> 
> 
> Für die Anpassungen im Hosting beim KOBV und BSZ haben wie einen Katalog angelegt und werden prüfen, welche Änderungen in Zukunft konfigurierbar gemacht werden oder auf eine andere Art und Weise besser unterstützt werden können.
> 
> 
> 
> Wir werden versuchen die kommenden Änderungen für den Umstieg mit Issues auf GitHub zu verknüpfen, so dass sie hoffentlich nachvollziehbarer werden. Allerdings werden die Änderungen im Code sehr umfangreich sein.
> 
> 
> 
> 
> 
> 
> 
> Beste Grüße, bleiben Sie gesund
> 
> 
> 
> i.A. des OPUS4-Entwicklerteams,
> 
> 
> 
> Jens Schwidder
> 
> 
> 
> –
> 
> Informationen und Neuigkeiten zu OPUS 4 und der Entwicklung im KOBV erhalten Sie
> 
> 
> 
> auf der Projektwebsite <http://www.opus-repository.org/> auf GitHub <https://github.com/OPUS4> beim KOBV <https://www.kobv.de/entwicklung/software/opus-4/>
> 
> über die offizielle OPUS4-Mailingliste: Anmeldung unter <http://listserv.zib.de/mailman/listinfo/kobv-opus-tester>
> 
> auf Facebook: <http://www.facebook.com/OPUSVIER>
> 
> über Twitter: <http://twitter.com/opus4kobv>
> 
> --
> 
> Kobv-opus-tester mailing list
> 
> Kobv-opus-tester at zib.de<mailto:Kobv-opus-tester at zib.de>
> 
> https://listserv.zib.de/mailman/listinfo/kobv-opus-tester
> 
> 
> --
> Kobv-opus-tester mailing list
> Kobv-opus-tester at zib.de
> https://listserv.zib.de/mailman/listinfo/kobv-opus-tester
> 

-- 
==============================================================
Jens Schwidder
Kooperativer Bibliotheksverbund Berlin-Brandenburg (KOBV)
c/o Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB)
Takustr. 7, D-14195 Berlin
Telefon: (030) 841 85 - 308
Telefax: (030) 841 85 - 269
  E-Mail: schwidder at zib.de
     WWW: http://www.kobv.de
==============================================================