[Kobv-opus-tester] OPUS 4.7.0.4 Release

Conrad-Rempel, Steffi conrad-rempel at zib.de
Do Dez 10 14:02:31 CET 2020


Liebe Frau Traeger,

wir vom OPUS-Hosting-Team des KOBV sind derzeit auch dabei, alle Instanzen auf 4.7.0.4 zu aktualisieren.
In der Vergangenheit hatten wir auch hin und wieder Probleme bei einigen Volltexten. 
Wir haben beim Update auf 4.7 die Timeouts für die Indexierung hochgesetzt bzw. ausgestellt, das hat die Probleme der Volltextindexierung extrem reduziert.
Versuchen Sie doch bitte mal mit folgender Einstellung zu indexieren:
In der Datei ./application/configs/console.ini unterhalb der DB-Angabe nachstehende Parameter  eintragen:

searchengine.solr.default.service.default.endpoint.localhost.timeout = 0
searchengine.solr.default.service.extract.endpoint.localhost.timeout = 0

Ggf. können Sie den Timeout auf "15" setzen, wenn der Prozess nicht mehr weitermacht.

Als Umgebung arbeiten wir allerdings noch auf Ubuntu 16.

Viele Grüße

Steffi Conrad-Rempel
---------------------------------------------------
OPUS-Hostingteam im KOBV

Zuse Institute Berlin
Kooperativer Bibliotheksverbund Berlin-Brandenburg
Takustraße 7

14195 Berlin


Tel. +49 30 84185-343
conrad-rempel at zib.de

________________________________________
Von: Kobv-opus-tester <kobv-opus-tester-bounces at zib.de> im Auftrag von Heidi Traeger <heidi.traeger at uni-weimar.de>
Gesendet: Donnerstag, 10. Dezember 2020 13:18
An: Opus-Tester
Betreff: Re: [Kobv-opus-tester] OPUS 4.7.0.4 Release

Liebe Kolleginnen und Kollegen, lieber Herr Schwidder,



leider hat sich bei uns mit dieser Version die Stabilität des Solr Indexers noch verschlechtert.

Eine vollständige Indexierung war seit Version 4.7 schon nicht mehr möglich. Ich habe in vielen Einzeletappen neu indexiert und  z.Z. in unserem Bestand 5 PDF-Dokumente selektiert die den Solr- Server abstürzen lassen.

Ich habe vorgestern auf unserem Produktivserver 4.7.0. 4 aktiviert – in der Hoffnung es wird besser, aber jetzt ist es noch kritischer. Während es vorher nur die 5 Dokumente waren – beendet sich Solr jetzt noch häufiger, auch nachts.

Ich kann aus dem opus.log nicht herauslesen warum. Das  error.log hat in wenigen Tagen mehr als 1 GB – aber es stehen nur mod_rewrite Informationen drin.



Ich habe auf einem Testserver die neue Version komplett neu installiert - ohne eigene Anpassungen.  Ich hatte vor einer Neuindexierung die ausgemachten "kritischen" PDF Dateien über die Administration entfernt – trotzdem läuft die Indexdierung nicht durch und Solr beendet sich.

Ebenso bei einem Versuch so ein Dokument hochzuladen. Mit OPUS 4.6.3 gab es in dieser Hinsicht keine Probleme. Solr hat sich nie selbst beendet.



Ich habe Ubuntu 18.04, Php 7.1 und die Installation inklusieve Solr nach Vorgaben gemacht.



Ich hoffe in der Runde hat jemand dazu eine gute Idee?



Herzlichen Dank und beste Grüße

Heidi Traeger




Heidi Traeger
EDV
+49 3643 582866
Bauhaus-Universität Weimar<https://www.uni-weimar.de/de/universitaet/struktur/zentrale-einrichtungen/universitaetsbibliothek/>



-----Ursprüngliche Nachricht-----
Von: Kobv-opus-tester <kobv-opus-tester-bounces at zib.de> Im Auftrag von Jens Schwidder
Gesendet: Mittwoch, 2. Dezember 2020 10:24
An: kobv-opus-tester at zib.de
Betreff: [Kobv-opus-tester] OPUS 4.7.0.4 Release



Liebe Kolleginnen und Kollegen,



wir haben heute OPUS 4.7.0.4 auf GitHub freigegeben. Der Release beinhaltet einen Bugfix im Framework.



Da sich die Änderungen diesmal im Framework befinden muss zusätzlich zum Update der Source-Dateien mit



     git pull



auch ein Update der Composer Pakete mit



     composer update



durchgeführt werden. Es ist nicht notwendig, dass Update-Skript auszuführen.



Im Gegensatz zu den bisherigen Patch-Releases ändert sich diesmal die Versionsnummer von OPUS 4. Wir werden das in Zukunft auch so fortsetzen.



Weitere Informationen finden sich in den Release Notes und Changes.



https://github.com/OPUS4/application/blob/master/RELEASE_NOTES.md

https://github.com/OPUS4/application/blob/master/CHANGES.md





# Sonstiges



Wir arbeiten weiterhin an OPUS 4.7.1.



Einige der Probleme bei der Indexierung konnten schon jetzt in 4.7 durch Änderungen in der Konfiguration behoben werden. Für 4.7.1 werden die Tools für die Arbeit mit dem Suchindex weiter ausgebaut.



Ansonsten wird auch weiter an einer ersten Version eines BibTeX Imports für Administratoren gearbeitet.



Mit dem Release von 4.7.1 ist frühestens im Januar zu rechnen.





## Timeout bei der Indexierung



Sollten Sie bei der vollständigen Neuindexierung zur Zeit Probleme mit Timeouts haben, können Sie sich die aktualisierte Konfiguration für die OPUS 4 Skripte anschauen und die Änderungen übernehmen. Durch einen Timeout von 0 darf die Extraktion des Volltextes einer Datei beliebig lange dauern. Diese Einstellungen wirken sich nur auf der Konsole aus.



https://github.com/OPUS4/application/blob/4.7.1/application/configs/console.ini.template



Der Timeout kann in der Datei `application/configs/config.ini` auch für Webrequests verändert werden. Abgeschaltet werden sollte der Timeout dort allerdings nicht, da es sonst dazu kommen kann, dass beim Abschicken des Publish-Formulares der Nutzer nur eine weiße Seite zurück bekommt, wenn die Extraktion mehrere Minuten dauern sollte. Der Defaultwert ist momentan 5 Sekunden.





## Umtieg auf Laminas



Parallel haben die Arbeiten für den Umstieg auf Laminas begonnen.

Laminas ist die Fortsetzung des Zend Framework Projektes. Das OPUS Framework wurde für 4.7.1 bereits auf PHP Namespaces umgestellt. Das war eine Vorarbeit für den Umstieg und hat etwa 14.000 Änderungen im Code erfordert. Der eigentliche Umstieg wird umfangreicher und komplexer.



Die Verzeichnisstruktur von OPUS 4 wird sich ändern und es wird viele Veränderungen in den Controller-Klassen geben, sowie in den PHTML-Dateien. Mit dem neuen Framework verändern sich die Details der Interaktion zwischen Controllern und Views. Dadurch wird es unter Umständen schwierig werden lokale Anpassungen mit Git automatisch in die neue Version zu übernehmen. Falls sie Fragen dazu haben können sie sich gerne an uns wenden, per E-Mail oder auch gerne Issues auf GitHub.



https://github.com/OPUS4/application/issues



Für die Anpassungen im Hosting beim KOBV und BSZ haben wie einen Katalog angelegt und werden prüfen, welche Änderungen in Zukunft konfigurierbar gemacht werden oder auf eine andere Art und Weise besser unterstützt werden können.



Wir werden versuchen die kommenden Änderungen für den Umstieg mit Issues auf GitHub zu verknüpfen, so dass sie hoffentlich nachvollziehbarer werden. Allerdings werden die Änderungen im Code sehr umfangreich sein.







Beste Grüße, bleiben Sie gesund



i.A. des OPUS4-Entwicklerteams,



Jens Schwidder



–

Informationen und Neuigkeiten zu OPUS 4 und der Entwicklung im KOBV erhalten Sie



auf der Projektwebsite <http://www.opus-repository.org/> auf GitHub <https://github.com/OPUS4> beim KOBV <https://www.kobv.de/entwicklung/software/opus-4/>

über die offizielle OPUS4-Mailingliste: Anmeldung unter <http://listserv.zib.de/mailman/listinfo/kobv-opus-tester>

auf Facebook: <http://www.facebook.com/OPUSVIER>

über Twitter: <http://twitter.com/opus4kobv>

--

Kobv-opus-tester mailing list

Kobv-opus-tester at zib.de<mailto:Kobv-opus-tester at zib.de>

https://listserv.zib.de/mailman/listinfo/kobv-opus-tester




Mehr Informationen über die Mailingliste Kobv-opus-tester