[Kobv-opus-tester] Neuindexieren nicht möglich

Fr Apr 12 15:39:57 CEST 2019

Lieber Herr Schwidder,

vielen Dank für die Antwort. 
Ich konnte einfach keine fehlerhaften Rechte im Solr-Verzeichnis finden. Aber ich denke auch, dass dort der Fehler lag.
Ich habe mich wieder so beholfen, dass ich OPUS komplett neu installiert habe. Die Datenbank vorher an die 4.6.3 Version angepasst habe und dann funktionierte das Neuindexieren.
Den Zend Framework 1 Fehler habe ich entsprechend eines Tipps aus der Liste überbrückt. Es sieht erstmal wieder gut aus. Aber es ist auch noch kein neuer Titel dazu gekommen.

Vielen Dank für Ihre Arbeit und ein schönes Wochenende
Heidi Traeger

-----Ursprüngliche Nachricht-----
Von: Kobv-opus-tester [mailto:kobv-opus-tester-bounces at zib.de] Im Auftrag von Jens Schwidder
Gesendet: Freitag, 12. April 2019 14:27
An: kobv-opus-tester at zib.de
Betreff: Re: [Kobv-opus-tester] Neuindexieren nicht möglich

Liebe Frau Traeger,

beim KOBV, im Hosting und auch der Entwicklung, wurden dieses Probleme noch nicht beobachtet.

Zuerst zu Ubuntu 18. Die aktuelle Version 4.6.3 ist nicht kompatibel mit PHP 7.2. Das liegt am Zend Framework 1, das wir noch verwenden. Es ist möglich OPUS 4 zum Laufen zu bringen, aber ich kann nicht sagen, ob es dann nicht doch an der einen oder anderen Stelle Probleme gibt. Es ist geplant noch in diesem Jahr auf Zend Framework 3 umzusteigen.

Die Fehlermeldungen sehen für mich so aus, als ob die Rechte im Solr-Verzeichnis (.../opus4/data/solr/data) nicht richtig gesetzt sind. 
Ich habe im Augenblick keine Idee, die eine Veränderung von einem Tag auf den anderen erklären würde. Ich vermute, dass sich durch Updates etwas auf dem System verändert hat, aber ich wüsste nicht was der Auslöser sein könnte.

Das "set-file-permissions.sh"-Skript setzt nur die Rechte für den Workspace und andere wichtige Verzeichnisse innerhalb der OPUS 4 Installation. Es verändert nicht die Rechte für die Dateien in Solr.
Es ist zu viel Aufwand für die Entwicklung die Handhabung von Solr noch einmal in eigene Skripte zu verpacken. Die meisten Instanzen werden mit einem separat installierten Solr verwendet. Die Einrichtung von Solr während der Installation von OPUS 4 ist nur ein Kompromiss.

Die Skripte und die Dokumentation von Apache Solr sind in der Regel sehr gut. Mit OPUS 4.7 werden wir versuchen das Handhabung von Solr klarer zu gestalten. Eigentlich jetzt auch schon mit OPUS 4.6.4, nun da wir den Umstieg auf Solr 7.x vorgezogen haben.

Ich würde Ihnen empfehlen Solr nach der aktuellen Anleitung für produktive Systeme zu installieren. So betreiben wir Solr auch im Hosting und in der Entwicklung, also als Service mit einem eigenen Nutzer (e.g. `solr`). Für die älteren Solr-Versionen ist der Prozess sehr ähnlich.

http://lucene.apache.org/solr/guide/7_7/taking-solr-to-production.html

Ich hoffe das hilft Ihnen erst einmal weiter. Für OPUS 4.7 planen wir ein Monitoring der Indizierung für Administratoren, so dass schneller erkennbar ist, wenn es Probleme gibt. Wir denken auch über Möglichkeiten der Neuindizierung im laufenden Betrieb nach.

Wenn es wichtige Lücken in unserer Dokumentation gibt, kann diese gerne durch Pull Requests auf GitHub ergänzt werden. Die Dokumentation hängt leider an vielen Stellen immer wieder hinterher, weil die Zeit für die Arbeit am Code benötigt wird.

Vielen Dank und ein schönes Wochenende
Jens Schwidder

On 08.04.19 19:39, Heidi Traeger wrote:
> Liebe Kolleginnen und Kollegen,
> 
> seit einiger Zeit ist bei unserer OPUS Installation keine 
> Neuindexierung mehr möglich. Ich habe 2 verschiedene Installationen.
> Eine noch mit Ubuntu 16.04, PHP 7.0 - die 2. Installation mit Ubuntu
> 18.04 und PHP 7.2. Auf dem 18.04 Server habe ich nach der Installation 
> der Version 4.6.3 neuindexiert und alles war gut. Jetzt geht das nicht 
> mehr. Der Produktionsserver mit 16.04 wurde 2018 das letzte Mal 
> komplett neu installiert. Letzte Woche ist aufgefallen, das in der 
> Frontdoor 3 Titel nicht angezeigt wurden. Das ließ sich schnell 
> beheben. Heute nun verschwinden die Titel in der Frontdoor massiv. Im 
> Moment werden von 2493 Titeln noch 684 Treffer angeboten.
> 
> Ich hoffe auf eine Idee.
> 
> Beste Grüße aus Weimar Heidi Traeger
> 
> 
> Fehlermeldung beim Neuindexieren auf beiden Servern:
> 
> sudo bin/set-file-permissions.sh Setting owner to admini:www-data ... 
> Setting workspace permissions ... admini at weias14:/var/www/opus4$ php 
> /var/www/opus4/scripts/SolrIndexBuilder.php
> 
> Indexing all documents ... Removing all documents from the index ...
> 
> An error occurred while indexing. Error Message: failed removing all 
> documents from index: 500 OK Caused By: Solr HTTP error: OK (500)
> {"responseHeader":{"status":500,"QTime":4},"error":{"msg":"/var/www/opus4/solr-5.3.1/opus4/data/solr/data/index/pending_segments_9q","trace":"java.nio.file.AccessDeniedException:
> /var/www/opus4/solr-5.3.1/opus4/data/solr/data/index/pending_segments_
> 9q\n\tat 
> sun.nio.fs.UnixException.translateToIOException(UnixException.java:84)
> \n\tat 
> sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)\
> n\tat 
> sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)\
> n\tat 
> sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvide
> r.java:214)\n\tat 
> java.nio.file.spi.FileSystemProvider.newOutputStream(FileSystemProvide
> r.java:434)\n\tat 
> java.nio.file.Files.newOutputStream(Files.java:216)\n\tat
> org.apache.lucene.store.FSDirectory$FSIndexOutput.<init>(FSDirectory.j
> ava:265)\n\tat 
> org.apache.lucene.store.FSDirectory.createOutput(FSDirectory.java:214)
> \n\tat 
> org.apache.lucene.store.NRTCachingDirectory.unCache(NRTCachingDirector
> y.java:249)\n\tat 
> org.apache.lucene.store.NRTCachingDirectory.sync(NRTCachingDirectory.j
> ava:166)\n\tat 
> org.apache.lucene.store.LockValidatingDirectoryWrapper.sync(LockValida
> tingDirectoryWrapper.java:62)\n\tat
> org.apache.lucene.index.SegmentInfos.write(SegmentInfos.java:580)\n\ta
> t 
> org.apache.lucene.index.SegmentInfos.prepareCommit(SegmentInfos.java:8
> 09)\n\tat 
> org.apache.lucene.index.IndexWriter.startCommit(IndexWriter.java:4439)
> \n\tat 
> org.apache.lucene.index.IndexWriter.prepareCommitInternal(IndexWriter.
> java:2874)\n\tat 
> org.apache.lucene.index.IndexWriter.commitInternal(IndexWriter.java:29
> 77)\n\tat 
> org.apache.lucene.index.IndexWriter.commit(IndexWriter.java:2944)\n\ta
> t 
> org.apache.solr.update.DirectUpdateHandler2.commit(DirectUpdateHandler
> 2.java:586)\n\tat 
> org.apache.solr.update.processor.RunUpdateProcessor.processCommit(RunU
> pdateProcessorFactory.java:95)\n\tat
> org.apache.solr.update.processor.UpdateRequestProcessor.processCommit(
> UpdateRequestProcessor.java:64)\n\tat
> org.apache.solr.update.processor.DistributedUpdateProcessor.doLocalCom
> mit(DistributedUpdateProcessor.java:1635)\n\tat
> org.apache.solr.update.processor.DistributedUpdateProcessor.processCom
> mit(DistributedUpdateProcessor.java:1612)\n\tat
> org.apache.solr.update.processor.LogUpdateProcessor.processCommit(LogU
> pdateProcessorFactory.java:161)\n\tat
> org.apache.solr.handler.loader.XMLLoader.processUpdate(XMLLoader.java:
> 270)\n\tat 
> org.apache.solr.handler.loader.XMLLoader.load(XMLLoader.java:177)\n\ta
> t 
> org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandl
> er.java:98)\n\tat 
> org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(Con
> tentStreamHandlerBase.java:74)\n\tat
> org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandle
> rBase.java:143)\n\tat 
> org.apache.solr.core.SolrCore.execute(SolrCore.java:2068)\n\tat
> org.apache.solr.servlet.HttpSolrCall.execute(HttpSolrCall.java:669)\n\
> tat 
> org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:462)\n\tat
> org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter
> .java:214)\n\tat 
> org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter
> .java:179)\n\tat 
> org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletH
> andler.java:1652)\n\tat 
> org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:
> 585)\n\tat 
> org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.ja
> va:143)\n\tat 
> org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java
> :577)\n\tat 
> org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandle
> r.java:223)\n\tat 
> org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandle
> r.java:1127)\n\tat 
> org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:5
> 15)\n\tat 
> org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler
> .java:185)\n\tat 
> org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler
> .java:1061)\n\tat 
> org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.ja
> va:141)\n\tat 
> org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(Conte
> xtHandlerCollection.java:215)\n\tat
> org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerColle
> ction.java:110)\n\tat 
> org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.
> java:97)\n\tat 
> org.eclipse.jetty.server.Server.handle(Server.java:499)\n\tat
> org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:310)\n\ta
> t 
> org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java
> :257)\n\tat 
> org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:
> 540)\n\tat 
> org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool
> .java:635)\n\tat 
> org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.
> java:555)\n\tat java.lang.Thread.run(Thread.java:748)\n","code":500}}
> 
> Stack Trace: #0
> /var/www/opus4/vendor/opus4-repo/framework/library/Opus/Search/Solr/Solarium/Adapter.php(264):
> Opus_Search_Solr_Solarium_Adapter->execute(Object(Solarium\QueryType\U
> pdate\Query\Query),
> 'failed removing...') #1
> /var/www/opus4/scripts/SolrIndexBuilder.php(220):
> Opus_Search_Solr_Solarium_Adapter->removeAllDocumentsFromIndex() #2
> /var/www/opus4/scripts/SolrIndexBuilder.php(197):
> SolrIndexBuilder->index(NULL, NULL) #3
> /var/www/opus4/scripts/SolrIndexBuilder.php(365):
> SolrIndexBuilder->run(1, Array) #4 {main}
> 
> 
> Heidi Traeger EDV +49 3643 582866 Bauhaus-Universität 
> Weimar<https://www.uni-weimar.de/de/universitaet/struktur/zentrale-ein
> richtungen/universitaetsbibliothek/>
>
> 
> 
> 
> -- Kobv-opus-tester mailing list Kobv-opus-tester at zib.de 
> https://listserv.zib.de/mailman/listinfo/kobv-opus-tester
> 

--
==============================================================
Jens Schwidder
Kooperativer Bibliotheksverbund Berlin-Brandenburg (KOBV) c/o Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB) Takustr. 7, D-14195 Berlin
Telefon: (030) 841 85 - 308
Telefax: (030) 841 85 - 269
  E-Mail: schwidder at zib.de
     WWW: http://www.kobv.de
==============================================================

--
Kobv-opus-tester mailing list
Kobv-opus-tester at zib.de
https://listserv.zib.de/mailman/listinfo/kobv-opus-tester