[Kobv-opus-tester] Neuindexieren nicht möglich

Fr Apr 12 14:27:03 CEST 2019

Liebe Frau Traeger,

beim KOBV, im Hosting und auch der Entwicklung, wurden dieses Probleme 
noch nicht beobachtet.

Zuerst zu Ubuntu 18. Die aktuelle Version 4.6.3 ist nicht kompatibel mit 
PHP 7.2. Das liegt am Zend Framework 1, das wir noch verwenden. Es ist 
möglich OPUS 4 zum Laufen zu bringen, aber ich kann nicht sagen, ob es 
dann nicht doch an der einen oder anderen Stelle Probleme gibt. Es ist 
geplant noch in diesem Jahr auf Zend Framework 3 umzusteigen.

Die Fehlermeldungen sehen für mich so aus, als ob die Rechte im 
Solr-Verzeichnis (.../opus4/data/solr/data) nicht richtig gesetzt sind. 
Ich habe im Augenblick keine Idee, die eine Veränderung von einem Tag auf
den anderen erklären würde. Ich vermute, dass sich durch Updates etwas 
auf dem System verändert hat, aber ich wüsste nicht was der Auslöser
sein könnte.

Das "set-file-permissions.sh"-Skript setzt nur die Rechte für den 
Workspace und andere wichtige Verzeichnisse innerhalb der OPUS 4 
Installation. Es verändert nicht die Rechte für die Dateien in Solr.
Es ist zu viel Aufwand für die Entwicklung die Handhabung von Solr noch 
einmal in eigene Skripte zu verpacken. Die meisten Instanzen werden mit
einem separat installierten Solr verwendet. Die Einrichtung von Solr
während der Installation von OPUS 4 ist nur ein Kompromiss.

Die Skripte und die Dokumentation von Apache Solr sind in der Regel sehr 
gut. Mit OPUS 4.7 werden wir versuchen das Handhabung von Solr klarer zu 
gestalten. Eigentlich jetzt auch schon mit OPUS 4.6.4, nun da wir den 
Umstieg auf Solr 7.x vorgezogen haben.

Ich würde Ihnen empfehlen Solr nach der aktuellen Anleitung für 
produktive Systeme zu installieren. So betreiben wir Solr auch im 
Hosting und in der Entwicklung, also als Service mit einem eigenen 
Nutzer (e.g. `solr`). Für die älteren Solr-Versionen ist der Prozess 
sehr ähnlich.

http://lucene.apache.org/solr/guide/7_7/taking-solr-to-production.html

Ich hoffe das hilft Ihnen erst einmal weiter. Für OPUS 4.7 planen wir
ein Monitoring der Indizierung für Administratoren, so dass schneller
erkennbar ist, wenn es Probleme gibt. Wir denken auch über Möglichkeiten 
der Neuindizierung im laufenden Betrieb nach.

Wenn es wichtige Lücken in unserer Dokumentation gibt, kann diese gerne
durch Pull Requests auf GitHub ergänzt werden. Die Dokumentation hängt
leider an vielen Stellen immer wieder hinterher, weil die Zeit für die 
Arbeit am Code benötigt wird.

Vielen Dank und ein schönes Wochenende
Jens Schwidder

On 08.04.19 19:39, Heidi Traeger wrote:
> Liebe Kolleginnen und Kollegen,
> 
> seit einiger Zeit ist bei unserer OPUS Installation keine
> Neuindexierung mehr möglich. Ich habe 2 verschiedene Installationen.
> Eine noch mit Ubuntu 16.04, PHP 7.0 - die 2. Installation mit Ubuntu
> 18.04 und PHP 7.2. Auf dem 18.04 Server habe ich nach der
> Installation der Version 4.6.3 neuindexiert und alles war gut. Jetzt
> geht das nicht mehr. Der Produktionsserver mit 16.04 wurde 2018 das
> letzte Mal komplett neu installiert. Letzte Woche ist aufgefallen,
> das in der Frontdoor 3 Titel nicht angezeigt wurden. Das ließ sich
> schnell beheben. Heute nun verschwinden die Titel in der Frontdoor
> massiv. Im Moment werden von 2493 Titeln noch 684 Treffer angeboten.
> 
> Ich hoffe auf eine Idee.
> 
> Beste Grüße aus Weimar Heidi Traeger
> 
> 
> Fehlermeldung beim Neuindexieren auf beiden Servern:
> 
> sudo bin/set-file-permissions.sh Setting owner to admini:www-data
> ... Setting workspace permissions ... admini at weias14:/var/www/opus4$
> php /var/www/opus4/scripts/SolrIndexBuilder.php
> 
> Indexing all documents ... Removing all documents from the index ...
> 
> An error occurred while indexing. Error Message: failed removing all
> documents from index: 500 OK Caused By: Solr HTTP error: OK (500) 
> {"responseHeader":{"status":500,"QTime":4},"error":{"msg":"/var/www/opus4/solr-5.3.1/opus4/data/solr/data/index/pending_segments_9q","trace":"java.nio.file.AccessDeniedException:
> /var/www/opus4/solr-5.3.1/opus4/data/solr/data/index/pending_segments_9q\n\tat
> sun.nio.fs.UnixException.translateToIOException(UnixException.java:84)\n\tat
> sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)\n\tat
> sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)\n\tat
> sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:214)\n\tat
> java.nio.file.spi.FileSystemProvider.newOutputStream(FileSystemProvider.java:434)\n\tat
> java.nio.file.Files.newOutputStream(Files.java:216)\n\tat
> org.apache.lucene.store.FSDirectory$FSIndexOutput.<init>(FSDirectory.java:265)\n\tat
> org.apache.lucene.store.FSDirectory.createOutput(FSDirectory.java:214)\n\tat
> org.apache.lucene.store.NRTCachingDirectory.unCache(NRTCachingDirectory.java:249)\n\tat
> org.apache.lucene.store.NRTCachingDirectory.sync(NRTCachingDirectory.java:166)\n\tat
> org.apache.lucene.store.LockValidatingDirectoryWrapper.sync(LockValidatingDirectoryWrapper.java:62)\n\tat
> org.apache.lucene.index.SegmentInfos.write(SegmentInfos.java:580)\n\tat
> org.apache.lucene.index.SegmentInfos.prepareCommit(SegmentInfos.java:809)\n\tat
> org.apache.lucene.index.IndexWriter.startCommit(IndexWriter.java:4439)\n\tat
> org.apache.lucene.index.IndexWriter.prepareCommitInternal(IndexWriter.java:2874)\n\tat
> org.apache.lucene.index.IndexWriter.commitInternal(IndexWriter.java:2977)\n\tat
> org.apache.lucene.index.IndexWriter.commit(IndexWriter.java:2944)\n\tat
> org.apache.solr.update.DirectUpdateHandler2.commit(DirectUpdateHandler2.java:586)\n\tat
> org.apache.solr.update.processor.RunUpdateProcessor.processCommit(RunUpdateProcessorFactory.java:95)\n\tat
> org.apache.solr.update.processor.UpdateRequestProcessor.processCommit(UpdateRequestProcessor.java:64)\n\tat
> org.apache.solr.update.processor.DistributedUpdateProcessor.doLocalCommit(DistributedUpdateProcessor.java:1635)\n\tat
> org.apache.solr.update.processor.DistributedUpdateProcessor.processCommit(DistributedUpdateProcessor.java:1612)\n\tat
> org.apache.solr.update.processor.LogUpdateProcessor.processCommit(LogUpdateProcessorFactory.java:161)\n\tat
> org.apache.solr.handler.loader.XMLLoader.processUpdate(XMLLoader.java:270)\n\tat
> org.apache.solr.handler.loader.XMLLoader.load(XMLLoader.java:177)\n\tat
> org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandler.java:98)\n\tat
> org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:74)\n\tat
> org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:143)\n\tat
> org.apache.solr.core.SolrCore.execute(SolrCore.java:2068)\n\tat
> org.apache.solr.servlet.HttpSolrCall.execute(HttpSolrCall.java:669)\n\tat
> org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:462)\n\tat
> org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:214)\n\tat
> org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:179)\n\tat
> org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652)\n\tat
> org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:585)\n\tat
> org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143)\n\tat
> org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:577)\n\tat
> org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:223)\n\tat
> org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1127)\n\tat
> org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:515)\n\tat
> org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:185)\n\tat
> org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1061)\n\tat
> org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141)\n\tat
> org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:215)\n\tat
> org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:110)\n\tat
> org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97)\n\tat
> org.eclipse.jetty.server.Server.handle(Server.java:499)\n\tat
> org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:310)\n\tat
> org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257)\n\tat
> org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:540)\n\tat
> org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635)\n\tat
> org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555)\n\tat
> java.lang.Thread.run(Thread.java:748)\n","code":500}}
> 
> Stack Trace: #0
> /var/www/opus4/vendor/opus4-repo/framework/library/Opus/Search/Solr/Solarium/Adapter.php(264):
> Opus_Search_Solr_Solarium_Adapter->execute(Object(Solarium\QueryType\Update\Query\Query),
> 'failed removing...') #1
> /var/www/opus4/scripts/SolrIndexBuilder.php(220):
> Opus_Search_Solr_Solarium_Adapter->removeAllDocumentsFromIndex() #2
> /var/www/opus4/scripts/SolrIndexBuilder.php(197):
> SolrIndexBuilder->index(NULL, NULL) #3
> /var/www/opus4/scripts/SolrIndexBuilder.php(365):
> SolrIndexBuilder->run(1, Array) #4 {main}
> 
> 
> Heidi Traeger EDV +49 3643 582866 Bauhaus-Universität
> Weimar<https://www.uni-weimar.de/de/universitaet/struktur/zentrale-einrichtungen/universitaetsbibliothek/>
>
> 
> 
> 
> -- Kobv-opus-tester mailing list Kobv-opus-tester at zib.de 
> https://listserv.zib.de/mailman/listinfo/kobv-opus-tester
> 

-- 
==============================================================
Jens Schwidder
Kooperativer Bibliotheksverbund Berlin-Brandenburg (KOBV)
c/o Konrad-Zuse-Zentrum für Informationstechnik Berlin (ZIB)
Takustr. 7, D-14195 Berlin
Telefon: (030) 841 85 - 308
Telefax: (030) 841 85 - 269
  E-Mail: schwidder at zib.de
     WWW: http://www.kobv.de
==============================================================