[Kobv-opus-tester] SOLR-Indexierung in Opus 4.2.2

[Sascha Szott]

Hallo Frau Baade-Kelishani,

also, das sind zwei Probleme:

1. Die Solr-Indexierung schlägt fehl, da es zwei Haupttitel in der 
Sprache englisch gibt. Diesen Zustand können Sie normalerweise gar nicht 
erzeugen (weder über das Publish-Formular noch in der Administration). 
Bitte ändern Sie in der Metadaten-Administration für diesen Datensatz 
die Sprache des ersten Titels auf portugiesisch. Anschließend sollte die 
Indexierung des Dokuments wieder fehlerfrei durchlaufen.

2. Nun ist die Frage, warum es mit ihrer "alten" 
OPUS4.2.1-Testinstallation funktioniert hat. Möglicherweise wurden dort 
die Sprachen der Haupttitel noch richtig migriert? Haben Sie eine 
Möglichkeit den Zustand des Dokuments im OPUS4.2.1-Testsystem 
nachzuschlagen? Sind dort auch beide Haupttitel auch in der Sprache 
englisch (das kann ja eigentlich nicht sein, wenn der o.g. Fehler dort 
nicht zu beobachten war)?

Evtl. hat sich hier also zwischen 4.2.1 und 4.2.2 eine Regression im 
Migrationsskript bei der Übernahme der Titelsprachen ergeben. Dann wäre 
das ein Bug, den ich im Ticketsystem aufnehme. Ich warte aber erst mal 
auf Ihre Beobachtungen.

Beste Grüße,
Sascha Szott


On 12.07.2012 17:20, Annegret Baade-Kelishani wrote:
> Hallo Herr Szott,
> das Dokument war bereits in OPUS3 enthalten und wurde nach der Migration
> nicht verändert. Die Dokumentsprache ist portugiesisch.
> Der Eintrag bzgl. der Titel und Abstracts in OPUS3 ist folgendermaßen:
>
> also 2 Titel, Original und englisch und 2 Abstracts (portugiesisch und
> deutsch):
>
> OPUS 4 macht daraus 2 englische Titel, die Abstracts werden korrekt
> übernommen:
>
[...]
>
> Die solr-Logdateien habe ich angehängt. Hoffentlich hilft es weiter.
> Herzlichen Dank und viele Grüße aus Aachen
> Annegret Baade-Kelishani
>
>
> Am 12.07.2012 13:22, schrieb Sascha Szott:
>> Hallo Frau Baade-Kelishani,
>>
>> ist das betroffene Dokument #185 bereits in ihrer OPUS3-Instanz
>> enthalten oder wurde es erst nach der Migration auf OPUS4 neu
>> eingestellt? Wenn es bereits in OPUS3 enthalten war: wurde das Dokument
>> nach der Migration in OPUS4über die Metadaten-Administration
>> nachträglich verändert (z.B. Felder hinzugefügt)?
>>
>> Aus dem angegebenen Stacktrace werde ich so nicht schlau. Für eine
>> Fehlersuche aus der Ferne benötige ich weitere Informationen:
>>
>> Wie sieht das betroffene Dokument aus? Dabei ist wichtig:
>> * Dokumentsprache
>> * Anzahl der TitleMain-Felder (und die jeweils zugeordneten Sprachen)
>> * Anzahl der TitleAbstract-Felder (und die jeweils zugeordneten Sprachen)
>>
>> Nun richten Sie bitte den Logger ein, so dass wir uns das XML-File
>> ansehen können, das für die Indexierung zum Solr-Server geschickt wird.
>> Dazu setzen Sie bitte in der Konfigurationsdatei *config.ini* unterhalb
>> von [production] die Einträge
>>
>> log.prepare.xml = true
>> log.level = DEBUG
>>
>> ein.
>>
>> Außerdem würde ich gern das Solr-Logfile sehen (das ist optional: sofern
>> sie den Jetty-Solr-Server mit Logging konfiguriert haben).
>>
>> Nun indexieren Sie bitte das Dokument #185 separat, indem Sie folgendes
>> Kommando aufrufen:
>>
>> $ cd /var/local/opus4/opus4/scripts
>> $ ./SolrIndexBuilder.php 185 185
>>
>> und stellen uns die in das OPUS4-Logfile
>>
>> /var/local/opus4/workspace/log/opus-console.log
>>
>> geschriebenen Einträge zur Verfügung.
>>
>> Beste Grüße,
>> Sascha Szott
>>
>>
>> On 12.07.2012 12:55, Annegret Baade-Kelishani wrote:
>>> Liebe Kolleginnen und Kollegen,
>>> ich habe unsere OPUS-4-Installation (die ja noch im Testbetrieb läuft)
>>> ebenfalls auf die Version 4.2.2 umgestellt, seitdem funktioniert sie
>>> nicht mehr.
>>> Beim Update wurde ich gefragt, ob ich jetzt den SOLR-Index neu
>>> indexieren möchte. Diese Indexierung ist dann mit folgender
>>> Fehlermeldung abgebrochen:
>>>> Problem:
>>>> 2012-07-11 17:36:35 Stats after 180 documents -- memory 11 MB, peak
>>>> memory 40 (MB), 1.82 docs/second, 0.55 seconds/doc
>>>>
>>>> An error occurred while indexing.
>>>> Error Message: Error while adding document with id 185
>>>> Caused By:
>>>> Stack Trace:
>>>> #0 /var/local/opus4/opus4/scripts/SolrIndexBuilder.php(101):
>>>> Opus_SolrSearch_Index_Indexer->addDocumentToEntryIndex(Object(Opus_Document))
>>>> #1 /var/local/opus4/opus4/scripts/SolrIndexBuilder.php(126):
>>>> SolrIndexBuilder->run()
>>>> #2 {main}
>>>>
>>>> done
>>> Daraufhin habe ich einfach den Import aus unserer OPUS-3-Installation
>>> neu gestartet, aber auch hier ist die SOLR-Indexierung abgebrochen:
>>>> An error occurred while indexing.
>>>> Error Message: Error while adding document with id 185
>>>> Caused By:
>>>> Stack Trace:
>>>> #0 /var/local/opus4/opus4/scripts/SolrIndexBuilder.php(101):
>>>> Opus_SolrSearch_Index_Indexer->addDocumentToEntryIndex(Object(Opus_Document))
>>>> #1 /var/local/opus4/opus4/scripts/SolrIndexBuilder.php(126):
>>>> SolrIndexBuilder->run()
>>>> #2 {main}
>>> Nun handelt es sich bei dem entsprechenden Dokument um ein
>>> portugiesisches Dokument, in dem auch Sonderzeichen vorkommen:
>>>
>>>> 1. Abstract (*Portugiesisch*)
>>>> O conceito científico de Lideranca situaçional explica que um líder
>>>> tem que ser uma pessoa de múltiplas Funções e Competências. Nas
>>>> empresas alemaes tem muitos pessoas pensando ser líderes, mas no fundo
>>>> eles são somente Administradores. a diferencaé  o seguinte: alguem que
>>>> é  somente capaz de trabalhar com seu conhecimento e com seus
>>>> ferramentas, já  sabe muito, mas isso naoè  suficiente para ter
>>>> sucesso. Eleè  de verdade somente um administrador. Pois para ser um
>>>> Líder de verdade ele precisa além disso as competencias social e
>>>> individual.
>>> Vermutlich würde alles wieder gehen, wenn ich das Dokument entfernen
>>> würde, aber das kann ja eigentlich nicht Sinn der Sache sein. In OPUS
>>> 4.2.1 war die Indexierung kein Problem. Woran kann das liegen?
>>>
>>> Viele Grüße aus Aachen
>>> Annegret Baade-Kelishani
>>>
>>>
>>
>

-- 
Sascha Szott :: KOBV/ZIB :: <szott at zib.de> :: +49 30 84185-457