GoobiDigi

• gehe auch zu GoobiWeb
• Shell: bash
• Installiert Midnight Commander in UTF-8-Codierung

Linux-Befehle u.a. bei http://www.computerhope.com/unix/uls.htm

• siehe auch Technische Dokumentation GoobiAllegro

1 Informationen über goobi.production intranda edition

• 20140709 Intranda_Goobi_v2.0_Änderungen_20140709.pdf

2 Herunterfahren oder Neustart

shutdown -r now fuer reboot shutdown -h now fuer herunterfahren

möglichst nur Tomcat neu starten, was meist ausreicht

3 Bildstapelkontrolle - was zu tun ist

siehe Bildstapelkontrolle und Korrekturen

4 Neustart Tomcat

siehe Neustart TOMCAT auf Goobidigi

5 parted print all

Nummer  Anfang  Ende    Größe   Typ       Dateisystem     Flags
 1      32,3kB  20,5GB  20,5GB  primary   ext4            boot
 2      20,5GB  21,5GB  938MB   extended
 5      20,5GB  21,5GB  938MB   logical   linux-swap(v1)

6 History der Console leeren

history -c

7 rss feed in Goobi

METS-Updates werden nicht im RSS-Ticker gelistet! Nur Neuanlagen von Vorgängen

8 Dateien in Verzeichnis auflisten

Einspaltig, Datum absteigend sortiert mit allen Angaben:

ls -1 -t -l

Datum aufsteigend sortiert (letzter Eintrag ist der neueste) mit allen Angaben:

ls -1 -t -r -l

9 Dateien in Verzeichnis zählen

/opt/digiverso/viewer/hotfolder# find *anchor.xml -type f | wc -l

• Quelle: http://www.bimminger.at/content/bereich/tips_linux/work_tipp_linux_datei_anzahl.html

9.1 Dateien im Verzeichnisbaum zählen und protokollieren

1. indexer stoppen

2. hotfolder füllen

3. hotfolder dokumentieren

find /opt/digiverso/viewer/hotfolder -name "*" >> /opt/digiverso/hotfolderInhalt-DATUM.txt

4. media "vorher" dokumentieren

find /opt/digiverso/viewer/media -name "*" >> /opt/digiverso/mediaInhalt-DATUM.txt

5. Logdatei "vorher" sichern

mv /opt/digiverso/logs/indexer.log /opt/digiverso/logs/indexer.log-OLD-DATUM

6. indexer starten und Prozessabschluß abwarten

7. indexer stoppen

8. Logdatei "nachher" sichern

cp /opt/digiverso/logs/indexer.log /opt/digiverso/indexerLOG-DATUM.txt

9. media "nachher" dokumentieren

find /opt/digiverso/viewer/media -name "*" >> /opt/digiverso/mediaInhalt-DATUM.txt

10 Thumbs.db im ganze Verzeichnisbaum \metadata\ löschen

find /opt/digiverso/goobi/metadata/ -type f -name "*Thumbs.db*" -delete

11 Verzeichnisgrößen ermitteln

• http://de.wikipedia.org/wiki/Du_%28Unix%29

du -h

12 In Laufwerk Q gemountete Verzeichnisse manuell entfernen

Manchmal bleiben gemountete Verzeichnisse wie z.B. stdobe_ZDB1010025678_1928__[6250] im Laufwerk Q: dauerhaft erhalten. Diese Verlinkungen kann man direkt im Linux-System von GoobiDigi löschen. Praktisch ist der Midnight Commander.

/home/[username]/stdobe_ZDB1010025678_1928__[6250] ( zeigt auf /opt/digiverso/goobi/metadata/6250/images )

13 IDs zum Projekt ermitteln mit SQL-Abfrage

intranda@goobidigi:~$ mysql -u goobi -p -D goobi -N --execute="SELECT ProzesseID FROM prozesse WHERE ProjekteID = 4" >> allegroids
Enter password: 
intranda@goobidigi:~$ vim allegroids
intranda@goobidigi:~$ cat allegroids 

Ergebnis ist dann z.B.:
400 3479 3480 3481 3482 3483 3484 3485 774 3486 3471 3464 
3465 3466 3467 3468 3469 781 779 3478 3472 780 3475 [...]

Problem 21.01.2012 siehe Goobi SQL-Abfrage IDs von Projekt

ProjekteID 2 = ReliPaed_Zeitschriften

ProjekteID 3 = Paedagogische_Zeitschriften

ProjekteID 4 = Allegro

ProjekteID 6 = Nachschlagewerke

14 Status der Vorgänge - Excel-Tabelle

Allegro 011 011 078 step1 grün step2 orange step3-9 rot

15 Wieviel Dateien sind bei Tomcat geöffnet?

lsof |grep java |wc -l

16 Installierte Packages

siehe Installierte Packages

17 Prozessfortschritt beobachten

Systemzustand

htop

Prüfen, ob noch URN-Generierskripte laufen

ps aux | grep urn

18 Protokollierung beobachten

18.1 tail

tail -f /var/log/tomcat6/catalina.out

http://www.to-string.com/2012/04/25/how-to-view-live-tomcat-logsoutput-on-linux/

18.2 less

less {en} ist ein Pager zum Anzeigen von (Text-) Dateien auf der Kommandozeile unter Linux. Im Vergleich zu anderen Pagern wie z.B. more hat less mehrere Vorteile. Zum einen kann man sich mit less beliebig durch das Dokument bewegen, also sowohl vorwärts als auch rückwärts. Zum anderen werden schon Dateien angezeigt, auch wenn diese noch nicht komplett in den Speicher geladen wurden, was besonders bei sehr großen Dateien vorteilhaft sein kann. Außerdem hat less einen deutlich größeren Funktionsumfang, der z.B. auch das komfortable Suchen innerhalb eines Dokuments einschließt.

less /var/log/tomcat6/catalina.out
----------------------------------------
Befehle:
G       = Zum Anfang des Dokuments
SHIFT+G = zum Ende des Dokuments

Es kann innerhalb des Dokuments gesucht werden. Dazu drückt man die Slashtaste / und gibt dann den Suchbegriff, der auch ein regulärer Ausdruck sein kann, ein. Mit N (next) wird die Suche vorwärts wiederholt, mit ? + N rückwärts.

Möchte man less beenden, so drückt man einfach Q (quit).

Liegen auf GoobiDigi in /opt/digiverso/logs/

Mit less:

 less /opt/digiverso/logs/Dipf-Allegro-Update.log
 less /opt/digiverso/logs/goobi.log
 less /opt/digiverso/logs/ics.log
 less /opt/digiverso/logs/other.log
 less /opt/digiverso/logs/hotfolder.log

18.3 watch

 watch 'tail -n 40 /opt/digiverso/logs/goobi.log'

19 Verzeichnisse und Dateien im hotfolder löschen

rm -rf arbeer* (z.B. bei arbeere_ZDB027052486_0005_tif etc.)

20 Initialimport von Zeitschriften(bänden)

Export der Zeitschrift aus Allegro:

Register 5 2a4088? 'ENTER' Das ergibt die Ergebnismenge

Register 9 ZDBNUMMER von Stammsatz Elektronische Ressource im Index ansteuern, kein ENTER sondern mit 'ODER' dazu packen

X xmlexp ausführen

Aus der XML-Datei den Stammsatz der Druckausgabe löschen

20.1 Initialimport der SPO-Altdaten

Importdatei in /opt/digiverso/other/dipf/allegroimport/ ablegen

Skript runAllegroImport.sh aufrufen

runAllegroImport.sh > AllegroImport_20120419-0905.log 2>&1

20.2 Initialimport der Nachschlagewerke

Über das GUI mit GoobiScript auf GoobiDigi unter Einbezug von DipfNachschlagInitialImport.jar

21 Updateimport von Vorgängen

Über GUI von GoobiDigi unter Einbezug von DipfAllegroUpdatePlugin.jar, DipfNachschlagUpdatePlugin.jar

Erfolgsmeldung im GUI nach dieser Art:

   Generated process allgscer_ZDB026397595_0047 from volume no 47
   Export finished for allgscer_ZDB026397595_0047.xml

Update von 20131111 mit 148 Datensätzen und 92 beteiligten Bänden mit DipfNachschlagUpdatePlugin.jar ausgeführt. Im Regelsatz digizeit.xml und allegro.xml noch nachgetragen für Illustration in allegro.xml und Illustration in digizeit.xml

<metadata num="1o">CatalogIDAllegro</metadata>

22 Ablage importierte XML-Dateien von Allegro

auf GoobiDigi: /opt/digiverso/goobi/tmp

23 Worflowschritte blockweise setzen bzw. glattziehen

Neu bei Goobi v2.0 intranda edition: Mit Goobi 2.0 wurde nun eine neue Möglichkeit geschaffen, um bequem eine Massenänderung zahlreicher Vorgänge durch gleichzeitige Ausführung mehrerer GoobiScripts zu erlauben. Mehrere GoobiScripts können einfach mit Semikolon getrennt hintereinander aufgeführt und so gemeinsam gestartet werden.

Allegro / Schulprogramme

action:setStepStatus "steptitle:Datenimport" status:3
action:setStepStatus "steptitle:Scannen" status:3
action:setStepStatus "steptitle:Trigger next Task" status:3
action:setStepStatus "steptitle:Automatischer Kopier- und Komprimierschritt" status:3
action:setStepStatus "steptitle:Meta- und Strukturdatenbearbeitung" status:3
action:setStepStatus "steptitle:Imagenachbearbeitung-Korrektur-Endkontrolle" status:3
action:setStepStatus "steptitle:URN-Generierung" status:3
action:setStepStatus "steptitle:Allegro Export" status:3
action:setStepStatus "steptitle:Export in intranda viewer" status:3
action:setStepStatus "steptitle:Bildstapelkontrolle" status:3
action:setStepStatus "steptitle:URN-Export ins Präsentationssystem" status:3
action:setStepStatus "steptitle:Archivierung" status:0

ReliPaed

action:setStepStatus "steptitle:Datenimport" status:3
action:setStepStatus "steptitle:Trigger next Task" status:3
action:setStepStatus "steptitle:Automatischer Kopier- und Tiffheaderschritt" status:3
action:setStepStatus "steptitle:Metadaten" status:3
action:setStepStatus "steptitle:Imagenachbearbeitung-Korrektur-Endkontrolle" status:3
action:setStepStatus "steptitle:URN-Generierung" status:3
action:setStepStatus "steptitle:Allegro Export" status:3
action:setStepStatus "steptitle:Export ins Präsentationssystem" status:3
action:setStepStatus "steptitle:Bildstapelkontrolle" status:3
action:setStepStatus "steptitle:URN-Export ins Präsentationssystem" status:3
action:setStepStatus "steptitle:Archivierung" status:0

(0 - 3 möglich, rot orange gelb grün)

ReliPaed-Workflow

1	Bibliographische Aufnahme-Übernahme aus ZDB	
2	Scanvorbereitung	
3	Scannen-Dienstleister	
4	Einspielen und Qualitätskontrolle	
5	Automatischer Kopier- und Tiffheaderschritt	
6	Metadaten	
7	Imagenachbearbeitung-Korrektur-Endkontrolle
8	URN-Generierung	
9	Allegro Export	
10	Export ins Präsentationssystem	
11	Archivierung

Allegro-Workflow

1	Datenimport
2	Trigger next Task
3	Automatischer Kopier- und Komprimierschritt
4	Meta- und Strukturdatenbearbeitung
5	Imagenachbearbeitung-Korrektur-Endkontrolle
6	URN-Generierung
7	Allegro Export
8	Export in intranda viewer
9	Archivierung

24 Kopier und Tiff-Header-Schritt

Kopiert wird mit rsync. Komprimiert wird mit ImageMagick und dem Werkzeug mogrify und dem Parameter -compress

Allegro

action:runscript "stepname:Automatischer Kopier- und Komprimierschritt" "script:Kopieren"
action:runscript "stepname:Automatischer Kopier- und Komprimierschritt" "script:Komprimieren"

ReliPaed (Intranda-Ticket-1619)

action:runscript "stepname:Automatischer Kopier- und Tiffheaderschritt" "script:Kopieren"
action:runscript "stepname:Automatischer Kopier- und Tiffheaderschritt" "script:Komprimieren"

25 URN generieren

Über das Web frontend:

action:runscript "stepname:URN-Generierung" "script:URN"

Über die Console:

1. root-Rechte mit sudo su

2. Wechsel in das Verzeichnis /opt/digiverso/goobi/metadata

25.1 Allgero, Nachschlagewerke

./generateUrnAllegro.sh goobiids.txt > urngenerateAllegro.log 2>&1

25.2 ReliPäd

./generateUrnRelipaed.sh goobiids.txt > urngenerateRelipaed.log 2>&1
///benutzt Regelsatz allegro.xml///

25.3 Paedagogische_Zeitschriften

./generateUrnDigiZeit.sh goobiids.txt > urngenerateDigiZeit.log 2>&1

Für Logausgabe der Skripts siehe knowhow bei http://www.thomashertweck.de/redir.html

26 AllegroExport durchführen

Web-Oberfläche

Startet nacheinander alle Skripte am Schritt Allegro Export:

action:runscript "stepname:Allegro Export"

Startet nur das Skript AllegroExport am Schritt Allegro Export.

action:runscript "stepname:Allegro Export" "script:AllegroExport"

Zu beachten ist hierbei, das am Ende der Zeile kein Enter, Leerzeichen o.ä. vorkommen darf.

Man kann bei Goobiscript immer die Möglichkeit, es auf die gerade angezeigten Vorgänge (Treffer dieser Seite), auf alle aktuell gefilterten Vorgänge (Gesamtes Trefferset) oder auf ausgewählte Vorgänge (Auswahl - nur bei aktiven Auswahlboxen) anwenden.

Shell-Skript

26.1 Allegro

./exportAllegro.sh goobiids.txt > exportAllegro-2013.log 2>&1
/usr/bin/java -jar /opt/digiverso/other/dipf/bin/DIPFAllegroExport.jar -m /opt/digiverso/goobi/metadata/3781/meta.xml -p /opt/digiverso/goobi/rulesets/allegro.xml

26.2 Allegro Regelsatz BBFSPO

./exportBBFSPO.sh goobiids.txt > exportBBFSPO-2014.log 2>&1
/usr/bin/java -jar /opt/digiverso/other/dipf/bin/DIPFAllegroExport.jar -m /opt/digiverso/goobi/metadata/3781/meta.xml -p /opt/digiverso/goobi/rulesets/bbfspo.xml

26.3 Nachschlagewerke

/usr/bin/java -jar /opt/digiverso/other/dipf/bin/DIPFNachschlagExport.jar -m /opt/digiverso/goobi/metadata/3582/meta.xml -p /opt/digiverso/goobi/rulesets/allegro.xml > /home/wuensch/Allegro/export/exportNachschlag_3582.log 2>&1

Anschließend Verfahrensauswahl, wie in GoToALUp.bat angegeben.

26.4 ReliPäd

./exportReliPaed.sh goobiids.txt > exportReliPaed-2013.log 2>&1

• Paedagogische_Zeitschriften

./exportDigiZeit.sh goobiids.txt > exportDigiZeit-2013-.log 2>&1

27 Export in DMS und Solr anhalten wegen timesouts

Info vom 30.05.2013 von Jan Tönjes für den GoobiWeb bei Hetzner:

Die Befehle zum starten und stoppen des Indexers die Du benutzen kannst lauten:

• sudo service solrIndexer start
• sudo service solrIndexer stop

Ich wuerde es jedoch gerne einmal probieren ohne den solrIndexer zu stoppen.

Der Weg ist nun wie folgt:

Ihr exportiert in Goobi einen Vorgang in den Hotfolder auf goobidigi. Alle 5 Minuten wird auf dem goobidigi Server automatisch ein Skript aufgerufen, das ueberprueft, ob eine mindestens 10 Minuten alte XML Datei im Hotfolder liegt. Ist dieses der Fall kopiert es die dazugehoerigen Bilder erst, oder wenn nur die METS-Datei exportiert wurde auf den neuen goobiweb Server. Auf dem goobiweb Server laeuft der solrIndexer wie gewohnt. Einziger unterschied ist, dass er nicht mehr jede Sekunde den Hotfolder ueberprueft sondern einmal pro Minute. Die Zeiten wurden erhoeht, um die Fehlertoleranzschwellen entsprechend gross zu machen.

Eigentlich sollte es dadurch moeglich sein etwas aus Goobi zu exportieren und es kommt im intranda viewer an, ohne, dass der solrIndexer vorher manuell gestoppt werden muss.

Das Skript was auf dem Goobidigi Server aufgerufen wird liegt uebrigens unter:

/opt/digiverso/other/dipf/viewerexport/transferToExternalFolder.sh

Bitte beachte beim stoppen und starten des solrIndexers den neuen Timeout von 60 Sekunden. Es kann ein wenig dauern, bis sich der solrIndexer erfolgreich heruntergefahren hat. Mit dem Befehl ind kannst Du Dir die logdatei anschauen. Wenn dort "Shutdown trigger file detected, shutting down..." steht ist er aus. Erst dann sollte er wieder gestartet werden. Den Befehl ind kannst Du mit der Tastenkombination "STRG+c" beenden.

27.1 Ältere Hinweise=

Auf GoobiWeb ausführen:

Stop

/etc/init.d/solrIndexer stop 

Start

/etc/init.d/solrIndexer start

Statusabfrage

 /etc/init.d/solrIndexer status

28 Genauere Anleitung =

Der solrindexer wird mit den unten beschriebenen Befehlen gestartet und gestoppt. Ob er laeuft, kannst Du als root mit dem Befehl:

  ind

nachschauen. Da siehst Du die Ausgabe der indexer Logdatei immer unten angefuegt. Wenn er aus ist, sollte dort sowas stehen wie "Shutting down indexer" und wenn er wieder hochgefahren wurde, sowas wie "Monitoring hotfolder.

Ob der Prozess wirklich laeuft, kannst Du mit dem Befehl:

  ps aux | grep solrIndexer

rausfinden. Da muesste er Dir einen Prozess sagen.

Wenn der solrIndexer sagt: ich habe gestartet, und dann in der Logfile steht, dass er wieder ausgestellt wurde, musst die den folgenden Befehl ausfuehren:

  /etc/init.d/solrIndexer rempid

und dann noch einmal starten mit:

  /etc/init.d/solrIndexer start

29 Export in DMS - nur METS-Update, keine Bilder erneut exportieren

Skript für gewählte Vorgänge aufrufen:

action:exportDms exportImages:false
action:exportDms exportImages:true

Problem exportDms

30 Hyperlink zur Zeitschrift in GoobiWeb

Stets nur die IDN austauschen

GoobiWeb: http://goobiweb.bbf.dipf.de/viewer/toc/ZDB985862513/0/LOG_0000/

31 Workflow nach Änderung in Goobi

• Metadateneditor
• ggf. den Band bzw. die Bände im Workflow auf die Stufe Metadatenedition zurück stellen, wenn die Arbeitssitzung nicht in einem Stück durchgeführt wird. Um ganz genau zu sein, müssten die Schritt URN und AllegroExport ebenfalls auf "offen" zurück gestellt werden.

bei neuen Elementen im Band

Treffersetz auf den Band setzen

URN-Generierung des Bandes

AllegroExport des Bandes

DMS-Export des Bandes

Exportdatei in Allegro importieren

--------------------------

bei etlichen in mehreren Bänden

Treffersetz auf die Bände oder die Zeitschrift setzen

URN-Generierung der Bände

AllegroExport der Bände

DMS-Export der Bände

Ablage der Exportdateien nach Verzeichnis:_ - - - - _

Exportdateien in Allegro importieren

32 Workflow nach Änderung in Allegro

• Export korrigierte Datensätze aus Allegro pro Zeitschrift in eine XML-Datei Anleitung ZZ digitkor
• Dateiupload-Import über die Produktionsvorlage des jeweiligen Projekts durchführen
• Export der geänderten Daten in den Viewer

Bei Zeitschrift mit...

...vielen Bänden

in XML-Datei die beteiligten Bände herausfinden

<feld nr="8z" lb="Speicheradresse">09</feld> dazu benutzen. Diese Bandangabe ist identisch mit der Bandzählung im Vorgangstitel ethikur_ZDB12345678_0009. Außerdem mit führender Null. Damit besteht mit Textpad die Sortiermöglichkeit. (Markiere alle Zeilen mit "8z", Kopiere markierte Zeilen in ein neues Fenster. Sortiere die Zeilen. Damit haben wir alle betroffenen Bände aufsteigend dokumentiert.

zu Bandnummer die Goobi-ID finden

Trefferset mit den Bänden "idin:678 679 2134 2135" setzen

DMSUpdate mit "action:exportDms exportImages:false" (99 Datensätze in 17 Bänden geändert, 4.114 Datensätze in den 17 Bänden müssen ins DMS Das kann bis zu einer Stunde oder etwa länger dauern"

-----------------------

...mit wenigen Bänden

Trefferset der gesamten Zeitschrift setzen

DMSUpdate mit "action:exportDms exportImages:false"

• Markierung der Zeitschrift nach der Migration in den Viewer in Zeitschriften_XML_Export-Liste

33 Benutzerkonten für den Goobi-Workflow

• wuensch
• lautenschlaeger
• mik-center