GoobiDigi

Aus Allegro
Wechseln zu: Navigation, Suche
Linux-Befehle u.a. bei http://www.computerhope.com/unix/uls.htm

1 Informationen über goobi.production intranda edition[Bearbeiten | Quelltext bearbeiten]

2 Herunterfahren oder Neustart[Bearbeiten | Quelltext bearbeiten]

shutdown -r now fuer reboot shutdown -h now fuer herunterfahren

möglichst nur Tomcat neu starten, was meist ausreicht

3 Bildstapelkontrolle - was zu tun ist[Bearbeiten | Quelltext bearbeiten]

siehe Bildstapelkontrolle und Korrekturen

4 Neustart Tomcat[Bearbeiten | Quelltext bearbeiten]

siehe Neustart TOMCAT auf Goobidigi

5 parted print all[Bearbeiten | Quelltext bearbeiten]

Nummer  Anfang  Ende    Größe   Typ       Dateisystem     Flags
 1      32,3kB  20,5GB  20,5GB  primary   ext4            boot
 2      20,5GB  21,5GB  938MB   extended
 5      20,5GB  21,5GB  938MB   logical   linux-swap(v1)

6 History der Console leeren[Bearbeiten | Quelltext bearbeiten]

history -c

7 rss feed in Goobi[Bearbeiten | Quelltext bearbeiten]

METS-Updates werden nicht im RSS-Ticker gelistet! Nur Neuanlagen von Vorgängen

8 Dateien in Verzeichnis auflisten[Bearbeiten | Quelltext bearbeiten]

Einspaltig, Datum absteigend sortiert mit allen Angaben:

ls -1 -t -l

Datum aufsteigend sortiert (letzter Eintrag ist der neueste) mit allen Angaben:

ls -1 -t -r -l

9 Dateien in Verzeichnis zählen[Bearbeiten | Quelltext bearbeiten]

/opt/digiverso/viewer/hotfolder# find *anchor.xml -type f | wc -l

9.1 Dateien im Verzeichnisbaum zählen und protokollieren[Bearbeiten | Quelltext bearbeiten]

1. indexer stoppen

2. hotfolder füllen

3. hotfolder dokumentieren

find /opt/digiverso/viewer/hotfolder -name "*" >> /opt/digiverso/hotfolderInhalt-DATUM.txt

4. media "vorher" dokumentieren

find /opt/digiverso/viewer/media -name "*" >> /opt/digiverso/mediaInhalt-DATUM.txt

5. Logdatei "vorher" sichern

mv /opt/digiverso/logs/indexer.log /opt/digiverso/logs/indexer.log-OLD-DATUM

6. indexer starten und Prozessabschluß abwarten

7. indexer stoppen

8. Logdatei "nachher" sichern

cp /opt/digiverso/logs/indexer.log /opt/digiverso/indexerLOG-DATUM.txt

9. media "nachher" dokumentieren

find /opt/digiverso/viewer/media -name "*" >> /opt/digiverso/mediaInhalt-DATUM.txt

10 Thumbs.db im ganze Verzeichnisbaum \metadata\ löschen[Bearbeiten | Quelltext bearbeiten]

find /opt/digiverso/goobi/metadata/ -type f -name "*Thumbs.db*" -delete

11 Verzeichnisgrößen ermitteln[Bearbeiten | Quelltext bearbeiten]

du -h

12 In Laufwerk Q gemountete Verzeichnisse manuell entfernen[Bearbeiten | Quelltext bearbeiten]

Manchmal bleiben gemountete Verzeichnisse wie z.B. stdobe_ZDB1010025678_1928__[6250] im Laufwerk Q: dauerhaft erhalten. Diese Verlinkungen kann man direkt im Linux-System von GoobiDigi löschen. Praktisch ist der Midnight Commander.

/home/[username]/stdobe_ZDB1010025678_1928__[6250] ( zeigt auf /opt/digiverso/goobi/metadata/6250/images )

13 IDs zum Projekt ermitteln mit SQL-Abfrage[Bearbeiten | Quelltext bearbeiten]

intranda@goobidigi:~$ mysql -u goobi -p -D goobi -N --execute="SELECT ProzesseID FROM prozesse WHERE ProjekteID = 4" >> allegroids
Enter password: 
intranda@goobidigi:~$ vim allegroids
intranda@goobidigi:~$ cat allegroids 

Ergebnis ist dann z.B.:
400 3479 3480 3481 3482 3483 3484 3485 774 3486 3471 3464 
3465 3466 3467 3468 3469 781 779 3478 3472 780 3475 [...]

Problem 21.01.2012 siehe Goobi SQL-Abfrage IDs von Projekt

ProjekteID 2 = ReliPaed_Zeitschriften

ProjekteID 3 = Paedagogische_Zeitschriften

ProjekteID 4 = Allegro

ProjekteID 6 = Nachschlagewerke

14 Status der Vorgänge - Excel-Tabelle[Bearbeiten | Quelltext bearbeiten]

Allegro 011 011 078 step1 grün step2 orange step3-9 rot

15 Wieviel Dateien sind bei Tomcat geöffnet?[Bearbeiten | Quelltext bearbeiten]

lsof |grep java |wc -l

16 Installierte Packages[Bearbeiten | Quelltext bearbeiten]

siehe Installierte Packages

17 Prozessfortschritt beobachten[Bearbeiten | Quelltext bearbeiten]

Systemzustand

htop

Prüfen, ob noch URN-Generierskripte laufen

ps aux | grep urn

18 Protokollierung beobachten[Bearbeiten | Quelltext bearbeiten]

18.1 tail[Bearbeiten | Quelltext bearbeiten]

tail -f /var/log/tomcat6/catalina.out

http://www.to-string.com/2012/04/25/how-to-view-live-tomcat-logsoutput-on-linux/

18.2 less[Bearbeiten | Quelltext bearbeiten]

less {en} ist ein Pager zum Anzeigen von (Text-) Dateien auf der Kommandozeile unter Linux. Im Vergleich zu anderen Pagern wie z.B. more hat less mehrere Vorteile. Zum einen kann man sich mit less beliebig durch das Dokument bewegen, also sowohl vorwärts als auch rückwärts. Zum anderen werden schon Dateien angezeigt, auch wenn diese noch nicht komplett in den Speicher geladen wurden, was besonders bei sehr großen Dateien vorteilhaft sein kann. Außerdem hat less einen deutlich größeren Funktionsumfang, der z.B. auch das komfortable Suchen innerhalb eines Dokuments einschließt.

less /var/log/tomcat6/catalina.out
----------------------------------------
Befehle:
G       = Zum Anfang des Dokuments
SHIFT+G = zum Ende des Dokuments

Es kann innerhalb des Dokuments gesucht werden. Dazu drückt man die Slashtaste / und gibt dann den Suchbegriff, der auch ein regulärer Ausdruck sein kann, ein. Mit N (next) wird die Suche vorwärts wiederholt, mit ? + N rückwärts.

Möchte man less beenden, so drückt man einfach Q (quit).

Liegen auf GoobiDigi in /opt/digiverso/logs/

Mit less:

 less /opt/digiverso/logs/Dipf-Allegro-Update.log
 less /opt/digiverso/logs/goobi.log
 less /opt/digiverso/logs/ics.log
 less /opt/digiverso/logs/other.log
 less /opt/digiverso/logs/hotfolder.log

18.3 watch[Bearbeiten | Quelltext bearbeiten]

 watch 'tail -n 40 /opt/digiverso/logs/goobi.log'

19 Verzeichnisse und Dateien im hotfolder löschen[Bearbeiten | Quelltext bearbeiten]

rm -rf arbeer* (z.B. bei arbeere_ZDB027052486_0005_tif etc.)

20 Initialimport von Zeitschriften(bänden)[Bearbeiten | Quelltext bearbeiten]

Export der Zeitschrift aus Allegro:

Register 5 2a4088? 'ENTER' Das ergibt die Ergebnismenge
Register 9 ZDBNUMMER von Stammsatz Elektronische Ressource im Index ansteuern, kein ENTER sondern mit 'ODER' dazu packen
X xmlexp ausführen
Aus der XML-Datei den Stammsatz der Druckausgabe löschen

20.1 Initialimport der SPO-Altdaten[Bearbeiten | Quelltext bearbeiten]

Importdatei in /opt/digiverso/other/dipf/allegroimport/ ablegen
Skript runAllegroImport.sh aufrufen
runAllegroImport.sh > AllegroImport_20120419-0905.log 2>&1

20.2 Initialimport der Nachschlagewerke[Bearbeiten | Quelltext bearbeiten]

Über das GUI mit GoobiScript auf GoobiDigi unter Einbezug von DipfNachschlagInitialImport.jar

21 Updateimport von Vorgängen[Bearbeiten | Quelltext bearbeiten]

Über GUI von GoobiDigi unter Einbezug von DipfAllegroUpdatePlugin.jar, DipfNachschlagUpdatePlugin.jar

Erfolgsmeldung im GUI nach dieser Art:

   Generated process allgscer_ZDB026397595_0047 from volume no 47
   Export finished for allgscer_ZDB026397595_0047.xml

Update von 20131111 mit 148 Datensätzen und 92 beteiligten Bänden mit DipfNachschlagUpdatePlugin.jar ausgeführt. Im Regelsatz digizeit.xml und allegro.xml noch nachgetragen für Illustration in allegro.xml und Illustration in digizeit.xml

<metadata num="1o">CatalogIDAllegro</metadata>

22 Ablage importierte XML-Dateien von Allegro[Bearbeiten | Quelltext bearbeiten]

auf GoobiDigi: /opt/digiverso/goobi/tmp

23 Worflowschritte blockweise setzen bzw. glattziehen[Bearbeiten | Quelltext bearbeiten]

Neu bei Goobi v2.0 intranda edition: Mit Goobi 2.0 wurde nun eine neue Möglichkeit geschaffen, um bequem eine Massenänderung zahlreicher Vorgänge durch gleichzeitige Ausführung mehrerer GoobiScripts zu erlauben. Mehrere GoobiScripts können einfach mit Semikolon getrennt hintereinander aufgeführt und so gemeinsam gestartet werden.

Allegro / Schulprogramme
action:setStepStatus "steptitle:Datenimport" status:3
action:setStepStatus "steptitle:Scannen" status:3
action:setStepStatus "steptitle:Trigger next Task" status:3
action:setStepStatus "steptitle:Automatischer Kopier- und Komprimierschritt" status:3
action:setStepStatus "steptitle:Meta- und Strukturdatenbearbeitung" status:3
action:setStepStatus "steptitle:Imagenachbearbeitung-Korrektur-Endkontrolle" status:3
action:setStepStatus "steptitle:URN-Generierung" status:3
action:setStepStatus "steptitle:Allegro Export" status:3
action:setStepStatus "steptitle:Export in intranda viewer" status:3
action:setStepStatus "steptitle:Bildstapelkontrolle" status:3
action:setStepStatus "steptitle:URN-Export ins Präsentationssystem" status:3
action:setStepStatus "steptitle:Archivierung" status:0
ReliPaed
action:setStepStatus "steptitle:Datenimport" status:3
action:setStepStatus "steptitle:Trigger next Task" status:3
action:setStepStatus "steptitle:Automatischer Kopier- und Tiffheaderschritt" status:3
action:setStepStatus "steptitle:Metadaten" status:3
action:setStepStatus "steptitle:Imagenachbearbeitung-Korrektur-Endkontrolle" status:3
action:setStepStatus "steptitle:URN-Generierung" status:3
action:setStepStatus "steptitle:Allegro Export" status:3
action:setStepStatus "steptitle:Export ins Präsentationssystem" status:3
action:setStepStatus "steptitle:Bildstapelkontrolle" status:3
action:setStepStatus "steptitle:URN-Export ins Präsentationssystem" status:3
action:setStepStatus "steptitle:Archivierung" status:0

(0 - 3 möglich, rot orange gelb grün)

ReliPaed-Workflow

1	Bibliographische Aufnahme-Übernahme aus ZDB	
2	Scanvorbereitung	
3	Scannen-Dienstleister	
4	Einspielen und Qualitätskontrolle	
5	Automatischer Kopier- und Tiffheaderschritt	
6	Metadaten	
7	Imagenachbearbeitung-Korrektur-Endkontrolle
8	URN-Generierung	
9	Allegro Export	
10	Export ins Präsentationssystem	
11	Archivierung

Allegro-Workflow

1	Datenimport
2	Trigger next Task
3	Automatischer Kopier- und Komprimierschritt
4	Meta- und Strukturdatenbearbeitung
5	Imagenachbearbeitung-Korrektur-Endkontrolle
6	URN-Generierung
7	Allegro Export
8	Export in intranda viewer
9	Archivierung

24 Kopier und Tiff-Header-Schritt[Bearbeiten | Quelltext bearbeiten]

Kopiert wird mit rsync. Komprimiert wird mit ImageMagick und dem Werkzeug mogrify und dem Parameter -compress

Allegro
action:runscript "stepname:Automatischer Kopier- und Komprimierschritt" "script:Kopieren"
action:runscript "stepname:Automatischer Kopier- und Komprimierschritt" "script:Komprimieren"
ReliPaed (Intranda-Ticket-1619)
action:runscript "stepname:Automatischer Kopier- und Tiffheaderschritt" "script:Kopieren"
action:runscript "stepname:Automatischer Kopier- und Tiffheaderschritt" "script:Komprimieren"

25 URN generieren[Bearbeiten | Quelltext bearbeiten]

Über das Web frontend:

action:runscript "stepname:URN-Generierung" "script:URN"

Über die Console:

1. root-Rechte mit sudo su

2. Wechsel in das Verzeichnis /opt/digiverso/goobi/metadata

25.1 Allgero, Nachschlagewerke[Bearbeiten | Quelltext bearbeiten]

./generateUrnAllegro.sh goobiids.txt > urngenerateAllegro.log 2>&1

25.2 ReliPäd[Bearbeiten | Quelltext bearbeiten]

./generateUrnRelipaed.sh goobiids.txt > urngenerateRelipaed.log 2>&1
///benutzt Regelsatz allegro.xml///

25.3 Paedagogische_Zeitschriften[Bearbeiten | Quelltext bearbeiten]

./generateUrnDigiZeit.sh goobiids.txt > urngenerateDigiZeit.log 2>&1

Für Logausgabe der Skripts siehe knowhow bei http://www.thomashertweck.de/redir.html

26 AllegroExport durchführen[Bearbeiten | Quelltext bearbeiten]

Web-Oberfläche

Startet nacheinander alle Skripte am Schritt Allegro Export:

action:runscript "stepname:Allegro Export"

Startet nur das Skript AllegroExport am Schritt Allegro Export.

action:runscript "stepname:Allegro Export" "script:AllegroExport"

Zu beachten ist hierbei, das am Ende der Zeile kein Enter, Leerzeichen o.ä. vorkommen darf.

Man kann bei Goobiscript immer die Möglichkeit, es auf die gerade angezeigten Vorgänge (Treffer dieser Seite), auf alle aktuell gefilterten Vorgänge (Gesamtes Trefferset) oder auf ausgewählte Vorgänge (Auswahl - nur bei aktiven Auswahlboxen) anwenden.

Shell-Skript

26.1 Allegro[Bearbeiten | Quelltext bearbeiten]

./exportAllegro.sh goobiids.txt > exportAllegro-2013.log 2>&1
/usr/bin/java -jar /opt/digiverso/other/dipf/bin/DIPFAllegroExport.jar -m /opt/digiverso/goobi/metadata/3781/meta.xml -p /opt/digiverso/goobi/rulesets/allegro.xml

26.2 Allegro Regelsatz BBFSPO[Bearbeiten | Quelltext bearbeiten]

./exportBBFSPO.sh goobiids.txt > exportBBFSPO-2014.log 2>&1
/usr/bin/java -jar /opt/digiverso/other/dipf/bin/DIPFAllegroExport.jar -m /opt/digiverso/goobi/metadata/3781/meta.xml -p /opt/digiverso/goobi/rulesets/bbfspo.xml

26.3 Nachschlagewerke[Bearbeiten | Quelltext bearbeiten]

/usr/bin/java -jar /opt/digiverso/other/dipf/bin/DIPFNachschlagExport.jar -m /opt/digiverso/goobi/metadata/3582/meta.xml -p /opt/digiverso/goobi/rulesets/allegro.xml > /home/wuensch/Allegro/export/exportNachschlag_3582.log 2>&1

Anschließend Verfahrensauswahl, wie in GoToALUp.bat angegeben.

26.4 ReliPäd[Bearbeiten | Quelltext bearbeiten]

./exportReliPaed.sh goobiids.txt > exportReliPaed-2013.log 2>&1
  • Paedagogische_Zeitschriften
./exportDigiZeit.sh goobiids.txt > exportDigiZeit-2013-.log 2>&1

27 Export in DMS und Solr anhalten wegen timesouts[Bearbeiten | Quelltext bearbeiten]

Info vom 30.05.2013 von Jan Tönjes für den GoobiWeb bei Hetzner:

Die Befehle zum starten und stoppen des Indexers die Du benutzen kannst lauten:

  • sudo service solrIndexer start
  • sudo service solrIndexer stop

Ich wuerde es jedoch gerne einmal probieren ohne den solrIndexer zu stoppen.

Der Weg ist nun wie folgt:

Ihr exportiert in Goobi einen Vorgang in den Hotfolder auf goobidigi. Alle 5 Minuten wird auf dem goobidigi Server automatisch ein Skript aufgerufen, das ueberprueft, ob eine mindestens 10 Minuten alte XML Datei im Hotfolder liegt. Ist dieses der Fall kopiert es die dazugehoerigen Bilder erst, oder wenn nur die METS-Datei exportiert wurde auf den neuen goobiweb Server. Auf dem goobiweb Server laeuft der solrIndexer wie gewohnt. Einziger unterschied ist, dass er nicht mehr jede Sekunde den Hotfolder ueberprueft sondern einmal pro Minute. Die Zeiten wurden erhoeht, um die Fehlertoleranzschwellen entsprechend gross zu machen.

Eigentlich sollte es dadurch moeglich sein etwas aus Goobi zu exportieren und es kommt im intranda viewer an, ohne, dass der solrIndexer vorher manuell gestoppt werden muss.

Das Skript was auf dem Goobidigi Server aufgerufen wird liegt uebrigens unter:

/opt/digiverso/other/dipf/viewerexport/transferToExternalFolder.sh

Bitte beachte beim stoppen und starten des solrIndexers den neuen Timeout von 60 Sekunden. Es kann ein wenig dauern, bis sich der solrIndexer erfolgreich heruntergefahren hat. Mit dem Befehl ind kannst Du Dir die logdatei anschauen. Wenn dort "Shutdown trigger file detected, shutting down..." steht ist er aus. Erst dann sollte er wieder gestartet werden. Den Befehl ind kannst Du mit der Tastenkombination "STRG+c" beenden.

27.1 Ältere Hinweise=[Bearbeiten | Quelltext bearbeiten]

Auf GoobiWeb ausführen:

Stop
/etc/init.d/solrIndexer stop 
Start
/etc/init.d/solrIndexer start
Statusabfrage
 /etc/init.d/solrIndexer status

28 Genauere Anleitung =[Bearbeiten | Quelltext bearbeiten]

Der solrindexer wird mit den unten beschriebenen Befehlen gestartet und gestoppt. Ob er laeuft, kannst Du als root mit dem Befehl:

  ind

nachschauen. Da siehst Du die Ausgabe der indexer Logdatei immer unten angefuegt. Wenn er aus ist, sollte dort sowas stehen wie "Shutting down indexer" und wenn er wieder hochgefahren wurde, sowas wie "Monitoring hotfolder.

Ob der Prozess wirklich laeuft, kannst Du mit dem Befehl:

  ps aux | grep solrIndexer

rausfinden. Da muesste er Dir einen Prozess sagen.

Wenn der solrIndexer sagt: ich habe gestartet, und dann in der Logfile steht, dass er wieder ausgestellt wurde, musst die den folgenden Befehl ausfuehren:

  /etc/init.d/solrIndexer rempid

und dann noch einmal starten mit:

  /etc/init.d/solrIndexer start

29 Export in DMS - nur METS-Update, keine Bilder erneut exportieren[Bearbeiten | Quelltext bearbeiten]

Skript für gewählte Vorgänge aufrufen:

action:exportDms exportImages:false
action:exportDms exportImages:true

Problem exportDms

30 Hyperlink zur Zeitschrift in GoobiWeb[Bearbeiten | Quelltext bearbeiten]

Stets nur die IDN austauschen

GoobiWeb: http://goobiweb.bbf.dipf.de/viewer/toc/ZDB985862513/0/LOG_0000/

31 Workflow nach Änderung in Goobi[Bearbeiten | Quelltext bearbeiten]

  • Metadateneditor
  • ggf. den Band bzw. die Bände im Workflow auf die Stufe Metadatenedition zurück stellen, wenn die Arbeitssitzung nicht in einem Stück durchgeführt wird. Um ganz genau zu sein, müssten die Schritt URN und AllegroExport ebenfalls auf "offen" zurück gestellt werden.
bei neuen Elementen im Band
Treffersetz auf den Band setzen
URN-Generierung des Bandes
AllegroExport des Bandes
DMS-Export des Bandes
Exportdatei in Allegro importieren

--------------------------

bei etlichen in mehreren Bänden
Treffersetz auf die Bände oder die Zeitschrift setzen
URN-Generierung der Bände
AllegroExport der Bände
DMS-Export der Bände
Ablage der Exportdateien nach Verzeichnis:_ - - - - _
Exportdateien in Allegro importieren

32 Workflow nach Änderung in Allegro[Bearbeiten | Quelltext bearbeiten]

  • Export korrigierte Datensätze aus Allegro pro Zeitschrift in eine XML-Datei Anleitung ZZ digitkor
  • Dateiupload-Import über die Produktionsvorlage des jeweiligen Projekts durchführen
  • Export der geänderten Daten in den Viewer
Bei Zeitschrift mit...
...vielen Bänden
in XML-Datei die beteiligten Bände herausfinden
<feld nr="8z" lb="Speicheradresse">09</feld> dazu benutzen. Diese Bandangabe ist identisch mit der Bandzählung im Vorgangstitel ethikur_ZDB12345678_0009. Außerdem mit führender Null. Damit besteht mit Textpad die Sortiermöglichkeit. (Markiere alle Zeilen mit "8z", Kopiere markierte Zeilen in ein neues Fenster. Sortiere die Zeilen. Damit haben wir alle betroffenen Bände aufsteigend dokumentiert.
zu Bandnummer die Goobi-ID finden
Trefferset mit den Bänden "idin:678 679 2134 2135" setzen
DMSUpdate mit "action:exportDms exportImages:false" (99 Datensätze in 17 Bänden geändert, 4.114 Datensätze in den 17 Bänden müssen ins DMS Das kann bis zu einer Stunde oder etwa länger dauern"

-----------------------

...mit wenigen Bänden
Trefferset der gesamten Zeitschrift setzen
DMSUpdate mit "action:exportDms exportImages:false"

33 Benutzerkonten für den Goobi-Workflow[Bearbeiten | Quelltext bearbeiten]

  • wuensch
  • lautenschlaeger
  • mik-center