Betrieb
Indizierungs- und Suchlogs
Copyright ©
Mindbreeze GmbH, A-4020 Linz, .
Alle Rechte vorbehalten. Alle verwendeten Hard- und Softwarenamen sind Handelsnamen und/oder Marken der jeweiligen Hersteller.
Diese Unterlagen sind streng vertraulich. Durch die Übermittlung und Präsentation dieser Unterlagen alleine werden keine Rechte an unserer Software, an unseren Dienstleistungen und Dienstleistungsresultaten oder sonstigen geschützten Rechten begründet. Die Weitergabe, Veröffentlichung oder Vervielfältigung ist nicht gestattet.
Aus Gründen der einfacheren Lesbarkeit wird auf die geschlechtsspezifische Differenzierung, z.B. Benutzer/-innen, verzichtet. Entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich für beide Geschlechter.
Log Dateien
Das Verzeichnis für die Mindbreeze Enterprise Search Services Log Dateien kann in „Advanced Settings“ konfiguriert werden.
Per Default ist es unter Linux „/var/opt/mindbreeze/log“ und unter Windows „c:/Users/<service user>/App Data/Local/Temp“ eingetragen. Im folgenden Kapiteln wird dieses Verzeichnis als „Log Directory“ bezeichnet.
Client Service Log Dateien
Die Client Service Log Dateien befinden sich im „Log Directory/log-mesclientservice-<client-port>“ Verzeichnis, wo für jeden Neustart ein Unterverzeichnis mit dem entsprechenden Zeitstempel angelegt wird.
Query Service Log Dateien
Die Query Service Log Dateien liegen unter „Log Directory/log-mesindex<index path>“ mit Unterverzeichnissen für jeden neuen Start. Relevante Query Service Log Dateien sind:
- log-mesindex.log
- performance-findservlet.csv
Folgende Spalten der „performance-findservlet.csv“ Datei haben eine wesentliche Rolle bei der Analyse von Suchanfragen.
- Starting Timestamp: Start Zeitpunkt
- Query: Beinhaltet der Suchbegriff
- Authorized Hit Count: Die Anzahl von autorisierte Dokumente
- Rejected Hit Count: Die Anzahl von nicht autorisierte Dokumente
Die Autorisierung und Kontextualisierung als Teil des Query Services wird in separaten Prozessen durchgeführt. Die Log Dateien liegen unter „Log Directory/log-messdkjavasandbox-bootstrapped-<query-port>“, „Log Directory/log-messdkcsandbox-<query-port>“ oder in der „Log Directory/log-messdknetsandbox-<query-port>.txt Datei je nach der Implementierung (Java, C oder .NET)
Crawler Log Dateien
Die Crawler Logs liegen im „Log Directory/log-mescrawler-launchedservice-<Category>_<Source Name>“ Verzeichnis.
Microsoft Exchange 2010
log-mescrawler_launchedservice_Microsoft_Exchange_<Source Name>.log beinhaltet sämtliche Informationen wie: Start Zeitpunkt, gefundene Mailboxen (AD), Crawler Status Fetch, Zeitpunkt wann eine Mailbox fertig durchsucht ist und End Zeitpunkt mit den gesammelten Statistiken über die gesamte Anzahl von gefundenen, indizierten und gelöschten Dokumenten.
Es werden zusätzlich CSV Log Dateien generiert. Die Namen der CSV Log Dateien entsprechen dem zugehörigen „Crawl Run“ bzw. „Scope“. Folgende Dateien habe eine wesentliche Rolle bei der Analyse von Delta-Indizierungen:
per-folder-finditems-<crawlrun>_<scope>.csv: Beinhaltet die Informationen aller gefundenen Ordner der Postfächer, die im Zeitbereich (scope) erstellt oder geändert worden sind. Die wichtigsten Spalten sind:
- Timestamp: Start Zeitpunkt
- Mailbox: Email Adresse
- Path: Pfad von Ordner <mailbox>/ordner/unterordner/…
- PerFolderFoundItemsSize: Anzahl von gefundene Items die neue erstellt oder geändert sind.
mindbreeze-dispatcher-<crawlrun>_<scope>.csv: Alle Dokumente bzw. Emails die an das Filter Service gesendet worden sind. Die wichtigsten Spalten sind:
- Timestamp: Start Zeitpunkt
- Key:
- Mailbox: Email Adresse
- Folder: Der Ordner wo dieser Email sich befindet
Filesystem
„Log Directory/log-mesfscrawler_<indexpath>.log“ beinhaltet sämtliche Informationen die von Filesystem Crawler generiert werden.
Filter Service Log Dateien
Die Filter Service Log Dateien befinden sich im „Log Directory/log-mesfilterservice-<port>“ Verzeichnis. Die statistic-filter-rpc.csv Datei gibt z.B. Information über verwendete Filter Plugin, Datei Endungen und mögliche Fehler beim Filtern. Die wichtigsten Spalten sind:
- Timestamp: Start Zeitpunkt
- Extension: Datei Endung
- Used Filter ID: Filter Plugin
- Internal Exception: mögliche Fehler
Das tatsächliche Filtern passiert in separaten Prozessen. Je nach Implementierung des Filter Plugins (Java, C oder .NET) werden die „Log Directory/log-messdkjavasandbox2-Filter@<port>“, „Log Directory/log-messdkcsandbox2-Filter@<port>“ Verzeichnisse oder „Log Directory/log-messdknetsandbox-<port>.txt“ Datei generiert.
Index Service Log Dateien
Die Index Service Log Dateien liegen im „Log Directory/log-mesindex<index path>“ Verzeichnis. Alle Informationen bzgl. des Zustands der Indizierung (Invertieren, Mergen und Announcen) befindet sich in der log-mesindex.log Datei.
performance-servlet-mes3_indexeddocuments.csv gibt Auskunft über die Anzahl von Dokumenten die vom Index Service erreicht wurden.
performance-servlet-mes3_deletedocuments.csv gibt Auskunft über die Anzahl von Dokumenten die aus dem Index gelöscht worden sind.
performance-servlet-mes3_updatedocuments.csv gibt Auskunft über die Anzahl von Dokumenten die im Index aktualisiert worden sind.
Thread Dumps
Um Informationen über den aktuellen Zustand eines Prozesses zu erhalten, können Thread-Dumps erstellt werden.
Für alle Arten von Prozessen wird die Prozess-ID (PID) benötigt. Sie befindet sich im Log-Verzeichnis des Prozesses (xxxxx.pid) wobei xxxxx der PID entspricht.
Thread Dumps von Java Prozessen
Um einen Thread Dump von Java Prozessen zu erstellen muss das “QUIT”-Signal and den jeweiligen Prozess gesendet werden.
kill-QUIT <PID>
Der Thread Dump befindet sich dann in der Log-Datei des Prozesses.
Thread Dumps von nativen Prozessen
Um einen Thread Dump eines nativen Prozesses zu erstellen (z.B.: mesindex) kann das Hilfsskript “thread-dump-native.sh” verwendet werden.
/opt/mindbreeze/scripts/thread-dump-native.sh <PID>
Der Thread Dump wird direkt ausgegeben, kann aber in eine Datei umgeleitet werden.