Sure, you can handle it. But should you?
Let our experts manage the tech maintenance while you focus on your business.
Let our experts manage the tech maintenance while you focus on your business.
Konfiguration
Index-Servlets
Einleitung
Administrator:innen können mithilfe von Index-Servlets nach Fehlern suchen, Diagnosen stellen und Troubleshooting betreiben. In den folgenden Kapiteln werden die Voraussetzung für das Konfigurieren eines Index-Servlets, als auch die Konfiguration selbst und die zur Verfügung stehenden Index-Servlets beschrieben.
Voraussetzungen
Bevor ein Index-Servlet aufgerufen werden kann, sind folgende Voraussetzungen zu erfüllen:
- Funktionierender und aktivierter Index
- Einstellung „Enable Unrestricted Privileged Servlets“ muss entweder auf “Enabled“ oder „Enabled (Debug)“ gesetzt sein
Sie können einen Index konfigurieren oder aktivieren, indem Sie im Mindbreeze Management Center den Menüpunkt „Konfiguration“ öffnen und im Tab „Indices“ mit „+ Add Index“ einen Index erstellen. Falls Sie einen bestehenden Index verwenden wollen, aktivieren Sie diesen mit „Enable“.
Für die Einstellung „Enable Unrestricted Privileged Servlets“ müssen „Advanced Settings“ aktiviert werden. Im Bereich „Setup“ finden Sie die gesuchte Einstellung. Stellen Sie sicher, dass „Enabled“ oder „Enabled (Debug)“ ausgewählt ist.
Je nach Servlet wird die Auswahl einer bestimmten Option benötigt. Die folgende Tabelle listet alle privilegierten Servlets und die dazu benötigte Option für die Einstellung „Enable Unrestricted Privileged Servlets“ auf. Jene Servlets, die in dieser Tabelle nicht angeführt sind, können mit der Option „Disabled“ erreicht werden.
Option „Enabled“ | Option „Enabled All (Debug)“ | |
/aclcachecontrol | X | |
/aclconsistency | X | |
/aclstatistics | X | |
/dump | X | |
/qperf | X | |
/tokenize | X | |
/quit | X | |
/aggregate | X | X |
/documents | X | X |
/find | X | X |
/extractitems | X | X |
/processitems | X | X |
Achtung: Die Option „Enabled All (Debug)“ wird nur für Testsysteme empfohlen und soll nicht bei Produktivsystemen aktiviert werden.
Nun können Sie eine Liste aller Index-Servlets unter der folgenden URL erreichen:
https://<Appliance>:8443/index/<IndexPortNr>
Index-Servlets
Aggregate Document Properties (/aggregate)
Mit diesem Index-Servlet können Sie aggregierte Werte von Dokumenten erhalten, wie zum Beispiel die Anzahl verschiedener Dokumenttitel.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/aggregate
Folgende Optionen können dabei konfiguriert werden:
Beschreibung | Beispiel/Standardeinstellung | |
Column Name | Gibt die Spaltennamen des Indexes an, die für die Aggregation verwendet werden. | Beispiel: mes:lang |
Query Constraint | Gibt verschiedene Einschränkungen der Anfrage an. Zum Beispiel das Filtern nach Dokumentdatum. | Die Suche ist auf Systemmetadaten beschränkt:
Beispiel: extension:html |
Aggregation operator |
| Vier Operatoren stehen zur Auswahl:
Standardeinstellung: COUNT |
Concatenation max value count | Gibt die maximale Anzahl der zu konkatenierenden Werte an. | Standardeinstellung: 0 - unlimited |
Concatenation value order | Gibt an, wie die Werte für die „CONCAT“ Funktion sortiert werden. | Die folgenden Sortierungsoptionen sind verfügbar:
Standardeinstellung: UNORDERED |
Output Format | Gibt das Ausgabeformat an. | Die folgenden Formate sind verfügbar:
Standardeinstellung: csv |
Expand Query | Wenn Expand Query auf false gesetzt (oder nicht bereitgestellt) ist, werden die internen Query Expression Transformers nicht verwendet. Dies kann für die folgenden Anwendungsfälle hilfreich sein:
| Standardeinstellung: false |
Beispiel
Mithilfe des Index-Servlets „aggregate“ kann man unter anderem zählen, wie viele HTML-Dokumente es in den jeweiligen Sprachen im Index gibt. Dazu sind folgende Einstellungen notwendig:
Option/Eingabe | |
Column Name | mes:lang |
Query Constraint | extension:html |
Aggregation operator | COUNT (Standardeinstellung) |
Concatenation max value count | 0 – unlimited (Standardeinstellung) |
Concatenation value order | UNORDERED (Standardeinstellung) |
Output Format | csv (Standardeinstellung) |
Expand Query | false (Standardeinstellung) |
Das Ergebnis kann, je nach Index, so aussehen:
Browse Document by ID or Key (/documents)
Mit diesem Index-Servlet können Sie einzelne Dokumente nach ihrer docID, ihrem Key oder ihrer UniformItemID durchsuchen.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/documents
Folgende Optionen können dabei konfiguriert werden:
Beschreibung | Beispiel/Standardeinstellung | |
By docID | Hier können Sie die docID des gewünschten Dokuments eingeben. Die docID eines Dokumentes kann mit dem Index-Servlet „Query Documents (/find)“ gefunden werden. Achtung: Um Ergebnisse vom Index-Servlet zu erhaten, ist die Angabe einer docID oder eines Key zwingend notwendig. | Beispiel: 148 |
By Key | Hier können Sie den Key des gewünschten Dokuments eingeben. Der Key eines Dokumentes kann auf zwei Arten gefunden werden:
Achtung: Um Ergebnisse vom Index-Servlet zu erhaten, ist die Angabe einer docID oder eines Key zwingend notwendig. | Beispiel: https://inspire.mindbreeze.com/blog |
By UnifomItemID | Hier können Sie die UniformItemID des Dokuments eingeben. Die UnformItemID bleibt im Gegensatz zur dokID gleich, wenn das Dokument ein Update, zum Beispiel ein zusätzliches Kapitel, erhält. Die UniformItemID findet man folgendermaßen:
Hinweis: docID und UniformItemID können denselben oder einen unterschiedlichen Wert besitzen. | Beispiel: 212 |
Output Format | Hier können Sie auswählen in welchem Format das Dokument angezeigt werden soll und welcher Inhalt dargestellt werden soll. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: DocumentAndContents |
Deleted documents | Hier können Sie auswählen ob auch gelöschte Dokumente in die Suche miteinbezogen werden sollen. | Folgende Optionen stehen zur Auswahl:
Standardeinstellung: Exclude |
Beispiel
Mithilfe des Index-Servlets „Browse Document by ID or Key (/documents)“ können unter anderem die Zugriffsrechte für das jeweilige Dokument eingesehen werden. Durch das Index-Servlet „Query Documents (/find)“ konnte man herausfinden, dass die docID für das gewünschte Dokument den Wert „148“ hat. Folgende Einstellungen sind zusätzlich noch notwendig:
Option/Eingabe | |
By docID | 148 |
Output Format | Item |
Deleted documents | Exclude (Standardeinstellung) |
In der Ausgabe sieht man nun bei „principal“ die Eigenschaft „everyone“, was bedeutet, dass alle Nutzer Zugriff auf das Dokument mit der docID 148 haben:
Query Documents (/find)
Mit diesem Index-Servlet können Sie Suchanfragen absenden, um nach Dokumenten zu suchen.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/find
Folgende Optionen können dabei konfiguriert werden:
Beschreibung | Beispiel/Standardeinstellung | |
Query | Gibt ähnlich wie im Standard Mindbreeze Suchfenster eine Suchanfrage an. Die Suche ist auf folgende Systemmetadaten beschränkt:
| Beispiel: category:web |
Query Protobuf Textual | Wird nur für interne Zwecke vom Mindbreeze Support verwendet. | - |
Order by | Gibt das Metadatum an, wonach die Dokumente sortiert werden sollen. | Beispiel: mes:key |
Order Direction | Gibt die Reihenfolge an, in der die Dokumente sortiert werden. Die Dokumente können in aufsteigender oder absteigender Reihenfolge sortiert werden. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: descending |
Group by | Gibt an, ob und nach welchem Metadatum die Dokumente gruppiert werden sollen. | - |
Group by Parent Reference | Ermöglicht das Gruppieren nach Referenzen. | - |
Group by Parent Reference Mode | Gibt an, wie weit referenziert werden soll. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: disabled |
Summarize by property | Gibt die Eigenschaften an, wonach Dokumente zusammengefasst werden, wie zum Beispiel Name oder Dateierweiterung. | Beispiel: mes:lang |
Order summarized by | Gibt an, wie die Zusammenfassung sortiert werden soll. | Beispiel: mes:key |
Order direction | Gibt die Reihenfolge der Sortierung an. Die Zusammenfassung kann in aufsteigender oder absteigender Reihenfolge sortiert werden. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: descending |
Output Format | Gibt das Ausgabeformat an, in dem die Ergebnisse angezeigt werden. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: csv |
Expand Query | Wenn Expand Query auf false gesetzt (oder nicht bereitgestellt) ist, werden die internen Query Expression Transformers nicht verwendet. Dies kann für die folgenden Anwendungsfälle hilfreich sein:
Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: false |
Diacritic Similar Terms | Gibt an, ob bei einer Suche auch Diakritische Zeichen miteinbezogen werden. Diakritische Zeichen sind zum Beispiel Umlautzeichen oder das Hatschek über gewissen Buchstaben. Durch das Einbeziehen von diakritischen Zeichen wird bei der Suche, zum Beispiel, beim Wort „Losung“ auch das Wort „Lösung“ miteinbezogen. Dies ist bei Dokumenten zu beachten, die zum Beispiel in Deutsch, Tschechisch oder Finnisch geschrieben sind. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: no_query_expansion |
Requested Properties (CSV) | Gibt an, welche spezifischen Dokumenteigenschaften gesucht werden sollen. Wenn mehrere Eigenschaften gesucht werden sollen, müssen die Eigenschaften wie bei einer CSV-Datei durch ein Semikolon getrennt werden. Man kann zusätzliche Systemmetadaten anfordern. | Beispiel: mes:lang |
Beispiel
Mit dem Index-Servlet „Query Documents (/find)“ kann der Index unter anderem nach bestimmten Dokumenten durchsucht werden. In diesem Beispiel ist für ein gewisses Dokument die „docID“ zu finden. Über das Dokument ist bekannt, dass es eine Stellenausschreibung für die Position des „Office Manager“ ist. Die folgenden Einstellungen sind notwendig:
Option/Eingabe | |
Query | Open positions |
Order by: | title |
Order direction: | ascending |
Group By Parent Reference Mode: | disabled (Standardeinstellung) |
Order direction: | descending (Standardeinstellung) |
Output Format: | csv (Standardeinstellung) |
Expand Query: | false (Standardeinstellung) |
Diacritic Similar Terms: | no_query_expansion (Standardeinstellung) |
Durch die absteigende Sortierung der Dokumente nach dem Titel, kann das gesuchte Dokument und dementsprechend die „docID“ einfach gefunden werden:
Statistics Information (/statistics)
Mit diesem Index-Servlet können Statistiken zum aktuellen Index abgerufen werden.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/statistics
Folgende Optionen können dabei konfiguriert werden:
Beschreibung | Beispiel/Standardeinstellung | |
Detail Level | Hier können Sie den Detailgrad angeben in dem die Statistiken ausgegeben werden sollen. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: basic |
Output Format | Hier können Sie das Format angeben in dem die Statistiken ausgegeben werden sollen. Folgende Optionen stehen zur Auswahl:
| Standardeinstellung: protobuf_textual |
Beispiel
Mit dem Index-Servlet „Statistics Information (/statistics)“ kann man eine übersichtliche Statistik zum Index erhalten. Durch die folgenden Einstellungen kann man unter anderem die gesamte Anzahl der Dokumente und die gelöschte Anzahl der Dokumente sehen:
Option/Eingabe | |
Detail Level: | document_count |
Output Format: | protobuf_textual |
In der Ausgabe sieht man, dass es insgesamt 195 Dokumente im Index gibt und neun Dokumente gelöscht wurden:
Entity Recognition Workbench (/processitems)
Mit diesem Index-Servlet können Regeln für das Feature „Entity Recognition“ entworfen und mit dem aktuell aktiven Index ausprobiert werden. Die Regeln werden durch ein Regex-Muster definiert.
Achtung: Bei der Definition einer Regel, muss das Regex-Muster etwas angepasst werden. Mehr Informationen dazu finden Sie bei der Beschreibung zur Einstellung „Rules“.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/processitems
Folgende Optionen stehen zur Verfügung:
Beschreibung | Beispiel/Standardeinstellung | |
Rules | Definiert mit einem Regex-Muster die Regel, die getestet werden soll. Hinweis: Die Angabe einer Regel ist zwingend notwendig. Achtung: Damit das Regex-Muster entsprechend funktioniert, muss folgender Syntax befolgt werden: /meinRegexMuster/. | Beispiel: year=/[1-9][0-9][0-9][0-9]/. |
Query | Definiert ein oder mehrere Dokument(e) wofür die Regel angewandt wird. Die Regel wird auf die Ergebnisse des Query angewandt. | Beispiel: Blog |
Ist eine valide Regel definiert und optional eine Query angegeben, erscheinen durch „process“ Eingabefelder für den Bereich „Match on Extract“.
Damit kann man die Extraktoren testen. Diese Eingabefelder können folgendermaßen konfiguriert werden:
Einstellung | Beschreibung | Beispiel | |
Element 1 | Name | Name vom Property wo die Metadatum gespeichert wird. | fullyear |
Value | Definition wie der Wert aussehen wird. | {{year}} | |
Source | Definiert von wo das Metadatum kommen soll. | Document Content |
Statusabfrage (/wait)
Das Servlet dient als Statusabfrage am Index, insbesondere für Skripts, da die Verbindung zum Servlet aufrechterhalten bleibt bis der Index fertig ist. Die Index-Konfigurationsoption „Wait for Event Servlet Update Status Interval (Seconds)“ bestimmt, in welchen Abständen ein Update gesendet wird. Der Content-Type der Antwort ist „text/event-stream" und wird im Header gesetzt.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/wait
Die Ausgabe besteht aus den folgenden Elementen:
Beschreibung | Beispiel | |
data | Ist ein JSON formatierter Plain Text, dessen Content „finished“ erst in der letzten Nachricht „true“ wird. | - |
invertingCompleteFraction | Gibt die Vollständigkeit in Bruchteilen an und wird durch die Multiplikation mit 100 zur Prozentangabe. | Beispiel: invertingCompleteFraction":0.5 Der Wert „0.5“ bedeutet 50%. |
mergingCompleteFraction | Gibt die Vollständigkeit in Bruchteilen an und wird durch die Multiplikation mit 100 zur Prozentangabe. | Beispiel: mergingCompleteFraction":1.0 Der Wert „1.0“ bedeutet 100%. |
totalBucketCount | Gibt die Anzahl der Buckets am Index an. Die Anzahl kann steigen, wenn gerade neue Dokumente indiziert werden. | Beispiel: totalBucketCount":2 |
totalCompleteFraction | Gibt die Vollständigkeit in Bruchteilen an und wird durch die Multiplikation mit 100 zur Prozentangabe. | Beispiel: totalCompleteFraction":0.5 Der Wert „0.5“ bedeutet 50%. |
Beispiele:
data: {"event":"all_finished","finished":false,"invertingCompleteFraction":0.5,"mergingCompleteFraction":0.5,"totalBucketCount":2,"totalCompleteFraction":0.5}
data: {"event":"all_finished","finished":false,"invertingCompleteFraction":1.0,"mergingCompleteFraction":0.5,"totalBucketCount":2,"totalCompleteFraction":0.5}
data: {"event":"all_finished","finished":true,"invertingCompleteFraction":1.0,"mergingCompleteFraction":1.0,"totalBucketCount":2,"totalCompleteFraction":1.0}
Folgende URL-Parameter können verwendet werden:
Beschreibung | Beispiel/Standardeinstellung | |
event | Schränkt ein worauf der Index warten soll. Die Werte all_finished und inverting_finished sind gültig:
| Beispiel: mindbreeze.com:8443/index/23100/wait?event=all_finished |
update_interval | Setzt eine Zeitüberschreitung nach dem spätestens ein Update geschrieben wird. Wenn dieser Parameter nicht gesetzt ist, wird auf die Einstellung „Wait for Event Servlet Update Status Interval (Seconds)“ aus der Index-Konfiguration zurückgegriffen. Es kann minimal ein Interval von fünf Sekunden gesetzt werden. Hinweis: Die Abfrage ist nicht Laufzeitintensiv, allerdings müssen Threads synchronisiert werden (Lock mutex), daher wird empfohlen diese Option so hoch wie möglich einzustellen. | Beispiel: mindbreeze.com:8443/index/23100/wait?update_interval=5 |
Index-Status (/indexingstatus)
Das Servlet sendet regelmäßig Informationen über den Indexierungsstatus der Dokumente im Index.
Achtung: Um das Servlet „indexingstatus“ zu nutzen, muss die zusätzliche Einstellung „Enable Indexing Status Events Servlet“ aktiviert werden. Diese Einstellung befindet sich im Index, wenn „Advanced Settings“ aktiviert sind, im Abschnitt „Inverter Settings“. Aktivieren Sie die Einstellung und speichern Sie die Änderung.
Für mehr Informationen, siehe Konfiguration - Mindbreeze InSpire - Index Service Einstellungen.
Sie erreichen das Servlet mit folgender URL:
https://<Appliance>:8443/index/<IndexPortNr>/indexingstatus
Der Inhaltstyp der Antwort ist „text/event-stream“ und wird im Header festgelegt. Der Teil data ist ein JSON-formatierter Plain-Text mit verschiedenen Arten von Nachrichten:
- Die erste Nachricht bei der Verbindung ist eine Zusammenfassung des Indexstatus. Sie enthält ein Feld namens „index“, dessen Wert eine Liste von Buckets mit Informationen über die darin gespeicherten Dokumente ist.
- Wenn neue Dokumente invertiert werden, wird eine Nachricht ausgegeben. Sie enthält ein Feld namens „item“, dessen Wert ein Feld namens „itemHeaders“ enthält, dessen Wert eine Liste neu indexierter Dokumente ist (mit key, category, category instance und document ID).
- Alternativ können Metadaten mit dem URL-Parameter requested_property angefordert werden. In diesem Fall enthalten die ausgegebenen Nachrichten bei der Invertierung neuer Dokumente ein Feld mit dem Namen „detailedItem“, dessen Wert ein Feld mit dem Namen „items“ enthält. Dieses Feld enthält dann einen Wert, der eine Liste neu indizierter Dokumente darstellt. Jedes Dokument in der Liste verfügt über ein Feld namens „header“ mit dem gleichen Wert wie oben und ein Feld namens „property“. Der Wert dieses Feldes ist eine Liste von Eigenschaften, die durch den Namen und Wert angegeben werden.
Standardmäßig sind die Eigenschaften, die angefordert werden können, auf System-Metadaten beschränkt (eine Liste finden Sie im Kapitel Query Documents (/find)). Diese Liste kann mit der Einstellung „Indexing Status Restricted Property Name Pattern“ überschrieben werden, bei der es sich um einen regulären Ausdruck handelt, der mit Metadaten übereinstimmt, die für die Anforderung im Servlet autorisiert sind.
Die angeforderten Metadaten müssen aggregierbar sein. Aggregierbare synthetisierte Metadaten sind ebenfalls verfügbar.
Die Nachrichten melden auch den Status der Elemente, derzeit wird nur „searchable“ unterstützt.
Da das Servlet geöffnet bleiben muss, um die Nachrichten zu empfangen, werden die Nachrichten außerdem nach einer gewissen Zeit der Inaktivität automatisch gesendet. Die Standard-Zeitüberschreitung hierfür beträgt 20 Sekunden und kann mit dem URL-Parameter idle_event_timeout_ms konfiguriert werden.
Beispiel 1:
https://<Appliance>:8443/index/<IndexPortNr>/indexingstatus?idle_event_timeout_ms=20000
data: {"statusLevel":"LEVEL_SEARCHABLE","index":{"bucketStatus":[{"bucketId":"0","firstSequenceNr":"0","lastSequenceNr":"50","itemCount":"50","isCurrentBucket":true}]},"statusCode":"OK"}
data: {"statusLevel":"LEVEL_SEARCHABLE","item":{"itemHeaders":[{"category":"Web","categoryInstance":"webtest","key":"https://www.mindbreeze.com/omicron-webinar-3","sequenceNr":"52"}]}}
data: {"statusLevel":"LEVEL_SEARCHABLE","item":{"itemHeaders":[{"category":"Web","categoryInstance":"webtest","key":"https://www.mindbreeze.com/reference-csc.html","sequenceNr":"54"},{"category":"Web","categoryInstance":"webtest","key":"https://www.mindbreeze.com/egovernment.html","sequenceNr":"56"}]}}
data: {"statusLevel":"LEVEL_SEARCHABLE","idle":{"waitForEventTimeoutEllapsedMs":"20000"}}
Beispiel 2:
https://<Appliance>:8443/index/<IndexPortNr>/indexingstatus?idle_event_timeout_ms=20000&requested_property=mes%3Akey&requested_property=exampleprop
data: {"statusLevel":"LEVEL_SEARCHABLE","index":{"bucketStatus":[{"bucketId":"0","firstSequenceNr":"2","lastSequenceNr":"655","itemCount":"654","isCurrentBucket":true}]},"statusCode":"OK"}
data: {"idle":{"waitForEventTimeoutElapsedMs":"20000"}}
data: {"statusLevel":"LEVEL_SEARCHABLE","detailedItem":{"items":[{"header":{"category":"Web","categoryInstance":"Help","key":"document123","sequenceNr":"325"},"property":[{"name":"mes:key","value":[{"kind":"STRING","stringValue":"document123"},":[{"name":"exampleprop","value":[{"kind":"STRING","stringValue":"example value"}]}]}}
