Query Performance Testing

Installation und Konfiguration

Einleitung

Mit dem Query Performance Tester können die Suchperformance und erwartete Suchtreffer automatisiert und reproduzierbar getestet werden. Die wichtigsten Features sind:

• Testen mit Custom Search Apps
• Erstellen von Testplänen (nach was wird gesucht, was sind die erwarteten Resultate)
• Parametrisierung von Testläufen (User, Anzahl an parallelen Suchen, Anzahl an Iterationen)
• Überwachen eines Testlaufs
• Anzeigen von detaillierten Statistiken eines Testlaufs

Konfiguration

Öffnen Sie den Tab „Indizes“ im Menü „Konfiguration“ des Mindbreeze Management Centers. Fügen Sie im Abschnitt „Services“ ein neues Service hinzu, indem Sie auf den Button „Add Service“ klicken. Wählen Sie in der Liste "Service" den Service-Typ „QueryPerformanceTesterService“ aus.

"Base Configuration"

Einrichten

Starten eines Test Jobs

Die Benutzeroberfläche des Query Performance Tester Service finden Sie im Mindbreeze Management Center im Menü „Reporting“, Untermenü „Query Performance Tests“.

Sollten Sie eine G6 Appliance verwenden, können Sie die URL zu „Query Performance Tests“ über das resources.json selbst hinzufügen. Standardmäßig ist dieses Feature nur in CentOS7 im Menü sichtbar. Die URL dazu sieht wie folgt aus:

:8443/index/<YOUR SERVICE BIND PORT>/admin/index.html

Den entsprechenden Service Bind Port finden Sie in den Services-Einstellungen.

Die Dokumentation, wie Sie einen Menüpunkt hinzufügen können, finden Sie hier: Managementcenter Menü

Hinzufügen einer Suchanwendung

Klicken Sie im Abschnitt „Search Apps“ auf „Add Search App“.

Geben Sie den Namen der Suchanwendung ein. Wenn für die angegebene App ein JavaScript-Code zur Transformation der Anfrage vor dem Absenden verfügbar ist, fügen Sie ihn in das Textfeld ein oder laden Sie ihn über die Schaltfläche „Upload Search App“ aus einer Datei hoch. Für einfache Anwendungsfälle kann das Feld leer gelassen werden.

Hochladen eines Testplans

Klicken Sie in „Test Plan“ auf „Add Test Plan“. Im geöffneten Dialog können Sie einen Namen für den Testplan angeben und einige Suchbegriffe hinzufügen, die getestet werden sollen.

Wenn erweiterte Funktionen wie Key- und Property-Expectations benötigt werden, kann der Testplanquellcode über den Button „View Source Code“ manuell bearbeitet und verfeinert werden.

Nachdem der Testplan abgeschlossen ist und gespeichert wurde, steht er zum Starten eines Testjobs zur Verfügung.

Starten eines Tests

Nachdem ein Testplan erstellt wurde, können Sie einen Testjob starten, indem Sie in der Liste „Test Plans“ auf den Button „Start Tests“ neben dem erstellten Testplan klicken.

Zum Starten eines Prüfauftrags werden die folgenden Parameter benötigt:

Einrichten einer „User Group“

Klicken Sie im „Start test“ Dialog auf „Manage User Groups“ und geben Sie im Abschnitt „Add User Group“ einen Namen für die Benutzergruppe ein.

Fügen Sie Benutzer zur erstellten Gruppe hinzu und klicken Sie schließlich auf die Schaltfläche "Benutzergruppe hinzufügen".

Nach Abschluss können Sie mit "Abbrechen" zum ursprünglichen Dialog zurückkehren:

Die erstellte Benutzergruppe sollte in der Dropdown-Liste "Benutzergruppe" zur Auswahl stehen.

Wenn für einen Testlauf eine Benutzergruppe ausgewählt wird, werden die Aufträge mit dem HTTP-Header "X-Username" gesendet, der auf die in der Benutzergruppe enthaltenen Benutzernamen gesetzt ist. Damit der Client Service diesen Header erkennt, muss die Request Header Session Authentisierung konfiguriert werden.

Wenn die Anzahl der für den Testlauf eingestellten Benutzer die Größe der Benutzergruppe überschreitet, werden die restlichen Benutzernamen mit den ersten Benutzern der Benutzergruppe gesetzt.

Umgebungen (Environments) hinzufügen

Mit dem Dialog "Manage Environments" können Sie vordefinierte Testumgebungen erstellen und speichern. Umgebungen können verwendet werden, um einige Grundeinstellungen zu definieren. Diese Grundeinstellungen können beim Starten eines Tests durch Auswahl des definierten "Environment" im Dialog "Start test" übernommen werden (siehe Abschnitt "Starten eines Tests").

Die folgenden Parameter sind erforderlich:

Überwachen eines Testlaufs

Starten Sie den Testlauf wie im vorherigen Abschnitt beschrieben. Ein Echtzeitüberwachung für den aktuellen Test ist unter " Execution (Jobs)" verfügbar:

Hier wird ein Echtzeitdiagramm der Anzahl der ausgeführten Abfragen pro Sekunde und der durchschnittlichen Abfragedauer angezeigt. Verschiedene Farben des Diagramms markieren unterschiedliche Iterationen.

Testberichte

Nach Beendigung des Auftrags wird er in der Auftragshistorie aufgeführt. Durch Anklicken von "Details" wird ein Bericht über den ausgeführten Job angezeigt.

Auf der ersten Seite wird ein allgemeiner Bericht und möglicherweise eine Liste der Fehler angezeigt, die während der Ausführung des Testauftrags aufgetreten sind.

Die folgenden Parameter werden angezeigt:

Über die Ansicht " Request Report" wird ein detaillierter Bericht zu jedem ausgeführten Request angezeigt. Die in der Tabelle angegebenen Daten sind der minimale, der durchschnittliche und der maximale Wert des gewählten Request Parameters. Mithilfe der Seitennavigation kann durch alle Testiterationen navigiert werden und die Daten anzeigen werden.

Die folgenden Request Parameter können angezeigt werden:

Beispiel für eine Testplanausführung (Job)

Das folgende Beispiel beschreibt die Vorgehensweise bei der Ausführung eines Jobs mit den folgenden Einstellungen:

Einstellungen

1. Testplan (Query Terms):
   1. Active
   2. testing
   3. python
   4. mindbreeze
   5. “mindbreeze search”
   6. mindbreeze AND search
2. Users: 5
3. Iterations: 3
4. User Group
   1. User 1
   2. User 2
   3. User 3

Ausführung

Da 5 Benutzer konfiguriert sind, werden 5 Benutzer gleichzeitig suchen. Da in der "User Group" nur 3 verschiedene Benutzer konfiguriert sind, werden die 5 Benutzer, welche die Suchen ausführen, folgende sein:

1. User 1
2. User 2
3. User 3
4. User 1
5. User 2

Diese Benutzer starten die Suche gleichzeitig, beginnend mit dem ersten konfigurierten Suchbegriff und weiter mit den anderen Suchbegriffen (“Active”, “testing”, …, “mindbreeze AND search”). Wenn alle Benutzer die Suche abgeschlossen haben, ist die erste Iteration abgeschlossen.

Da 3 Iterationen konfiguriert sind, wird dieser Prozess zwei weitere Male wiederholt.

Während dieses Vorgangs kann der Testlauf überwacht werden (siehe Abschnitt "Überwachen eines Testlaufs"). Wenn alle Iterationen abgeschlossen sind, kann der Bericht eingesehen werden (siehe Abschnitt "Testberichte").