InSpire Diagnose und Resource Monitoring

Diagnose & Monitoring

Erstellen von Java Heap Dumps

Tool JMX Terminal

Das Tool „JMX Terminal“ ermöglicht das Abfragen und Ausführen von JMX Beans. Das Tool ist unter /opt/mindbreeze/tools/jmxterm-uber.jar bzw. unter C:\Program Files\Mindbreeze\Enterprise Search\Server\Tools\jmxterm-uber.jar zu finden. Das Tool beinhaltet eine interaktive Shell mit integrierter Hilfe.

Starten des Tools:

cd /opt/mindbreeze/tools/

java -jar jmxterm-uber.jar

Anschließend startet die interaktive Shell.

Hinweis: unter Windows muss sichergestellt werden, dass das Java JDK verwendet wird.

Erstellen von Heap Dumps

Folgende Informationen sind für einen Heap Dump notwendig:

• PID (bei Java Sandboxen, wie z.B. Item Transformer, Query Transformer) oder JMX URL (bei Client Service oder Query Service)
• Verzeichnis zur Ablage der Heap Dumps

Hinweis: die JMX URL wird in der Log-Datei des entsprechenden Services ausgegeben. Z.B.:

TomcatLauncher INFO: Started JMX Server on address service:jmx:rmi://localhost/jndi/rmi://localhost:41518/jmxrmi

Die Dumps werden mit dem JMX Terminal erstellt. Dazu sind folgende Befehle im Inspire Container nötig:

# starting the tool

cd /opt/mindbreeze/tools/

java -jar jmxterm-uber.jar

# Welcome to JMX terminal. Type "help" for available commands.

$> # connect to the service via PID

$>open 12345

$> # alternative: connect to the service via JMX URL

$>open service:jmx:rmi://localhost/jndi/rmi://localhost:41518/jmxrmi

# Connection to service:jmx:rmi://localhost/jndi/rmi://localhost:41518/jmxrmi is opened

$> # set the domain:

$>domain com.sun.management

$> # set the bean:

$>bean com.sun.management:type=HotSpotDiagnostic

$> # execute the dumpHeap operation to the path e.g. /data/clientservice.hprof

$>run dumpHeap /data/clientservice.hprof true
# calling operation dumpHeap of mbean com.sun.management:type=HotSpotDiagnostic with params [/data/clientservice.hprof, true]
# operation returns:
null

Anschließend befindet sich der Heap Dump unter /data/clientservice.hprof

Monitoring von JMX Werte in ein CSV

Das JMX Terminal kann Werte von JMX MBean Attribute abfragen.

Folgendes Beispiel zeigt die Abfrage von java.lang.Memory.HeapMemoryUsage:

# starting the tool

cd /opt/mindbreeze/tools/

java -jar jmxterm-uber.jar

Welcome to JMX terminal. Type "help" for available commands.

$> # connect to the service via PID

$>open 12345

$> # alternative: connect to the service via JMX URL

$>open service:jmx:rmi://localhost/jndi/rmi://localhost:41518/jmxrmi

#Connection to service:jmx:rmi://localhost/jndi/rmi://localhost:41518/jmxrmi is opened

$> # set the domain:

$>domain java.lang

$> # set the bean:

$>bean java.lang:type=Memory

$> # execute the dumpHeap operation to the path e.g. /data/clientservice.hprof

$>get HeapMemoryUsage

HeapMemoryUsage = {

  committed = 1558708224;

  init = 262144000;

  max = 3702521856;

  used = 208660496;

};

Erfassen von Performance-Daten mittels Collect-Skript

/opt/mindbreeze/scripts/collect.sh

Das Collect-Skript sammelt folgende Informationen:

• alle memory-usage.csv files aus dem aktuellen Log Verzeichnis
• Heap Dumps aller mes-jvms (mesclientservice, mesindex, messdkjavaservice)
• Thread Dumps und Native-Thread-Dumps dieser Prozesse
• Perf report mittels perf record und perf script für 10 Sekunden
• Jvmtop Report mit optional Profiling

Die gesammelten Informationen werden in einem tar.gz File in /data/collect abgelegt.

usage: collect.py [-h] [--output_dir OUTPUT_DIR] [--tarname TARNAME]

                  [--no-compress-tar] [--perf | --no-perf]

                  [--perf-time PERF_TIME] [--jvmtop | --no-jvmtop]

                  [--jvmtop-profile] [--jvmtop-iterations JVMTOP_ITERATIONS]

                  [--jvmtop-delay JVMTOP_DELAY]

Tool to collect resource usage information

optional arguments:

  -h, --help            show this help message and exit

  --output_dir OUTPUT_DIR, -o OUTPUT_DIR

                        base directory for collect reports (default:

                        /data/collect)

  --tarname TARNAME     filename of output file (default:

                        2019-05-22_10-02-27.tar)

  --no-compress-tar     do not compress the output tarfile

  --perf                collect 'perf' information (default)

  --no-perf             do not collect 'perf' information

  --perf-time PERF_TIME

                        'perf' collection time in seconds (default: 2)

  --jvmtop              collect 'jvmtop' information

  --no-jvmtop           do not collect 'jvmtop' information (default)

  --jvmtop-profile      enable profiling when collecting jvmtop information

  --jvmtop-iterations JVMTOP_ITERATIONS

                        number of iteration for 'jvmtop' (default: 5)

  --jvmtop-delay JVMTOP_DELAY

                        delay (in seconds) between iterations of 'jvmtop'

                        (default: 1)

Überwachen von Ressourcen mittels CSV Dateien

Überwachung eines Index

Die Konfiguration des Index beinhaltet den Konfigurationsbereich „Memory Analysis Settings“.

Bei Konfiguration dieser Statistiken wird im Logverzeichnis des Index eine memory.csv Datei mit den konfigurierten Werten erzeugt.

Überwachung des Client Service

Die Konfiguration beinhaltet analog zum Index den Konfigurationsbereich „Memory Analysis Settings“

Bei Konfiguration dieser Statistiken wird im Logverzeichnis des Client Service eine memory.csv Datei mit den konfigurierten Werten erzeugt.

Einstellung des Levels für das Loggen

Auswahl des Log Levels

Die Konfiguration im Log Pool beinhaltet die Konfigurations „Permanent Software-Telemetry Log Level“.

Es kann zwischen den Level Log, Standard, Detail und Debug entschieden werden, wobei „Log“ das geringste und „Debug“ das höchste Level ist. Abhängig von der Auswahl wird nun alles oder bestimmte Teilbereiche geloggt.