Handbuch
Natural Language Question Answering (NLQA)

Motivation und Überblick

Die große Popularität und vielen Anwendungsmöglichkeiten von OpenAIs ChatGPT Lösung zeigen, wie relevant das Thema Generative AI auf Basis von Large Language Models (LLMs) ist. Gerade im Unternehmenskontext kann diese Technologie einen großen Mehrwert bieten. Der Einsatz wird jedoch durch Themen wie Halluzinationen, fehlende Aktualität, Datensicherheit, kritische Fragen bezgl. geistiges Eigentum und technische Umsetzung bei sensiblen Daten erschwert. Mindbreeze bietet eine Lösung in Form einer Kombination aus Insight Engine und LLMs, die in der Lage ist genau diese Schwächen auszugleichen. Das Ergebnis ist die ideale Basis für Generative AI im Unternehmenskontext.

Diese Basis trägt den Namen „Natural Language Question Answering“, kurz NLQA und vereint die semantische Suche mit dem „Question Answering“. Die semantische Suche ermöglicht das Arbeiten mit vollständigen Sätzen, womit man durch die Eingabe von Sätzen nach Informationen suchen kann. Das „Question Answering“ ist für das Identifizieren von Antwort zuständig, wodurch Antworten in natürlicher Sprache inklusive umliegendem Kontext und Quellenverweis wiedergegeben werden.

In den folgenden Kapiteln wird erklärt, wie die Basiskonfiguration für das NLQA durchgeführt wird. Für weitere Fragen über die Konfiguration und Nutzung des Features, ist das FAQ zu empfehlen. Auch Informationen über die Unterstützung eigener Sprachmodelle und die Handhabung von Feedback ist dort zu finden.

Achtung: Bei der semantischen Suche über trainierte Modelle kann keine 100% vollständige und korrekte Suche gewährleistet werden. Eine Anpassung der Modelle wird nur bei dedizierten Projekten unterstützt, wobei die gelabelten Trainings- und Testdaten von der Kundenumgebung bereitgestellt werden. Zusätzlich ist zu beachten, dass wesentlich mehr Rechenleistung für die Aufbereitung der Daten verwendet wird. Bitte beachten Sie, dass dadurch die Indizierungszeit länger dauen kann. Daher ist nicht gewährleistet, dass die volle Dokumentanzahl mit diesem Feature betrieben werden kann.

Konfiguration

In diesem Abschnitt wird beschrieben, Konfigurationsschritte notwendig sind, damit Natural Language Question Answering (NLQA) aktiviert wird.

Konfiguration des Index

Navigieren Sie im Mindbreeze Management Center (MMC) zum „Configuration“ Menü und wechseln Sie zum „Indices“ Tab. Fügen Sie anschließend einen neuen Index hinzu („+ Add Index“) und aktivieren Sie „Advanced Settings“.

Konfiguration der Sentence Transformation

Aktivieren Sie im nächsten Schritt folgende Optionen im Bereich „Semantic Text Extraction“:

Weitere Einstellungen, die angepasst werden können:

Konfiguration der Datenquelle

Konfigurieren Sie ihre Datenquelle. Dokumentation der von Mindbreeze InSpire unterstützen Datenquellen finden sie auf help.mindbreeze.com im Bereich „Datenquellen“.

Test

Warten Sie, bis die Indizierung abgeschlossen ist. Testen Sie ihre Konfiguration mithilfe der Standard Mindbreeze InSpire Insight App.

FAQ

Kann ich NLQA auf einem bestehenden Index aktivieren?

Ja, Sie können NLQA auch auf bestehenden Indizes aktivieren. Konfigurieren Sie „Named Entity Recognition (NER)“ und „Sentence Transformation“, so wie oben beschrieben. Anschließend muss der Index neu aufgebaut werden. Führen Sie einen der folgenden Schritte durch:

• Re-Indizierung („Reindex“ Schaltfläche) oder
• vollständige Re-Invertierung des Index

Wie kann ich NLQA in meine Insight App integrieren?

Standardmäßig werden die Antworten direkt über den Suchresultaten angezeigt. Darüber hinaus kann die Visualisierung der Antworten frei an Ihre Bedürfnisse angepasst und auch vollständig deaktiviert werden. Siehe dazu Entwicklung von Insight Apps – answers.

Kann NLQA mit meiner bereits bestehenden Mindbreeze InSpire Lizenz verwendet werden?

Das NLQA-Feature kann mit der bestehenden Mindbreeze InSpire Lizenz genutzt werden. Für weitere Informationen wenden Sie sich bitte an support@mindbreeze.com.

Gibt es Support für Custom Sentence Transformer Models?

Die Basis für die semantische Suche wird von Transformer-Based-Language-Models im ONNX-Format gebildet. Durch die Verwendung dieses offenen Standards können vortrainierte (pre-trained Models) oder selbst trainierte LLMs in Mindbreeze InSpire integriert werden. Die Konfiguration von Custom Sentence Transformer Models ist in Konfiguration – Mindbreeze InSpire – Sentence Transformation beschrieben.

Kann ich beeinflussen, welche Antworten angezeigt werden?

Es gibt verschiedene Möglichkeiten, die angezeigten Antworten zu beeinflussen:

Filtern von Antworten aufgrund der Qualität oder Anzahl:

Antworten werden nach Ähnlichkeitsfaktor sortiert, wobei die beste Antwort an erster Stelle steht. Der minimale Ähnlichkeitsfaktor für die Anzeige einer Antwort beträgt standardmäßig 50%. Dieser Wert („Minimum Score“) sowie die maximale Anzahl von Antworten („Answer Count“) können in der jeweiligen Index- und Client-Service-Konfiguration (Konfiguration – Mindbreeze InSpire – Sentence Transformation) eingestellt werden.

Reihenfolge der Antworten kann beeinflusst werden (Boostings):

Mindbreeze-Komponenten zur Beeinflussung der Relevanz von Suchtreffern wie der Term2DocumentBoost Transformer und Personalisierte Relevanz können auch für das Boosten von Antworten verwendet werden. Darüber hinaus werden Boostings, die in der api.v2.search-Schnittstelle definiert werden, auch für die Relevanz von Answers angewendet.

Wie kann ich Antworten von anderen Metadaten als vom Content bekommen?

Standardmäßig werden die Sentence Embeddings nur für „content“ und „title“ berechnet, weswegen die semantische Suche nur Antworten von diesen Metadaten liefert. Um auch Antworten von anderen Metadaten zu bekommen, konfigurieren Sie die Option „Static Sentence Transformer Restricted Zones Pattern“. Z.B.: Es sollen zusätzlich auch Antworten vom Metadatum „description“ kommen, dann muss Static Sentence Transformer Restricted Zones Pattern“ mit folgendem Wert konfiguriert werden: "content|title|description".

Außerdem ist es wichtig, dass das Metadatum bei der Suche explizit angefordert wird (in unserem Beispiel „description“). Dazu gibt es zwei Möglichkeiten, falls das Metadatum noch nicht angefordert wird:

1. Metadaten via Mustach-Template anfordern:
   <div class="media"><span class="hidden">{{description}}</span></div>
2. Über Application-Objekt:
   modelDefaults: {
     search: {
       properties: { "description": { "formats": ["VALUE"]} }
     }
   }
   (siehe Entwicklung von Insight Apps – Das Application-Objekt)

Gibt es erweiterte Konfigurationsoptionen für NLQA?

Ja, es gibt erweiterte Konfigurationsoptionen für NLQA in Konfiguration – Mindbreeze InSpire – Sentence Transformation. Diese Optionen sind normalerweise nur dann für Sie relevant, wenn Sie spezielle Anwendungsfälle haben, die eine spezielle Konfiguration erfordern. Bitte kontaktieren Sie support@mindbreeze.com, wenn Sie für Ihr Data-Science-Projekt Unterstützung benötigen, z.B. wenn Sie ein anderes Modell als das standardmäßig mitgelieferte Sentence Transformer Modell verwenden wollen.

Ich bin mit der Invertierungsdauer und/oder Suchperformance nicht zufrieden. Was kann ich tun?

Grundsätzlich: Je mehr Daten von den Sentence Transformern verarbeitet werden, desto länger dauert die Invertierung und desto größer wird auch der (invertierte) Index. Je größer der Index, desto mehr Rechenaufwand ist auch zum Suchzeitpunkt nötigt. Das heißt: Wird der Index verkleinert, wirkt sich dies im Normalfall auch positiv auf die Invertierungsdauer und Suchperformance aus. Dazu gibt es folgende Möglichkeiten in den Index-Einstellungen (Abschnitt Semantic Text Extraction):

Weitere Informationen zu diesen Einstellungen siehe Konfiguration – Mindbreeze InSpire – Sentence Transformation

Kann ich von meinen Benutzern Feedback über die Qualität von Antworten bekommen?

Das Voting-Feature bietet die Möglichkeit, Feedback eines Users zu einem Answer-Suchresultat zu erhalten. Dieses Feedback wird ebenfalls in der app.telemetry aufgezeichnet. Die InSpire Beta-Version von NLQA unterstützt derzeit keine automatische Anpassung der Relevanz von Antworten für Benutzer auf der Grundlage ihres Feedbacks.

Darüber hinaus werden andere User-Interaktionen mit Answers in app.telemetry aufgezeichnet, z.B. wenn ein Benutzer auf das Quell-Dokument der Answer klickt. Diese Interaktionen sowie das Feedback der Nutzer können im app.telemetry Insight App Reporting Dashboard grafisch dargestellt und ausgewertet werden.

Kann ich mithilfe der Mindbreeze Query Language die Suche mit NLQA beeinflussen?

Ja, es gibt Erweiterungen der Mindbreeze Query Language für NLQA.

Wenn NLQA aktiviert ist, wird bei jeder Suche automatisch eine sogenannte Ähnlichkeitssuche (englisch: „Similarity Search“) ausgeführt. Dieses Standardverhalten kann in der Index-Konfiguration angepasst werden. Siehe dafür die Einstellung „Transform Terms to Similarity“ in Konfiguration – Mindbreeze InSpire – Sentence Transformation.

Um eine Ähnlichkeitssuche explizit mithilfe der Mindbreeze Query Language abzusetzen (unabhängig von der Einstellung „Transform Terms to Similarity“), kann folgende Syntax verwendet werden:

~"<Frage>"

Beispiel: ~"Wie viele Konnektoren bietet Mindbreeze InSpire an?"

Die Ähnlichkeitssuche kann auch in Kombination mit der Metadaten-Suche verwendet werden:

<Metadatum>:~"<Frage>"

Beispiel: content:~"Wie viele Konnektoren bietet Mindbreeze InSpire an?"

Die Ähnlichkeitssuche unterstützt auch Optionen, wobei mehrere Optionen in einer Query angegeben werden können:

~[<Option>:<Wert> …]"<Frage>"

Beispiele:

• ~[minscore:0.5]"Wie viele Konnektoren bietet Mindbreeze InSpire an?"
• ~[minscore:0.5 region:large]"Wie viele Konnektoren bietet Mindbreeze InSpire an?"

Folgende Optionen stehen dabei zur Verfügung:

• minscore – Überschreibt den konfigurierten „Minimum Score“. Für mehr Informationen über den „Minimum Score“ siehe Konfiguration – Mindbreeze InSpire – Sentence Transformation.
  • Gültige Werte: Kommazahl zwischen 0 und 1 (in englischer Schreibweise, z. B. 0.5).
• region – Überschreibt die konfigurierte „Text Region“ Einstellung. Diese Option definiert die Größe der Antwort. Hierbei stehen die Werte „default“ und „large“ zur Auswahl.
  • default: Ist die Standardgröße und ist abhängig von den konfigurierten „Sentences Transformation Text Segmentation“ Einstellungen. Für mehr Informationen siehe Konfiguration – Mindbreeze InSpire – Sentence Transformation.
  • large: Ist ein großer Textblock, abhängig von folgenden Einstellungen im Konfigurationsbereich „Sentences Transformation Text Segmentation“:
    • Large Text Segment Max Size
    • Large Text Segment Overlap Size
    • Large Text Segment Min Size
  • Hinweis: Der Score der Antworten ist mit dieser Option tendenziell niedriger, weswegen empfohlen wird, auch die Option minscore (z. B. mit Wert 0.3) anzugeben.