Copyright ©
Mindbreeze GmbH, A-4020 Linz, 2024.
Alle Rechte vorbehalten. Alle verwendeten Hard- und Softwarenamen sind Handelsnamen und/oder Marken der jeweiligen Hersteller.
Diese Unterlagen sind streng vertraulich. Durch die Übermittlung und Präsentation dieser Unterlagen alleine werden keine Rechte an unserer Software, an unseren Dienstleistungen und Dienstleistungsresultaten oder sonstigen geschützten Rechten begründet. Die Weitergabe, Veröffentlichung oder Vervielfältigung ist nicht gestattet.
Aus Gründen der einfacheren Lesbarkeit wird auf die geschlechtsspezifische Differenzierung, z.B. Benutzer/-innen, verzichtet. Entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich für beide Geschlechter.
Die große Popularität und vielen Anwendungsmöglichkeiten von OpenAIs ChatGPT Lösung zeigen, wie relevant das Thema Generative AI auf Basis von Large Language Models (LLMs) ist. Gerade im Unternehmenskontext kann diese Technologie einen großen Mehrwert bieten. Der Einsatz wird jedoch durch Themen wie Halluzinationen, fehlende Aktualität, Datensicherheit, kritische Fragen bezgl. geistiges Eigentum und technische Umsetzung bei sensiblen Daten erschwert. Mindbreeze bietet eine Lösung in Form einer Kombination aus Insight Engine und LLMs, die in der Lage ist genau diese Schwächen auszugleichen. Das Ergebnis ist die ideale Basis für Generative AI im Unternehmenskontext.
Diese Basis trägt den Namen „Natural Language Question Answering“, kurz NLQA und vereint die semantische Suche mit dem „Question Answering“. Die semantische Suche ermöglicht das Arbeiten mit vollständigen Sätzen, womit man durch die Eingabe von Sätzen nach Informationen suchen kann. Das „Question Answering“ ist für das Identifizieren von Antwort zuständig, wodurch Antworten in natürlicher Sprache inklusive umliegendem Kontext und Quellenverweis wiedergegeben werden.
In den folgenden Kapiteln wird erklärt, wie die Basiskonfiguration für das NLQA durchgeführt wird. Für weitere Fragen über die Konfiguration und Nutzung des Features, ist das FAQ zu empfehlen. Auch Informationen über die Unterstützung eigener Sprachmodelle und die Handhabung von Feedback ist dort zu finden.
Achtung: Bei der semantischen Suche über trainierte Modelle kann keine 100% vollständige und korrekte Suche gewährleistet werden. Eine Anpassung der Modelle wird nur bei dedizierten Projekten unterstützt, wobei die gelabelten Trainings- und Testdaten von der Kundenumgebung bereitgestellt werden. Zusätzlich ist zu beachten, dass wesentlich mehr Rechenleistung für die Aufbereitung der Daten verwendet wird. Bitte beachten Sie, dass dadurch die Indizierungszeit länger dauen kann. Daher ist nicht gewährleistet, dass die volle Dokumentanzahl mit diesem Feature betrieben werden kann.
In diesem Abschnitt wird beschrieben, Konfigurationsschritte notwendig sind, damit Natural Language Question Answering (NLQA) aktiviert wird.
Navigieren Sie im Mindbreeze Management Center (MMC) zum „Configuration“ Menü und wechseln Sie zum „Indices“ Tab. Fügen Sie anschließend einen neuen Index hinzu („+ Add Index“) und aktivieren Sie „Advanced Settings“.
Damit NLQA aktiviert werden kann, muss Named Entity Recognition (NER) konfiguriert werden. Wenn Sie NER bereits in den globalen Index Settings konfiguriert haben, können Sie diesen Schritt überspringen.
Wenn NER jedoch noch nicht konfiguriert wurde, scrollen sie bitte zum Bereich „Semantic Text Extraction“ (in den lokalen Index Settings, nicht zu verwechseln mit den „Global Index Settings“.
Konfigurieren sie folgende Optionen:
Aktivieren Sie im nächsten Schritt die Option „Enable Sentence Transformation“ (im Bereich „Semantic Text Extraction“).
Weitere empfohlene Einstellungen:
Konfigurieren Sie ihre Datenquelle. Dokumentation der von Mindbreeze InSpire unterstützen Datenquellen finden sie auf help.mindbreeze.com im Bereich „Datenquellen“.
Warten Sie, bis die Indizierung abgeschlossen ist. Testen Sie ihre Konfiguration mithilfe der Standard Mindbreeze InSpire Insight App.
Ja, Sie können NLQA auch auf bestehenden Indizes aktivieren. Konfigurieren Sie „Named Entity Recognition (NER)“ und „Sentence Transformation“, so wie oben beschrieben. Anschließend muss der Index neu aufgebaut werden. Führen Sie einen der folgenden Schritte durch:
Standardmäßig werden die Antworten direkt über den Suchresultaten angezeigt. Darüber hinaus kann die Visualisierung der Antworten frei an Ihre Bedürfnisse angepasst und auch vollständig deaktiviert werden. Siehe dazu Entwicklung von Insight Apps – answers.
Das NLQA-Feature kann mit der bestehenden Mindbreeze InSpire Lizenz genutzt werden. Für weitere Informationen wenden Sie sich bitte an support@mindbreeze.com.
Die Basis für die semantische Suche wird von Transformer-Based-Language-Models im ONNX-Format gebildet. Durch die Verwendung dieses offenen Standards können vortrainierte (pre-trained Models) oder selbst trainierte LLMs in Mindbreeze InSpire integriert werden. Die Konfiguration von Custom Sentence Transformer Models ist in Konfiguration – Mindbreeze InSpire – Sentence Transformation beschrieben.
Es gibt verschiedene Möglichkeiten, die angezeigten Antworten zu beeinflussen:
Filtern von Antworten aufgrund der Qualität oder Anzahl:
Antworten werden nach Ähnlichkeitsfaktor sortiert, wobei die beste Antwort an erster Stelle steht. Der minimale Ähnlichkeitsfaktor für die Anzeige einer Antwort beträgt standardmäßig 50%. Dieser Wert („Minimum Score“) sowie die maximale Anzahl von Antworten („Answer Count“) können in der jeweiligen Index- und Client-Service-Konfiguration (Konfiguration – Mindbreeze InSpire – Sentence Transformation) eingestellt werden.
Reihenfolge der Antworten kann beeinflusst werden (Boostings):
Mindbreeze-Komponenten zur Beeinflussung der Relevanz von Suchtreffern wie der Term2DocumentBoost Transformer und Personalisierte Relevanz können auch für das Boosten von Antworten verwendet werden. Darüber hinaus werden Boostings, die in der api.v2.search-Schnittstelle definiert werden, auch für die Relevanz von Answers angewendet.
Ja, es gibt erweiterte Konfigurationsoptionen für NLQA in Konfiguration – Mindbreeze InSpire – Sentence Transformation. Diese Optionen sind normalerweise nur dann für Sie relevant, wenn Sie spezielle Anwendungsfälle haben, die eine spezielle Konfiguration erfordern. Bitte kontaktieren Sie support@mindbreeze.com, wenn Sie für Ihr Data-Science-Projekt Unterstützung benötigen, z.B. wenn Sie ein anderes Modell als das standardmäßig mitgelieferte Sentence Transformer Modell verwenden wollen.
Das Voting-Feature bietet die Möglichkeit, Feedback eines Users zu einem Answer-Suchresultat zu erhalten. Dieses Feedback wird ebenfalls in der app.telemetry aufgezeichnet. Die InSpire Beta-Version von NLQA unterstützt derzeit keine automatische Anpassung der Relevanz von Antworten für Benutzer auf der Grundlage ihres Feedbacks.
Darüber hinaus werden andere User-Interaktionen mit Answers in app.telemetry aufgezeichnet, z.B. wenn ein Benutzer auf das Quell-Dokument der Answer klickt. Diese Interaktionen sowie das Feedback der Nutzer können im app.telemetry Insight App Reporting Dashboard grafisch dargestellt und ausgewertet werden.