Handbuch

Administration von Insight Services für Retrieval Augmented Generation

Motivation und Überblick

Retrieval Augmented Generation (RAG) ist eine Technik zur Verarbeitung natürlicher Sprache, die Stärken von abfragebasierten und generativen Modellen der künstlichen Intelligenz (KI) kombiniert. In einem RAG-basierten KI-System wird ein Abfragemodell verwendet, um relevante Informationen aus vorhandenen Informationsquellen zu finden. Währenddessen nimmt das generative Modell die abgefragten Informationen auf, synthetisiert alle Daten und formt sie in eine zusammenhängende, kontextbezogene Antwort um.

Konfiguration eines Large Language Model (LLM)

Initialeinrichtung

Die Anleitung für die Initialeinrichtung eines LLMs finden Sie in Konfiguration – InSpire AI Chat und Insight Services für Retrieval Augmented Generation.

Integration eines LLMs

Um ein Large Language Model (LLM) für Ihre Pipelines zu konfigurieren, wechseln Sie im Menüpunkt „RAG“ zum Bereich "LLMs".

Klicken Sie auf "Hinzufügen" und wählen Sie das entsprechende LLM aus, um es zu konfigurieren. Derzeit sind vier LLMs für die Integration verfügbar:

• OpenAI
• Azure OpenAI
• InSpire LLM
• Aleph Alpha

Die folgenden Einstellungen können für das jeweilige LLM konfiguriert werden.

OpenAI

Beim Anlegen eines OpenAI LLMs werden Sie durch einen Dialog auf die Datenschutzbestimmungen hingewiesen. Sie müssen diesen Datenschutzbestimmungen zustimmen, um mit dem Anlegen fortzufahren.

Achtung: Bei Verwendung der OpenAI API werden Chat Eingaben des Benutzers und von Ihrer Organisation indizierte Informationen über Prompts an die jeweiligen Endpunkte übermittelt. Der Umgang mit den übermittelten Informationen richtet sich nach den Datenschutz-Bestimmungen des entsprechenden KI-Anbieters. Mindbreeze ist für die weiterführende Datenverarbeitung nicht verantwortlich. Der KI-Anbieter ist weder Erfüllungsgehilfe noch Unterauftragsverarbeiter von Mindbreeze. Wir weisen darauf hin, dass eine rechtmäßige Nutzung von KI-Dienstleistungen nach gegenwärtiger Einschätzung nicht sichergestellt ist (vorsorglicher Hinweis nach Art 28 Abs. 3 S. 3 DSGVO). Für weitere Informationen und Risiken wird auf die jeweiligen Datenschutzhinweise des jeweiligen KI-Anbieters verwiesen.

Mehr Informationen erhalten Sie unter https://openai.com/enterprise-privacy .

Durch Bestätigung der Checkbox weisen Sie als Datenverantwortlicher Mindbreeze an, diese Übermittlung dennoch durchzuführen und nehmen den oben beschriebenen Hinweis zur Kenntnis.

Verbindung

Mit "Verbindung testen" wird geprüft, ob die angegebenen Werte gültig sind und ob die Verbindung hergestellt werden kann.

Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.

Azure OpenAI

Beim Anlegen eines Azure OpenAI LLMs werden Sie durch einen Dialog auf die Datenschutzbestimmungen hingewiesen. Sie müssen diesen Datenschutzbestimmungen zustimmen, um mit dem Anlegen fortzufahren.

Achtung: Bei Verwendung der Azure OpenAI API werden Chat Eingaben des Benutzers und von Ihrer Organisation indizierte Informationen über Prompts an die jeweiligen Endpunkte übermittelt. Der Umgang mit den übermittelten Informationen richtet sich nach den Datenschutz-Bestimmungen des entsprechenden KI-Anbieters. Mindbreeze ist für die weiterführende Datenverarbeitung nicht verantwortlich. Der KI-Anbieter ist weder Erfüllungsgehilfe noch Unterauftragsverarbeiter von Mindbreeze. Wir weisen darauf hin, dass eine rechtmäßige Nutzung von KI-Dienstleistungen nach gegenwärtiger Einschätzung nicht sichergestellt ist (vorsorglicher Hinweis nach Art 28 Abs. 3 S. 3 DSGVO). Für weitere Informationen und Risiken wird auf die jeweiligen Datenschutzhinweise des jeweiligen KI-Anbieters verwiesen.

Mehr Informationen erhalten Sie unter https://learn.microsoft.com/de-de/legal/cognitive-services/openai/data-privacy

Durch Bestätigung der Checkbox weisen Sie als Datenverantwortlicher Mindbreeze an, diese Übermittlung dennoch durchzuführen und nehmen den oben beschriebenen Hinweis zur Kenntnis.

Verbindung

Modell

Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.

InSpire LLM

Verbindung

Modell

Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.

Aleph Alpha

Beim Anlegen eines Aleph Alpha LLMs werden Sie durch einen Dialog auf die Datenschutzbestimmungen hingewiesen. Sie müssen diesen Datenschutzbestimmungen zustimmen, um mit dem Anlegen fortzufahren.

Achtung: Bei Verwendung der Aleph Alpha API werden Chat Eingaben des Benutzers und von Ihrer Organisation indizierte Informationen über Prompts an die jeweiligen Endpunkte übermittelt. Der Umgang mit den übermittelten Informationen richtet sich nach den Datenschutz-Bestimmungen des entsprechenden KI-Anbieters. Mindbreeze ist für die weiterführende Datenverarbeitung nicht verantwortlich. Der KI-Anbieter ist weder Erfüllungsgehilfe noch Unterauftragsverarbeiter von Mindbreeze. Wir weisen darauf hin, dass eine rechtmäßige Nutzung von KI-Dienstleistungen nach gegenwärtiger Einschätzung nicht sichergestellt ist (vorsorglicher Hinweis nach Art 28 Abs. 3 S. 3 DSGVO). Für weitere Informationen und Risiken wird auf die jeweiligen Datenschutzhinweise des jeweiligen KI-Anbieters verwiesen.

Mehr Informationen erhalten Sie unter https://aleph-alpha.com/de/datenschutz/

Durch Bestätigung der Checkbox weisen Sie als Datenverantwortlicher Mindbreeze an, diese Übermittlung dennoch durchzuführen und nehmen den oben beschriebenen Hinweis zur Kenntnis.

Verbindung

Mit "Verbindung testen" wird geprüft, ob die angegebenen Werte gültig sind und ob die Verbindung hergestellt werden kann.

Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.

Allgemeine Teile der LLM-Einstellungen

Allgemein

Prompt

Prompt Beispiele

Diese Beispiele werden im Mindbreeze InSpire AI Chat als Beispielfragen angezeigt. Dementsprechend eignen sich häufig gestellte Fragen als Prompt Beispiele. Durch das Anklicken eines Prompt Beispiels wird diese Frage im Mindbreeze InSpire AI Chat automatisch eingegeben. Ein Prompt Beispiel kann erstellt werden, indem Sie auf „Hinzufügen“ drücken und die folgenden Felder befüllen:

Klicken Sie auf „Speichern“ um das Prompt Beispiel zu sichern. Es können beliebig viele Prompt Beispiele erstellt werden. Sind alle Prompt Beispiele erstellt, speichern sie das gesamte LLM um die Änderungen zu sichern.

Test

Auf dieser Seite kann die Konfiguration getestet werden. Falls LLM Parameter definiert worden sind, werden dieser hier nochmals zusammengefasst. Beachten Sie, dass der generierte Text nicht auf abgerufenen Dokumenten basiert.

Nach dem Testen der LLM-Einstellungen klicken Sie auf "Speichern", um das LLM zu speichern.

Erstellung einer Pipeline

Um eine Pipeline zu erstellen, wechseln Sie in den Bereich „Generative Pipelines“. Klicken Sie auf „Hinzufügen“, um mit der Erstellung einer neuen Pipeline zu beginnen.

Die Erstellung einer Pipeline teilt sich in fünf Bereiche auf:

1. Allgemein
2. Beispiele
3. Retrieval
4. Generation
5. Test

In den folgenden Kapiteln wird genauer auf die einzelnen Bereiche eingegangen.

Allgemein

Im Bereich „Allgemein“ können folgende allgemeine Einstellungen vorgenommen werden:

Im Bereich „Prompt Beispiele“ können Beispielfragen für eine Pipeline hinzugefügt werden, die im AI Chat angezeigt werden. Sind keine Beispielfragen in der Pipeline definiert, werden Beispielfragen vom LLM übernommen. Sind auch im LLM keine Beispielfragen definiert, werden im AI Chat keine Beispielfragen angezeigt. Für mehr Informationen zu Prompt Beispielen, siehe das Kapitel Erstellung von Prompt Beispielen.

Sind die notwendigen Einstellungen erledigt, können Sie mit „Weiter“ oder mit einem Klick auf den gewünschten Bereich in der linken Navigationsleiste zum nächsten Bereich fortfahren.

Beispiele

Dieser Bereich hat momentan noch keine Auswirkungen auf die Pipeline und kann übersprungen werden.

Im Bereich „Beispiele“ können Sie ein neues Datenset erstellen oder ein existierendes Datenset hinzufügen. Die Datensets in diesem Bereich können zukünftig für die Evaluierung der Pipeline verwendet werden, damit die Auswirkungen einer Änderung untersucht werden können.

Erstellung eines neuen Datensets

Wenn hier ein neues Datenset erstellt wird, dann wird dies automatisch der Pipeline hinzugefügt. Für mehr Informationen, siehe das Kapitel Hinzufügen von Daten.

Hinzufügen eines existierenden Datensets

Wenn Sie bereits ein (oder mehrere) Datensets erstellt haben, welche Sie in dieser Pipeline verwenden möchte, können Sie dies hinzufügen, indem Sie auf „Existierendes Datenset hinzufügen“ klicken. In dem Kontextmenü können Sie mehrere Datensets auswählen und durch „Hinzufügen“ in ihrer Pipeline verwenden.

Retrieval

Nur Indizes, die das Feature „Semantic Sentence Similarity Search” aktiviert haben, können im AI Chat Antworten für die Generierung liefern.

Im Bereich „Retrieval“ kann der Retrieval-Teil des RAG konfiguriert werden. Dabei stehen die folgenden Einstellungen zur Verfügung:

Im Abschnitt „Regeln“ kann die Pipeline verfeinert und auf die jeweiligen Anforderungen angepasst werden.

Im Abschnitt „Verwendete Datenquellen“ wird eine Übersicht über die effektiven Datenquellen des gewählten Suchservices geboten.

Generation

Im Bereich „Generation“ wird die Prompt-Generierung konfiguriert, das LLM und die Prompt Templates ausgewählt, die mit den Suchergebnissen befüllt und anschließend zum konfigurierten LLM geschickt werden.

Wählen Sie in der Einstellung „Model“ das von Ihnen erstellte LLM aus. Durch die Auswahl des LLMs erhalten Sie eine Zusammenfassung bestehend aus den folgenden Punkten:

Evaluierung

Einstellungen hier sind nur notwendig, wenn eine Pipeline z.B. explizit zur Datenset-Verfeinerung angelegt wurde.

Test

Im Bereich „Test“ können Sie die Einstellungen der Pipeline testen und überprüfen, ob die getätigten Einstellungen die Anforderungen erfüllen.

Veröffentlichung der erstellten Pipeline

Status der Pipeline

Eine Pipeline kann mehrere Versionen haben und jede Version davon hat einen Status:

• In Bearbeitung: Diese Pipeline hat momentan eine Bearbeitungsversion. Es kann pro Pipeline nur eine Bearbeitungsversion geben. Die Bearbeitungsversion kann jederzeit bearbeitet werden.
• Freigegeben: Eine freigegebene Version ist im Nachhinein nicht mehr veränderbar. Wenn man an einer freigegebenen Version im Nachhinein noch Änderungen vornehmen möchte, wird eine neue Bearbeitungsversion erstellt, sofern noch keine vorhanden ist.
• Veröffentlicht: Pro Pipeline kann nur eine freigegebene Version veröffentlicht werden. Es ist auch möglich eine frühere freigegebene Version zu veröffentlichen. Daher muss nicht zwangsläufig die letzte freigegebene Version veröffentlicht werden. Veröffentlichte Versionen können auch wieder zurückgenommen werden, wenn man die Veröffentlichung entfernt.

Freigabe der Pipeline-Version

Nachdem eine Pipeline erstellt oder bearbeitet wurde, gibt es dafür eine Bearbeitungsversion. Um die Bearbeitungsversion abzuschließen, muss diese freigegeben werden. Wählen Sie dafür die erstellte Pipeline aus und klicken Sie auf „Version freigeben“. Geben Sie einen Versionsnamen und optional eine Versionsbeschreibung an. Klicken Sie dann auf „Version freigeben“.

Veröffentlichung der Pipeline-Version

Um eine Pipeline im Mindbreeze InSpire AI Chat zu verwenden ist die Veröffentlichung einer Version notwendig. Markieren Sie dazu eine Pipeline, die bereits eine freigegebene Version enthält und klicken Sie auf „Veröffentlichen“. Es können nur freigegebene Pipeline Versionen veröffentlicht werden.

Wählen Sie in dem Dialogfeld eine Pipeline-Version aus, die Sie veröffentlichen möchten, und überprüfen Sie den Anzeigenamen und die Beschreibung. Wenn bereits eine Version der Pipeline veröffentlicht ist, dann findet man Informationen zu der veröffentlichten Version der Pipeline über dem Auswahlfeld.

Klicken Sie anschließend „Veröffentlichen“, damit die ausgewählte Version veröffentlicht wird. Nach der Veröffentlichung sollte in der Spalte „Veröffentlicht“ die Versionsnummer der veröffentlichten Version stehen.

Sie können nun ihre erstellte Pipeline im Mindbreeze InSpire AI Chat auswählen und benutzen.

Entfernung der Veröffentlichung

Wählen Sie eine veröffentlichte Pipeline und klicken Sie auf „Veröffentlichen“. In dem Dialogfeld finden Sie Informationen zur veröffentlichten Version. Klicken Sie anschließend auf „Veröffentlichung entfernen“.

In der Übersicht sollte bei der Pipeline kein Wert mehr bei „Veröffentlicht“ stehen. Die Pipeline ist nun nicht mehr im Mindbreeze InSpire AI Chat verfügbar.

Producer-Consumer-Einrichtung

Wenn Sie ein Producer-Consumer-Szenario haben, kann die RAG-Konfiguration mit der Schaltfläche "Mit dem Consumer synchronisieren" auf alle Nodes synchronisiert werden.

Erstellung von Datensets

In diesem Bereich können Datensets erstellt werden, welche zur Evaluierung von Pipelines notwendig sind.

Erstellung eines neuen Datensets

Hinzufügen von Daten

Klicken Sie auf „Neues Datenset erstellen“, und geben Sie dem Datenset bei „Name des Datensets“ einen Namen. Fügen Sie anschließend Daten zu einem Datenset hinzu, indem Sie auf „Hinzufügen“ klicken.

Folgende Felder können befüllt werden:

Kontexte

In den Kontexten können pro Frage die erwarteten Antworten eingegeben werden.

Speichern Sie die Änderungen in den Kontexten indem Sie in dem Fenster unten auf „Speichern“ klicken.

Platzhalter

Pro Frage können Platzhalter definiert werden, wo der Wert des Platzhalters in den Prompt eingefügt werden soll. Der Abgleich erfolgt anhand des Schlüssels.

Speichern Sie die Änderungen in den Platzhaltern indem Sie im Fenster unten auf „Speichern“ klicken.

Klicken Sie schlussendlich auf „Speichern“, um das Datenset zu speichern.

Hochladen einer Datei

Neben der manuellen Erstellung von Daten, kann auch eine Datei hochgeladen werden. Klicken Sie dafür auf „Datei hochladen“. Legen Sie fest, ob die Daten aus der Datei die bestehenden Einträge erweitern oder überschreiben soll.

Beachten Sie, dass nur eine Datei hochgeladen werden kann. Die folgenden Dateitypen sind kompatibel: JSON und CSV.

Wurde die Datei erfolgreich geladen, klicken Sie auf „Hinzufügen“. Speichern Sie anschließend das Datenset.

JSON Upload

Pro Frage können folgende Werte angegeben werden:

Kontexte können folgende Werte enthalen:

Beispiel einer JSON-Datei:

{

  "data": [

    {

      "question": "Wie kann ich eine SAML basierende Authentication in Mindbreeze InSpire konfigurieren?",

      "answer": "Die Konfiguration von SAML in Mindbreeze erfolgt in vier Schritten: 1. Hinzufügen eines SSL Zertifikats 2. Konfiguration des SAML Authenticators 3. Konfiguration der Parameter 4.Aktivieren von SAML für einzelne Services",

      "remark": "Das ist eine Notiz zur Frage",

      "contexts": [

        {

          "text": "Die Konfiguration von SAML in Mindbreeze erfolgt in vier Schritten: 1. Hinzufügen eines SSL Zertifikats, das zur Erzeugung der Service Provider  Metadaten verwendet wird 2. Konfiguration des SAML Authenticators 3. Konfiguration der Parameter (Session timeout und Metadata timeout) 4. Aktivieren von SAML für einzelne Services",

          "source": "https://help.mindbreeze.com/de/index.php?topic=doc/SAML-Authentifizierung/index.html"

        },

        {

          "text": "Noch ein Context",

          "source": "noch_eine_quelle.pdf"

        }

      ],

      "pipeline_key": "spezielle-pipeline",

      "query_constraints": [

        "extension:pdf",

        "fqcategory:Web"

      ],

      "queries": [

        "Welche Authorisierungsmöglichkeiten gibt es in {product}?",

        "Was ist {authentication}?"

      ],

      "prompt_placeholders": {

        "product": "Mindbreeze InSpire",

        "authentication": "SAML"

      }

    },

    {

      "question": "Die nächste Frage ..."

    }

  ]

}

CSV Upload

Bei der CSV-Datei muss darauf geachtet werden, dass das Trennzeichen ein Semikolon ist und die Datei im UTF-8 Format gespeichert wurde, da die Bereiche gegebenenfalls nicht korrekt eingelesen werden können oder es Fehler beim Einlesen geben kann.

Die Datei muss einen Header haben.

Beispiel einer CSV-Datei:

question;answer;remark;queries;queryconstraints;context;source;context;source;pipelinename;pp_product;pp_authentication

Wie kann ich eine SAML basierende Authentication in Mindbreeze InSpire konfigurieren?;Die Konfiguration von SAML in Mindbreeze erfolgt in vier Schritten: 1. Hinzufügen eines SSL Zertifikats 2. Konfiguration des SAML Authenticators 3. Konfiguration der Parameter 4.Aktivieren von SAML für einzelne Services;Eine Frage über Authentifizierung;"Welche Authorisierungsmöglichkeiten gibt es in {product}?

Was ist {authentication}?";"extension:pdf

fqcategory:Web";Die Konfiguration von SAML in Mindbreeze erfolgt in vier Schritten: 1. Hinzufügen eines SSL Zertifikats, das zur Erzeugung der Service Provider  Metadaten verwendet wird 2. Konfiguration des SAML Authenticators 3. Konfiguration der Parameter (Session timeout und Metadata timeout) 4. Aktivieren von SAML für einzelne Services;https://help.mindbreeze.com/de/index.php?topic=doc/SAML-Authentifizierung/index.html;Ein zweiter Kontext;noch_eine_quelle.pdf;spezielle_pipeline;Mindbreeze InSpire;SAML

Evaluierung einer Pipeline

Um die Effektivität einer Pipeline zu testen, gibt es die Möglichkeit, Pipelines dahingehend zu evaluieren.

Übersicht

In der Übersicht werden die Evaluierungen aufgelistet und entsprechend der Startzeit gereiht.

Neue Evaluierung anlegen

Mit „Neue Evaluierung“ kann eine neue Evaluierung angelegt werden.

Evaluierungsübersicht

Zusammenfassung des Evaluierungsergebnisses

Übersicht der Ergebnisse der einzelnen Fragen

Mit „Details“ sieht man die Details der Evaluierung einer Frage.

Ergebnis einer Frage

Allgemein

Bewertung

Hier gibt es die Möglichkeit, das Evaluierungsergebnis für eine Frage zu bewerten.

Nach dem Einfügen/Ändern einer Bewertung muss das Ergebnis mit „Speichern“ gespeichert werden.

Generierung

Dieser Bereich gibt Aufschluss über die Antwortgenerierung.

In der Tabelle darunter findet man die erwartete Antwort der Frage (im Datenset definiert) gegenübergestellt mit der erhaltenen Antwort des LLM.

Retrieval

Dieser Bereich gibt Aufschluss über den Retrieval Prozess.

In der Tabelle werden die erwarteten Kontexte (im Datenset definiert) gegenübergestellt mit den erhaltenen Kontexten aus dem Retrieval Prozess.