Copyright ©
Mindbreeze GmbH, A-4020 Linz, 2024.
Alle Rechte vorbehalten. Alle verwendeten Hard- und Softwarenamen sind Handelsnamen und/oder Marken der jeweiligen Hersteller.
Diese Unterlagen sind streng vertraulich. Durch die Übermittlung und Präsentation dieser Unterlagen alleine werden keine Rechte an unserer Software, an unseren Dienstleistungen und Dienstleistungsresultaten oder sonstigen geschützten Rechten begründet. Die Weitergabe, Veröffentlichung oder Vervielfältigung ist nicht gestattet.
Aus Gründen der einfacheren Lesbarkeit wird auf die geschlechtsspezifische Differenzierung, z.B. Benutzer/-innen, verzichtet. Entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich für beide Geschlechter.
Retrieval Augmented Generation (RAG) ist eine Technik zur Verarbeitung natürlicher Sprache, die Stärken von abfragebasierten und generativen Modellen der künstlichen Intelligenz (KI) kombiniert. In einem RAG-basierten KI-System wird ein Abfragemodell verwendet, um relevante Informationen aus vorhandenen Informationsquellen zu finden. Währenddessen nimmt das generative Modell die abgefragten Informationen auf, synthetisiert alle Daten und formt sie in eine zusammenhängende, kontextbezogene Antwort um.
Die Anleitung für die Initialeinrichtung eines LLMs finden Sie in Konfiguration – InSpire AI Chat und Insight Services für Retrieval Augmented Generation.
Um ein Large Language Model (LLM) für Ihre Pipelines zu konfigurieren, wechseln Sie im Menüpunkt „RAG“ zum Bereich "LLMs".
Klicken Sie auf "Hinzufügen" und wählen Sie das entsprechende LLM aus, um es zu konfigurieren. Derzeit sind vier LLMs für die Integration verfügbar:
Die folgenden Einstellungen können für das jeweilige LLM konfiguriert werden.
Beim Anlegen eines OpenAI LLMs werden Sie durch einen Dialog auf die Datenschutzbestimmungen hingewiesen. Sie müssen diesen Datenschutzbestimmungen zustimmen, um mit dem Anlegen fortzufahren.
Achtung: Bei Verwendung der OpenAI API werden Chat Eingaben des Benutzers und von Ihrer Organisation indizierte Informationen über Prompts an die jeweiligen Endpunkte übermittelt. Der Umgang mit den übermittelten Informationen richtet sich nach den Datenschutz-Bestimmungen des entsprechenden KI-Anbieters. Mindbreeze ist für die weiterführende Datenverarbeitung nicht verantwortlich. Der KI-Anbieter ist weder Erfüllungsgehilfe noch Unterauftragsverarbeiter von Mindbreeze. Wir weisen darauf hin, dass eine rechtmäßige Nutzung von KI-Dienstleistungen nach gegenwärtiger Einschätzung nicht sichergestellt ist (vorsorglicher Hinweis nach Art 28 Abs. 3 S. 3 DSGVO). Für weitere Informationen und Risiken wird auf die jeweiligen Datenschutzhinweise des jeweiligen KI-Anbieters verwiesen.
Mehr Informationen erhalten Sie unter https://openai.com/enterprise-privacy .
Durch Bestätigung der Checkbox weisen Sie als Datenverantwortlicher Mindbreeze an, diese Übermittlung dennoch durchzuführen und nehmen den oben beschriebenen Hinweis zur Kenntnis.
Einstellung | Beschreibung |
API Key (erforderlich) | Der API-Key. |
Modell (erforderlich) | Der Name des zu verwendenden Open AI LLM. |
Mit "Verbindung testen" wird geprüft, ob die angegebenen Werte gültig sind und ob die Verbindung hergestellt werden kann.
Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.
Beim Anlegen eines Azure OpenAI LLMs werden Sie durch einen Dialog auf die Datenschutzbestimmungen hingewiesen. Sie müssen diesen Datenschutzbestimmungen zustimmen, um mit dem Anlegen fortzufahren.
Achtung: Bei Verwendung der Azure OpenAI API werden Chat Eingaben des Benutzers und von Ihrer Organisation indizierte Informationen über Prompts an die jeweiligen Endpunkte übermittelt. Der Umgang mit den übermittelten Informationen richtet sich nach den Datenschutz-Bestimmungen des entsprechenden KI-Anbieters. Mindbreeze ist für die weiterführende Datenverarbeitung nicht verantwortlich. Der KI-Anbieter ist weder Erfüllungsgehilfe noch Unterauftragsverarbeiter von Mindbreeze. Wir weisen darauf hin, dass eine rechtmäßige Nutzung von KI-Dienstleistungen nach gegenwärtiger Einschätzung nicht sichergestellt ist (vorsorglicher Hinweis nach Art 28 Abs. 3 S. 3 DSGVO). Für weitere Informationen und Risiken wird auf die jeweiligen Datenschutzhinweise des jeweiligen KI-Anbieters verwiesen.
Mehr Informationen erhalten Sie unter https://learn.microsoft.com/de-de/legal/cognitive-services/openai/data-privacy
Durch Bestätigung der Checkbox weisen Sie als Datenverantwortlicher Mindbreeze an, diese Übermittlung dennoch durchzuführen und nehmen den oben beschriebenen Hinweis zur Kenntnis.
Einstellung | Beschreibung |
URL (erforderlich) | URL des LLM Endpoint. |
API Key (erforderlich) | Der API Key. |
Einstellung | Beschreibung |
Azure Bereitstellung (erforderlich) | Name der Azure Bereitstellung. |
Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.
Einstellung | Beschreibung |
URL (erforderlich) | URL des LLM Endpoint. |
Einstellung | Beschreibung |
User Message Token User Message End Token Assistant Message Token Assistant Message End Token Message End Token | Je nach Modell auszufüllen (Default: Only the Message End Token is used with the Value “</s>” |
Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.
Beim Anlegen eines Aleph Alpha LLMs werden Sie durch einen Dialog auf die Datenschutzbestimmungen hingewiesen. Sie müssen diesen Datenschutzbestimmungen zustimmen, um mit dem Anlegen fortzufahren.
Achtung: Bei Verwendung der Aleph Alpha API werden Chat Eingaben des Benutzers und von Ihrer Organisation indizierte Informationen über Prompts an die jeweiligen Endpunkte übermittelt. Der Umgang mit den übermittelten Informationen richtet sich nach den Datenschutz-Bestimmungen des entsprechenden KI-Anbieters. Mindbreeze ist für die weiterführende Datenverarbeitung nicht verantwortlich. Der KI-Anbieter ist weder Erfüllungsgehilfe noch Unterauftragsverarbeiter von Mindbreeze. Wir weisen darauf hin, dass eine rechtmäßige Nutzung von KI-Dienstleistungen nach gegenwärtiger Einschätzung nicht sichergestellt ist (vorsorglicher Hinweis nach Art 28 Abs. 3 S. 3 DSGVO). Für weitere Informationen und Risiken wird auf die jeweiligen Datenschutzhinweise des jeweiligen KI-Anbieters verwiesen.
Mehr Informationen erhalten Sie unter https://aleph-alpha.com/de/datenschutz/
Durch Bestätigung der Checkbox weisen Sie als Datenverantwortlicher Mindbreeze an, diese Übermittlung dennoch durchzuführen und nehmen den oben beschriebenen Hinweis zur Kenntnis.
Einstellung | Beschreibung |
API Key (erforderlich) | Der API-Key. |
Modell (erforderlich) | Der Name des zu verwendenden Aleph Alpha LLM. |
Mit "Verbindung testen" wird geprüft, ob die angegebenen Werte gültig sind und ob die Verbindung hergestellt werden kann.
Für die Bereiche „Allgemein“, „Prompt“ und „Test“ siehe das Kapitel Allgemeine Teile der LLM-Einstellungen.
Einstellung | Beschreibung |
Name | Name des Large Language Models. |
Maximale Länge der Antwort (Tokens) | Begrenzt die Menge der erzeugten Token (1 Token ~ 1 Wort). Der Wert "0" begrenzt die Token nicht. Begrenze die Länge der Antwort, um zu lange Antworten zu vermeiden und die Belastung des LLM Endpoints zu verringern. Achtung: Stellen Sie sicher, dass die Länge des Prompts und die maximale Antwortlänge nicht größer ist als die Länge des Kontextes des Modells. |
Zufälligkeit (Temperatur) überschreiben | Wenn aktiviert, wird die Standardtemperatur des LLM mit der konfigurierten "Zufälligkeit der Antwort" überschrieben. |
Zufälligkeit der Antwort (Temperatur) | Steuert die Zufälligkeit der generierten Antwort (0 - 100%). Höhere Werte machen die Ausgabe kreativer, während niedrigere Werte sie zielgerichteter und deterministischer machen. |
Einstellung | Beschreibung |
Preprompt | Ein Pre-Prompt wird verwendet, um spezifische Rollen, Absichten und Einschränkungen auf jeden nachfolgenden Prompt eines Modells anzuwenden. |
Prompt Examples | Siehe das Kapitel Prompt Beispiele. |
Diese Beispiele werden im Mindbreeze InSpire AI Chat als Beispielfragen angezeigt. Dementsprechend eignen sich häufig gestellte Fragen als Prompt Beispiele. Durch das Anklicken eines Prompt Beispiels wird diese Frage im Mindbreeze InSpire AI Chat automatisch eingegeben. Ein Prompt Beispiel kann erstellt werden, indem Sie auf „Hinzufügen“ drücken und die folgenden Felder befüllen:
Einstellung | Beschreibung | Beispiel |
Titel | Der Titel des Prompt Beispiels. Dieser Text wird im Mindbreeze InSpire AI Chat angezeigt | Fragen Sie, wie viele Konnektoren Mindbreeze unterstützt. |
Prompt | Die Frage oder Anweisung, die im Mindbreeze InSpire AI Chat eingegeben wird. | Wie viele Konnektoren unterstützt Mindbreeze? |
Klicken Sie auf „Speichern“ um das Prompt Beispiel zu sichern. Es können beliebig viele Prompt Beispiele erstellt werden. Sind alle Prompt Beispiele erstellt, speichern sie das gesamte LLM um die Änderungen zu sichern.
Auf dieser Seite kann die Konfiguration getestet werden. Beachten Sie, dass der generierte Text nicht auf abgerufenen Dokumenten basiert.
Nach dem Testen der LLM-Einstellungen klicken Sie auf "Speichern", um das LLM zu speichern.
Um eine Pipeline zu erstellen, wechseln Sie in den Bereich „Generative Pipelines“. Klicken Sie auf „Hinzufügen“, um mit der Erstellung einer neuen Pipeline zu beginnen.
Die Erstellung einer Pipeline teilt sich in fünf Bereiche auf:
In den folgenden Kapiteln wird genauer auf die einzelnen Bereiche eingegangen.
Im Bereich „Allgemein“ können folgende allgemeine Einstellungen vorgenommen werden:
Einstellung | Beschreibung |
Name | Der Name, der im Mindbreeze InSpire AI Chat angezeigt wird. |
Beschreibung | Beschreibung der Pipeline. |
Version | Eine generierte Versions-ID. |
Vorgängerversion | Die vorhergehende Version, worauf diese Version basiert. |
Versionsname | Wenn eine Pipeline freigegeben wird, muss ein Versionsname angegeben werden. Der Versionsname wird nicht im Mindbreeze InSpire AI Chat angezeigt und dient zur Nachvollziehbarkeit von Änderungen an der Pipeline. Der Versionsname soll eine kurze Zusammenfassung der Änderungen beinhalten. |
Versionsbeschreibung | Eine detailliertere Beschreibung der Änderungen in der Pipeline. |
Im Bereich „Prompt Beispiele“ können Beispielfragen für eine Pipeline hinzugefügt werden, die im AI Chat angezeigt werden. Sind keine Beispielfragen in der Pipeline definiert, werden Beispielfragen vom LLM übernommen. Sind auch im LLM keine Beispielfragen definiert, werden im AI Chat keine Beispielfragen angezeigt. Für mehr Informationen zu Prompt Beispielen, siehe das Kapitel Erstellung von Prompt Beispielen.
Sind die notwendigen Einstellungen erledigt, können Sie mit „Weiter“ oder mit einem Klick auf den gewünschten Bereich in der linken Navigationsleiste zum nächsten Bereich fortfahren.
Dieser Bereich hat momentan noch keine Auswirkungen auf die Pipeline und kann übersprungen werden.
Im Bereich „Beispiele“ können Sie ein neues Datenset erstellen oder ein existierendes Datenset hinzufügen. Die Datensets in diesem Bereich können zukünftig für die Evaluierung der Pipeline verwendet werden, damit die Auswirkungen einer Änderung untersucht werden können.
Wenn hier ein neues Datenset erstellt wird, dann wird dies automatisch der Pipeline hinzugefügt. Für mehr Informationen, siehe das Kapitel Hinzufügen von Daten.
Wenn Sie bereits ein (oder mehrere) Datensets erstellt haben, welche Sie in dieser Pipeline verwenden möchte, können Sie dies hinzufügen, indem Sie auf „Existierendes Datenset hinzufügen“ klicken. In dem Kontextmenü können Sie mehrere Datensets auswählen und durch „Hinzufügen“ in ihrer Pipeline verwenden.
Nur Indizes, die das Feature „Semantic Sentence Similarity Search” aktiviert haben, können im AI Chat Antworten für die Generierung liefern.
Im Bereich „Retrieval“ kann der Retrieval-Teil des RAG konfiguriert werden. Dabei stehen die folgenden Einstellungen zur Verfügung:
Einstellung | Beschreibung |
Suchservice | Client Service, welcher für die Suche verwendet werden soll. |
SSL Zertifikat Überprüfung überspringen | Ist dies aktiviert, wird bei der Suche keine Überprüfung des SSL-Zertifikats durchgeführt. |
Nur Content verarbeiten | Wenn diese Eigenschaft gesetzt wird, werden nur Antworten, aus dem content Metadatum verwendet. Ansonsten werden Antworten aus allen Metadaten verarbeitet. |
Maximale Anzahl Antworten | Die ersten n Antworten der Suche werden prozessiert und werden für den Prompt verwendet. Hinweis: Wenn n = 0 und das Prompt Logging im app.telemetry deaktiviert ist, dann haben die Spalten für die Antworten im CSV Logging keine Spaltenüberschriften für die Antwort-Details. |
Minimaler Antwort Score [0-1] | Es werden nur Antworten prozessiert, die eine größere Antwort-Wertung haben. |
Im Abschnitt „Regeln“ kann die Pipeline verfeinert und auf die jeweiligen Anforderungen angepasst werden.
Einstellung | Beschreibung |
Überschreiben der Suchanfragenvorlage erlauben | Erlaubt das Überschreiben von Werten der Suchanfragenvorlage via API-Requests. Nur relevant, wenn die API direkt verwendet wird. Für mehr Informationen, siehe api.chat.v1beta.generate Schnittstellenbeschreibung. |
Sucheinschränkung | Bei der Suche mittels Search Service wird der Wert in diesem Feld (sofern vorhanden) auch als Bedingung in die Suche miteingenommen. |
Datenquelle inkludieren | Wenn (eine oder mehrere) Datenquellen inkludiert werden, dann werden automatisch alle anderen Datenquellen ausgeschlossen. |
Datenquelle ausschließen | Wenn (eine oder mehrere) Datenquellen ausgeschlossen werden, dann werden automatisch alle anderen Datenquellen eingeschlossen. |
Im Abschnitt „Verwendete Datenquellen“ wird eine Übersicht über die effektiven Datenquellen des gewählten Suchservices geboten.
Im Bereich „Generation“ wird die Prompt-Generierung konfiguriert, das LLM und die Prompt Templates ausgewählt, die mit den Suchergebnissen befüllt und anschließend zum konfigurierten LLM geschickt werden.
Wählen Sie in der Einstellung „Model“ das von Ihnen erstellte LLM aus. Durch die Auswahl des LLMs erhalten Sie eine Zusammenfassung bestehend aus den folgenden Punkten:
Einstellung | Beschreibung |
Model | Legt fest, welches LLM ausgewählt ist. |
Chat History verwenden | Ist diese Einstellung aktiviert, wird der Inhalt der bisher geführten Konversation zur Generierung der nächsten Antwort herangezogen. |
Maximale Anzahl verwendeter Chat History Messages | Diese Einstellung ist nur wirksam, wenn „Chat-History verwenden“ aktiv ist. Limitiert die Anzahl an Chat-History Nachrichten die für die Generierung verwendet werden. Ist der Wert „0“, werden alle Chat-History Nachrichten verwendet. Mit dieser Einstellung wird sichergestellt, dass die Anfragen an das LLM bei längeren Chats nicht zu groß werden. Empfohlene Werte: 1-5. |
Maximale Länge der Antworten (Tokens) | Diese Einstellung überschreibt die Einstellung "Max Answer Length (Tokens)" im LLM, wenn der Wert größer als 0 ist. |
Zufälligkeit der Antwort (Temperatur) | Diese Einstellung überschreibt die Einstellung "Zufälligkeit der Antwort (Temperatur)" im LLM, wenn der Wert größer als 0 ist. |
Überschreiben von Systemprompttemplatevariablen zulassen | Erlaubt das Überschreiben der Systemprompttemplatevariablen ({question}, {summaries}). Nur relevant, wenn die API direkt verwendet wird. Für mehr Informationen, siehe api.chat.v1beta.generate Schnittstellenbeschreibung. |
Template für Antworten (pro Resultat) | Das Template, welches die erhaltenen Antworten in einen Text für den Prompt verarbeitet. Je nach gewünschten Informationen aus der Antwort können folgende Platzhalter eingebaut werden:
|
Prompt Template | Das Template, welches die Anweisungen für das LLM enthält. Um die Frage und die Antworten in dem Prompt zu verarbeiten, sollten folgende Platzhalter eingebaut werden:
|
Prompt Template (wenn keine Suchresultate gefunden wurden) | Wenn der Service die Einstellung „Generate with empty Results“ aktiviert hat und der Suchservice für eine Frage aber keine Antworten findet, dann kann für die Generierung ein optionaler Prompt angegeben werden. Es können folgende Platzhalter eingebaut werden:
|
Gefundene Quellen anzeigen | Wenn diese Einstellung aktiviert ist, werden die zuletzt abgerufenen Quellen laut der Einstellung "Maximale Anzahl gefundener Quellen" am Ende des generierten Antworttextes angehängt. Standardmäßig weist die Einstellung "Prompt Template" das Modell an, die relevanten Quellen bereitzustellen, unabhängig von dieser Einstellung. Wenn diese Einstellung aktiviert ist, empfiehlt es sich, die Einstellung "Prompt Template" anzupassen, um doppelte Quellen in der generierten Antwort zu vermeiden. |
Template gefundener Quelle | Das Template legt fest, wie die einzelnen Quellen angezeigt werden sollen. Der folgende Platzhalter muss eingefügt werden:
|
Template gefundener Quellen | Das Template zeigt die abgerufenen Zusammenfassungen der Templates der gefundenen Quellen an. Der folgende Platzhalter muss eingefügt werden:
|
Maximale Anzahl gefundener Quellen | Diese Einstellung legt fest, wie viele gefundene Quellen angezeigt werden sollen. |
Im Bereich „Test“ können Sie die Einstellungen der Pipeline testen und überprüfen, ob die getätigten Einstellungen die Anforderungen erfüllen.
Eine Pipeline kann mehrere Versionen haben und jede Version davon hat einen Status:
Nachdem eine Pipeline erstellt oder bearbeitet wurde, gibt es dafür eine Bearbeitungsversion. Um die Bearbeitungsversion abzuschließen, muss diese freigegeben werden. Wählen Sie dafür die erstellte Pipeline aus und klicken Sie auf „Version freigeben“. Geben Sie einen Versionsnamen und optional eine Versionsbeschreibung an. Klicken Sie dann auf „Version freigeben“.
Um eine Pipeline im Mindbreeze InSpire AI Chat zu verwenden ist die Veröffentlichung einer Version notwendig. Markieren Sie dazu eine Pipeline, die bereits eine freigegebene Version enthält und klicken Sie auf „Veröffentlichen“. Es können nur freigegebene Pipeline Versionen veröffentlicht werden.
Wählen Sie in dem Dialogfeld eine Pipeline-Version aus, die Sie veröffentlichen möchten, und überprüfen Sie den Anzeigenamen und die Beschreibung. Wenn bereits eine Version der Pipeline veröffentlicht ist, dann findet man Informationen zu der veröffentlichten Version der Pipeline über dem Auswahlfeld.
Klicken Sie anschließend „Veröffentlichen“, damit die ausgewählte Version veröffentlicht wird. Nach der Veröffentlichung sollte in der Spalte „Veröffentlicht“ die Versionsnummer der veröffentlichten Version stehen.
Sie können nun ihre erstellte Pipeline im Mindbreeze InSpire AI Chat auswählen und benutzen.
Wählen Sie eine veröffentlichte Pipeline und klicken Sie auf „Veröffentlichen“. In dem Dialogfeld finden Sie Informationen zur veröffentlichten Version. Klicken Sie anschließend auf „Veröffentlichung entfernen“.
In der Übersicht sollte bei der Pipeline kein Wert mehr bei „Veröffentlicht“ stehen. Die Pipeline ist nun nicht mehr im Mindbreeze InSpire AI Chat verfügbar.
Wenn Sie ein Producer-Consumer-Szenario haben, kann die RAG-Konfiguration mit der Schaltfläche "Mit dem Consumer synchronisieren" auf alle Nodes synchronisiert werden.
Dieser Bereich hat momentan noch keine Auswirkungen auf die Pipeline und kann übersprungen werden. Außerdem wird dieser Bereich in den kommenden Releases noch überarbeitet.
Die Erstellung von Datensets ist in späteren Entwicklungsstufen des RAG notwendig für die Evaluierung der Pipelines.
Klicken Sie auf „Neues Datenset erstellen“, und geben Sie dem Datenset bei „Name des Datensets“ einen Namen. Fügen Sie anschließend Daten zu einem Datenset hinzu, indem Sie auf „Hinzufügen“ klicken.
Folgende Felder können befüllt werden:
Spaltenname | Key für CSV/JSON | Beschreibung |
Frage | question | Pflichtfeld |
Antwort | answer | Die erwartete Antwort zur Frage. |
Quelle | source | Die erwartete Quelle, woher die Antwort bezogen wird. |
Wertung | score | Wertigkeit der Antwort, die beschreibt wie gut die Antwort ist. |
Textstelle | answer_passage | Die Textstelle, aus der die Antwort bezogen wird |
Klicken Sie auf „Speichern“, um die Daten des Datensets zu speichern.
Neben der manuellen Erstellung von Daten, kann auch eine Datei hochgeladen werden. Klicken Sie dafür auf „Datei hochladen“. Legen Sie fest, ob die Daten aus der Datei die bestehenden Einträge erweitern oder überschreiben soll.
Beachten Sie, dass nur eine Datei hochgeladen werden kann. Die folgenden Dateitypen sind kompatibel: JSON und CSV.
Wurde die Datei erfolgreich geladen, klicken Sie auf „Hinzufügen“. Speichern Sie anschließend das Datenset.