Home
Home
Englische Version
Support
Impressum
25.3 Release ►

Start Chat with Collection

    Main Navigation

    • Vorbereitung
      • Einrichten InSpire G7 Primärsystem und Standby Appliances
      • Erstellen einer InSpire-VM auf Hyper-V
      • Initiale Inbetriebnahme für G7 Appliances
      • Konnektoren
    • Datenquellen
      • Anleitung zur Datenintegration mithilfe eines SQL Datenbank-Beispiels
      • Handbuch - Mindbreeze InSpire Insight Apps in Salesforce
      • Indizierung benutzerspezifischer Eigenschaften (SharePoint 2013 Connector)
      • Indizierung benutzerspezifischer Objekttypen (Documentum)
      • Installation & Konfiguration - Atlassian Confluence Sitemap Generator Add-On
      • Installation & Konfiguration - Caching Principal Resolution Service
      • Installation & Konfiguration - Mindbreeze InSpire Insight Apps in Microsoft SharePoint On-Prem
      • Konfiguration - Atlassian Confluence Connector
      • Konfiguration - Best Bets Connector
      • Konfiguration - Box Connector
      • Konfiguration - COYO Connector
      • Konfiguration - Data Integration Connector
      • Konfiguration - Datenbank Connector
      • Konfiguration - Documentum Connector
      • Konfiguration - Dropbox Connector
      • Konfiguration - Egnyte Connector
      • Konfiguration - GitHub Connector
      • Konfiguration - Google Drive Connector
      • Konfiguration - GSA Adapter Service
      • Konfiguration - HL7 Connector
      • Konfiguration - IBM Connections Connector
      • Konfiguration - IBM Lotus Connector
      • Konfiguration - Jira Connector
      • Konfiguration - JVM Launcher Service
      • Konfiguration - LDAP Connector
      • Konfiguration - Microsoft Azure Principal Resolution Service
      • Konfiguration - Microsoft Dynamics CRM Connector
      • Konfiguration - Microsoft Exchange Connector
      • Konfiguration - Microsoft File Connector (Legacy)
      • Konfiguration - Microsoft File Connector
      • Konfiguration - Microsoft Graph Connector
      • Konfiguration - Microsoft Loop Connector
      • Konfiguration - Microsoft Project Connector
      • Konfiguration - Microsoft SharePoint Connector
      • Konfiguration - Microsoft SharePoint Online Connector
      • Konfiguration - Microsoft Stream Connector
      • Konfiguration - Microsoft Teams Connector
      • Konfiguration - Salesforce Connector
      • Konfiguration - SCIM Principal Resolution Service
      • Konfiguration - SemanticWeb Connector
      • Konfiguration - ServiceNow Connector
      • Konfiguration - Web Connector
      • Konfiguration - Yammer Connector
      • Mindbreeze InSpire Insight Apps in Microsoft SharePoint Online
      • Mindbreeze Web Parts in Microsoft SharePoint
      • Whitepaper - Web Connector Erweiterte JavaScript Anwendungsfälle
    • Konfiguration
      • CAS Authentifizierung
      • Cookie Authentifizierung
      • Handbuch - AI Chat
      • Handbuch - Erstellung einer AWS 10M InSpire Applikation
      • Handbuch - Erstellung einer AWS 1M InSpire Applikation
      • Handbuch - Erstellung einer AWS 2M InSpire Applikation
      • Handbuch - Erstellung einer Google Compute Cloud Virtual Machine InSpire Applikation
      • Handbuch - Erstellung einer Oracle Cloud 10M InSpire Applikation
      • Handbuch - Erstellung einer Oracle Cloud 1M InSpire Applikation
      • Handbuch - MMC_ Services
      • Handbuch - Natural Language Question Answering (NLQA)
      • Handbuch - SSO mit Microsoft AAD oder AD FS
      • Handbuch - Text Classification Insight Services
      • I18n Item Transformation
      • JWT Authentifizierung
      • Konfiguration - Alternative Suchvorschläge und automatische Sucherweiterung
      • Konfiguration - Backend Credentials
      • Konfiguration - Benachrichtigungen
      • Konfiguration - CJK Tokenizer Plugin
      • Konfiguration - CSV Metadata Mapping Item Transformation Service
      • Konfiguration - Entity Recognition
      • Konfiguration - Export Funktionalität
      • Konfiguration - External Query Service
      • Konfiguration - Filter Plugins
      • Konfiguration - Gesammelte Ergebnisse
      • Konfiguration - GSA Late Binding Authorization
      • Konfiguration - Identity Conversion Service - Replacement Conversion
      • Konfiguration - InceptionImageFilter
      • Konfiguration - Index-Servlets
      • Konfiguration - InSpire AI Chat und Insight Services für Retrieval Augmented Generation
      • Konfiguration - Item Property Generator
      • Konfiguration - Kerberos Authentfizierung
      • Konfiguration - Management Center Menü
      • Konfiguration - Metadata Reference Builder Plugin
      • Konfiguration - Metadaten Anreicherung
      • Konfiguration - Mindbreeze InSpire
      • Konfiguration - Mindbreeze Proxy Umgebung (Remote Connector)
      • Konfiguration - Outlook Add-In
      • Konfiguration - Personalisierte Relevanz
      • Konfiguration - Plugin Installation
      • Konfiguration - Principal Validation Plugin
      • Konfiguration - Profile
      • Konfiguration - Reporting Query Log
      • Konfiguration - Reporting Query Performance Tests
      • Konfiguration - Request Header Session Authentisierung
      • Konfiguration - Verteilte Konfiguration (Windows)
      • Konfiguration - Vokabulare für Synonyme und Autovervollständigung
      • Konfiguration von Vorschaubildern
      • Mindbreeze Personalization
      • Mindbreeze Property Expression Language
      • Mindbreeze Query Expression Transformation
      • SAML Authentifizierung
      • Spracherkennung mit dem LanguageDetector Plugin
      • Trusted Peer Authentication für Mindbreeze InSpire
      • Verwendung von InSpire-Snapshots in einer CI_CD-Umgebung
    • Betrieb
      • Anpassung der InSpire Host OpenSSH Einstellungen - LoginGraceTime auf 0 setzen (Mitigation für CVE-2024-6387)
      • app.telemetry Statistiken zu Suchanfragen
      • Bereitstellen von app.telemetry Informationen mittels SNMPv3 auf G7 Appliances
      • CIS Level 2 Hardening - SELinux in den Modus Enforcing versetzen
      • Handbuch - Administration von Insight Services für Retrieval Augmented Generation
      • Handbuch - Filemanager
      • Handbuch - Indizierungs- und Suchlogs
      • Handbuch - Kommandozeilenwerkzeuge
      • Handbuch - Sichern & Wiederherstellen
      • Handbuch - Updates und Downgrades
      • Handbuch - Verteilter Betrieb (G7)
      • Index Betriebskonzepte
      • Inspire Diagnose und Ressourcen Monitoring
      • Konfiguration - app.telemetry Dashboards für Nutzungsanalyse
      • Konfiguration - Nutzungsanalyse
      • Löschung der Festplatten
      • Wiederherstellen des Lieferzustandes
    • Anwenderhandbuch
      • Browser Extension
      • Cheat Sheet
      • iOS App
      • Tastaturbedienung
    • SDK
      • api.chat.v1beta.generate Schnittstellenbeschreibung
      • api.v2.alertstrigger Schnittstellenbeschreibung
      • api.v2.export Schnittstellenbeschreibung
      • api.v2.personalization Schnittstellenbeschreibung
      • api.v2.search Schnittstellenbeschreibung
      • api.v2.suggest Schnittstellenbeschreibung
      • api.v3.admin.SnapshotService Schnittstellenbeschreibung
      • Debugging (Eclipse)
      • Einbetten des Insight App Designers
      • Entwicklung eines API V2 Search Request Response Transformer
      • Entwicklung eines Query Expression Transformer
      • Entwicklung von Insight Apps
      • Entwicklung von Item Transformation und Post Filter Plugins mit der Mindbreeze SDK
      • Java API Schnittstellenbeschreibung
      • OpenAPI Schnittstellenbeschreibung
      • SDK Übersicht
    • Release Notes
      • Release Notes 20.1 Release - Mindbreeze InSpire
      • Release Notes 20.2 Release - Mindbreeze InSpire
      • Release Notes 20.3 Release - Mindbreeze InSpire
      • Release Notes 20.4 Release - Mindbreeze InSpire
      • Release Notes 20.5 Release - Mindbreeze InSpire
      • Release Notes 21.1 Release - Mindbreeze InSpire
      • Release Notes 21.2 Release - Mindbreeze InSpire
      • Release Notes 21.3 Release - Mindbreeze InSpire
      • Release Notes 22.1 Release - Mindbreeze InSpire
      • Release Notes 22.2 Release - Mindbreeze InSpire
      • Release Notes 22.3 Release - Mindbreeze InSpire
      • Release Notes 23.1 Release - Mindbreeze InSpire
      • Release Notes 23.2 Release - Mindbreeze InSpire
      • Release Notes 23.3 Release - Mindbreeze InSpire
      • Release Notes 23.4 Release - Mindbreeze InSpire
      • Release Notes 23.5 Release - Mindbreeze InSpire
      • Release Notes 23.6 Release - Mindbreeze InSpire
      • Release Notes 23.7 Release - Mindbreeze InSpire
      • Release Notes 24.1 Release - Mindbreeze InSpire
      • Release Notes 24.2 Release - Mindbreeze InSpire
      • Release Notes 24.3 Release - Mindbreeze InSpire
      • Release Notes 24.4 Release - Mindbreeze InSpire
      • Release Notes 24.5 Release - Mindbreeze InSpire
      • Release Notes 24.6 Release - Mindbreeze InSpire
      • Release Notes 24.7 Release - Mindbreeze InSpire
      • Release Notes 24.8 Release - Mindbreeze InSpire
      • Release Notes 25.1 Release - Mindbreeze InSpire
      • Release Notes 25.2 Release - Mindbreeze InSpire
      • Release Notes 25.3 Release - Mindbreeze InSpire
    • Sicherheit
      • Bekannte Schwachstellen
    • Produktinformation
      • Produktinformation - Mindbreeze InSpire - Standby
      • Produktinformation - Mindbreeze InSpire
    Home

    Path

    Sure, you can handle it. But should you?
    Let our experts manage the tech maintenance while you focus on your business.
    See Consulting Packages

    Betrieb
    Index Betriebskonzepte

    EinleitungPermanenter Link zu dieser Überschrift

    In diesem Dokument wird auf die Konzepte von Mindbreeze InSpire eingegangen. Diese Konzepte beziehen sich einerseits auf den Standalone-Betrieb (mit nur einer Appliance), aber auch auf den verteilten Betrieb (mit mehreren Appliances).

    GlossarPermanenter Link zu dieser Überschrift

    AggregatablePermanenter Link zu dieser Überschrift

    Ist ein Metadatum aggregatable (aggregierbar), ist es automatisch auch regexmatchable, mit der zusätzlichen Eigenschaft, dass das Metadatum als Facette (Filter) zur Verfügung steht. Man unterscheidet zwischen:

    • Static Aggregatable: pro Metadatum global für den ganzen Index im Index-Schema definiert. Eine Index-Schema-Änderung erfordert eine Re-Invertierung des Index.
    • Dynamic Aggregatable: pro Metadatum und pro Dokument definiert. Da dies nicht im Index-Schema definiert wird, ist keine Re-Invertierung notwendig. Somit können Metadaten für bestimmte Dokumente ganz flexibel „aggregatable“ gemacht werden.

    Aggregated Metadata KeysPermanenter Link zu dieser Überschrift

    Die „Aggregated Metadata Keys“ können pro Index konfiguriert werden, wobei die „Advanced Settings“ aktiviert sein müssen, damit diese Option sichtbar ist. Damit ist es möglich, Metadaten als „aggregatable“ zu markieren. Änderungen in dieser Option ziehen eine Änderung des Indexschemas nach sich.

    Built-In Metadata KeysPermanenter Link zu dieser Überschrift

    Folgende Metadata Keys sind für Built-In Metadaten reserviert:

    Name

    Typ

    mes:docid

    Integer

    mes:key

    String

    mes:size

    Integer

    category

    String

    fqcategory

    String

    categoryclass

    String

    categoryscope

    String

    mes:date

    String

    title

    String

    datasource/mes:key

    String

    datasource/category

    String

    datasource/fqcategory

    String

    extension

    String

    mes:boost

    Float

    mes:uniformdocid

    Integer

    RegexmatchablePermanenter Link zu dieser Überschrift

    • Regexmatchable Metadaten können mittels RegEx durchsucht werden (relevant für Custom Search Clients, siehe api.v2.search)

    Category / Category Instance / Fully Qualified CategoryPermanenter Link zu dieser Überschrift

    Die „Category“, „Category Instance“ und die „Fully Qualified Category“ werden in der untenstehenden Tabelle beschrieben:

    Name

    Metadatum

    Beschreibung

    Category

    datasource/category

    Dokumente, die von einem bestimmten Crawler indiziert werden, haben immer die gleiche Category. Diese ist also nicht konfigurierbar.

    Category Instance

    datasource/categoryinstance

    Die Category Instance kann bei den meisten Crawlern konfiguriert werden, sodass diese die Category Instance für ihre gecrawlten Dokumente setzen.

    Fully Qualified Category

    datasource/fqcategory

    Die Fully Qualified Category wird generiert, indem die Category und Category Instance zusammengesetzt wird (mit einem Doppelpunkt in der Mitte, z. B. Web:Default). Diese muss für jeden Crawler eindeutig sein, falls jeder Crawler im Search Client einen eigenen Filter-Wert für den Filter Quelle erhalten soll.

    Index Document InfoPermanenter Link zu dieser Überschrift

    Als Document Info wird jener Teil des Index benannt, der In-Memory für Analyse zur Verfügung steht. Die Steuerung der Document Info Zonen (Eigenschaften) kann über den Category Descriptor, die Semantic Pipeline oder die Aggregated Metadata Keys erfolgen.

    Index Document Info Schema (Index Schema)Permanenter Link zu dieser Überschrift

    Die Ausprägung welche Eigenschaften via der Document Info zur Verfügung stehen, wird auch Document Info Schema genannt.

    Index KonfigurationPermanenter Link zu dieser Überschrift

    Die Index Konfiguration umfasst alles was den Index konfiguriert. Die Index Konfiguration ist im Index Dateisystem abgelegt.

    Index Schema-ÄnderungPermanenter Link zu dieser Überschrift

    Eine Schema-Änderung zieht eine Document Info-Reinvertierung nach sich. In der folgenden Liste finden Sie Beispiele, die eine Schema-Änderung verursachen:

    • Änderungen in „Aggregated Metadata Keys“
    • Änderungen im Category Descriptor (in Bezug auf aggregatable und regexmatchable)
    • Precomputed Synthesized Metadata (wenn aggregateable)
    • Entity Recognition

    Index Invertierung / Re-InvertierungPermanenter Link zu dieser Überschrift

    Nachdem ein gefiltertes Dokument im Index abgelegt wird, wird es invertiert, sodass es durchsuchbar wird („Index Invertierung“). Außerdem werden Dokumente während der Invertierung mit Metadaten angereichert (beschrieben in der Semantic Pipeline).

    Bei einer Schema-Änderung wird der Index automatisch bezüglich der Document Info neu invertiert.

    Vollständige Re-InvertierungPermanenter Link zu dieser Überschrift

    Bei der vollständigen Re-Invertierung wird nicht nur die Dokumentinfo neu invertiert, sondern der gesamte invertierte Index neu aufgebaut.

    Dazu kann das Skript /opt/mindbreeze/scripts/move_inverted_index.sh benutzt werden.
    Dabei wird der invertierte Index in das angegebene Backupverzeichnis verschoben und beim nächsten Indexstart neu aufgebaut.
    Der betroffene Index muss dabei gestoppt sein. Nach dem Starten ist der Index erst nach Abschluss der Re-Invertierung wieder verfügbar.

    ./move_inverted_index.sh

    --basedir INDEX_DIRECTORY

    --destdir BACKUP_DIRECTORY

    [--category CATEGORY]

    [--bucket BUCKET_NR]

        [--overwrite]

        | --help | -h

    Wird weder die category noch ein bucket angegeben, so wird der invertierte Index aller „Categories“ in allen „Buckets“ verschoben.

    Der Parameter category beschränkt das auf die spezifizierte „Category“.

    Der Parameter bucket beschränkt das auf das angegebene „Bucket“.

    Multi Index LayoutPermanenter Link zu dieser Überschrift

    Eine spezielle Form des Aufbaus eines Index. Standardmäßig wird für alle Indizes das „Multi Index Layout“ verwendet, was vor allem für den verteilten Betrieb mit mehreren Mindbreeze InSpire Appliances wichtig ist. Siehe auch Handbuch – Verteilter Betrieb (G7) – Index Layout.

    Semantic PipelinePermanenter Link zu dieser Überschrift

    Dokumente werden vom Crawler oder Pusher in der Semantic Pipeline verarbeitet und anschließend indiziert. Folgende Schritte werden dabei durchgeführt:

    Filter / Content FilterPermanenter Link zu dieser Überschrift

    Der Filter schickt je nach Datei-Typ Dokumente weiter an die jeweiligen Content Filter. Die gefilterten Dokumente werden wieder an den Filter zurückgeschickt, um möglicherweise die gefilterten Dokumente nochmal an die jeweiligen Content Filter zu schicken. Ein Beispiel hierfür sind ZIP-Dokumente, die zuerst mit einem Content Filter entpackt werden müssen und anschließend mit weiteren Content Filtern prozessiert werden. Filter können im Mindbreeze Management Center unter „Configuration“ im Reiter „Filter“ konfiguriert werden und im Reiter „Indizes“ für die jeweiligen Indizes ausgewählt werden.

    Post FilterPermanenter Link zu dieser Überschrift

    Mithilfe von Post Filter kann der Inhalt von bereits gefilterten Dokumenten prozessiert und verändert werden, bevor das Dokument zum Index gesendet wird.

    Precomputed Synthesized MetadataPermanenter Link zu dieser Überschrift

    Mithilfe von „Precomputed Synthesized Metadata” können neue Metadaten auf Basis von anderen Metadaten generiert werden. Der Zeitpunkt, wann diese Metadaten generiert werden sollen (in der Semantic Pipeline), kann mit der Option „Transformation Pipeline Slot“ bestimmt werden. Eine ausführliche Dokumentation finden Sie hier.

    Entity RecognitionPermanenter Link zu dieser Überschrift

    Mithilfe von „Entity Recognition“ können Metadaten generiert werden, indem gewisse Muster aus einem Text erkannt werden (mithilfe von Regex). So können Beispielsweise Datum, UNC-Pfade, etc. erkannt werden. Eine ausführliche Dokumentation finden Sie hier.

    CSV TransformationPermanenter Link zu dieser Überschrift

    Mithilfe der „CSV Transformation“ können auch Metadaten generiert werden. Dabei ist es möglich einen Wert eines Metadatums mit einem Wert einer bestimmten Spalte im CSV zu vergleichen. Stimmt der Wert aus dem Metadatum mit dem Wert aus der Spalte überein, kann man den Wert einer anderen Spalte aus derselben Zeile in ein neues Metadatum schreiben und dem Resultat anfügen. Weitere Informationen können in der Dokumentation Konfiguration – Metadaten Anreicherung gefunden werden.

    Item TransformationPermanenter Link zu dieser Überschrift

    Eine weitere Möglichkeit, um Dokumente mit Metadaten anreichern zu können, sind Item Transformatoren.  Mindbreeze InSpire bietet dabei verschiedene Item Transformatoren, wie z. B. das LanguageDetector Plugin.

    Language Detection & Named Entity RecognitionPermanenter Link zu dieser Überschrift

    Mithilfe der im Index integrierten „Language Detection“ kann die Sprache eines Dokuments ohne zusätzliches Plugin erkannt werden.

    Die anschließende „Named Entity Recognition (NER)“ kann Entitäten sowohl im Inhalt als auch in den Metadaten eines Dokuments identifizieren und klassifizieren. Eine ausführliche Dokumentation finden Sie hier.

    PDF herunterladen

    • Index Betriebskonzepte

    Inhalt

    • Einleitung
    • Glossar

    PDF herunterladen

    • Index Betriebskonzepte