Release Notes für Mindbreeze InSpire

Version 20.4

Innovationen und neue Features

Pro Dokument dynamische Metadaten als Filter

Metadaten können nun dynamisch als Filter beim Indizieren oder in der Semantic Pipeline definiert werden.

Bis jetzt hat es nur statische definierte Filter gegeben. Diese Filter waren pro Index global. Die neuen dynamisch definierten filterbaren Metadaten sind viel flexibler, da sie pro Dokument definiert werden können. Dies hat z.B. auch folgenden Vorteil: Wenn Sie zu einem bereits bestehenden Index eine weitere Datenquelle hinzufügen, sind die filterbaren Eigenschaften der neuen Dokumente sofort verfügbar.

Momentan wird dieses Feature nur für Web-Connector Sitemaps verwendet, ist jedoch auch in der SDK verfügbar. Precomputed Synthesized Metadata unterstützen nun auch dynamische Filter.

Link zur allgemeinen Dokumentation

Link zur Dokumentation für Web-Connector Sitemaps

Link zur SDK-Dokumentation

Link zur Dokumentation für Precomputed Synthesized Metadata

Automatisches Übernehmen von Änderungen in CI/CD Pipelines

Durch die Einführung von Konfigurationsparametern und sogenannten Entwickler Snapshots können Anpassungen an

• der Mindbreeze Service Konfiguration (Hinzufügen/Entfernen und Anpassen von Connectoren, Indizes, Filter, Client Services, …),
• der Semantik Pipeline,
• der Query Transformation Pipeline,
• InSpire Search Apps und
• beliebiger Resource-Files wie Boostings, Relevanzparameter

als Snapshot exportiert werden und dann automatisch in die Produktion übernommen werden.

Dabei können beliebige Einstellungen (wie z. B. die zu indizierenden Quellsysteme) als Parameter auf der jeweiligen Umgebung lokal überschrieben werden. Damit kann sichergestellt werden, dass im Produktivsystem die Produktivdatenquellen indiziert werden und im Entwicklungssystem die Entwicklerdatenquellen. Credentials und Zertifikate werden nicht abgelegt und bleiben erhalten.

Wenn Sie interessiert sind, kontaktieren Sie uns für ein detailliertes Whitepaper, wie Sie diese neue Technologie für Ihre Pipelines nutzen können. Weitere Informationen.

Erweiterte Konnektoren

Microsoft SharePoint Online: Erweiterte Unterstützung für User-Based Authentifizierung

Delta Crawling und Site Discovery in SharePoint Online werden nun auch mit User-Based Authentifizierung unterstützt. Für die Site Discovery wurde außerdem noch eine neue Konfigurationsoption „Site Discovery Strategy“ hinzugefügt, mit der die Site Discovery Variante ausgewählt werden kann – Link zur Dokumentation

Atlassian Confluence: Unterstützung für benutzerdefinierte Eigenschaften

Das Atlassian Confluence Sitemap Generator Add-On unterstützt nun Content Properties, damit Sie diese nun auch mit Mindbreeze InSpire durchsuchen können.

Link zur Dokumentation

Unterstützung für Atlassian Confluence 7.4 (LTS)

Atlassian Confluence 7.4 ist die neueste Long Term Support Version, die Sie ab sofort an Mindbreeze InSpire anbinden können.

Technische Erweiterungen

Verarbeitung von JSON-Metadaten

Wenn Mindbreeze Dokumente JSON-Metadaten enthalten, können aus den einzelnen Elementen des JSON-Ausdrucks neue Metadaten erzeugt werden. So können Sie z.B. eine Adresse im JSON-Format verarbeiten und einzelne Metadaten daraus erzeugen.

Rohes JSON Metadatum:

{
   "street":"Honauerstraße",
   "house_number": "2",
   "zip_code": "4020",
   "city": "Linz"
}

Folgende Metadaten können beispielsweise daraus erzeugt werden:

• address_street: Honauerstraße
• address_house_number: 2
• address_zip_code: 4020
• address_city: Linz
• full_address: Honauerstraße 2, 4020 Linz

Dies wird ermöglicht durch json_parse der Property Expression Language (Link zur Dokumentation) und einer Erweiterung in den „Precomputed Synthesized Metadata“ (Link zur Dokumentation). Die erzeugten Metadaten können auch filterbar gemacht werden und ab sofort im Editor hinzugefügt werden (Link zur Dokumentation).

PDF Vorschau von Dateisystem lesen

Um die Größe des Index zu optimieren steht im Microsoft File Connector ab 20.4 eine Möglichkeit zur Verfügung die PDF Inhalte beim Öffnen der Vorschau aus dem Filesystem (Datenquelle) zu laden anstelle diese in den Index abzulegen.

Informationen zur Konfiguration: Dokumentation Microsoft File Connector, Dokumentation PDFFilter

Sicherheitsrelevante Änderungen

• Update Google protobuf library auf Version 3.12.3 (CVE-2015-5237)
• OpenJDK Security Update 8u262 (Important/Moderate) : CVE-2020-14583, CVE-2020-14593, CVE-2020-14556, CVE-2020-14578, CVE-2020-14579, CVE-2020-14621, CVE-2020-14577
• jQuery CVEs: CVE-2020-11022
• Update Keycloak und Keycloak-HA auf Version 10.0: CVE-2019-10157, CVE-2019-10169,CVE-2019-10170, CVE-2019-10199, CVE-2019-10201, CVE-2019-14820, CVE-2019-14832, CVE-2019-14837, CVE-2019-3868, CVE-2019-3875, CVE-2020-1697, CVE-2020-1698, CVE-2020-1714, CVE-2020-1718, CVE-2020-1724, CVE-2020-1727, CVE-2020-1728, CVE-2020-1744, CVE-2020-1758
• Fix für: XSS in mustache.js

Zusätzliche Änderungen

20.4.4.451

• Fix für: SIGSEGV durch race condition in _threadedFlushAndReleasePoolWriter

20.4.4.448

• Fix für: Snapshot API: Snapshot mit mesconfig ohne Versionsattribut kann nicht restored warden
• Optionales umschreiben der Index-Ziel-URL nach dem Filtern
• api.v2.personalization unterstützt Globale href-Aktionen
• Fix für: Principal Resolution Service Bulking: getBulkedNestedContainers wird nur bei Startup 1x aufgerufen und nicht nach Updates
• Fix für: Mehrfachreferenzen in einer einzelnen Eigenschaft werden zur selben uniform_doc_id aufgelöst
• Benutzerdefinierten Reporting-Eigenschaften via QueryLogs REST-API
• SharePoint Online Principal Cache: Versuchen die Gruppen mittels Graph aufzulösen
• SharePoint Online Principal Cache: Verbessertes Logging: Graph Resolution
• Fix für: app.telemetry Instrumentierung in SharePoint OnPremise fehlerhaft
• SharePoint Online Principal Cache Optimierungen
• GSA Feed Adapter: Feed Eintrag kann ein Metadata-Update auslösen

20.4.4.435

• Fix für: Microsoft File connector maxDocumentSize must be positive Exception wenn FileSize auf 2500 gesetzt wird
• SharePoint Crawler: Sync On Start up kann Änderungen der vergangenen N Tage miteinbeziehen.
• IBM Lotus Notes Connector: Principal Cache kann Benutzereigenschaften als Alias verwenden.
• Fix für: Berchtigungen im Log-Verzeichnis des ClientService des current Symlink sind root:root
• Outlook Add-In: CSS-Aktualisierung mit schlankerem Design
• DynamicQueryExpr kann als QueryExpr in Search Requests verwendet werden
• Highcharts auf Version 8.1.2 aktualisiert
• Fix für SharePoint Online Connector löscht Dokumente bei OutOfMemoryException
• SharePoint Online Connector verwendet Paging für API Calls mit großen Antworten
• Snapshot Parametrisierung und Resource-Profile
• Configuration UI kann Parameter aus dem Node Environment verwenden
• Microsoft Dynamics Online CRM Principal Resolution Service: LDAP msDS-PrincipalName-Auflösung ist konfigurierbar
• Fix für: SharePoint Online Delta-Crawling wird bei sehr großen Listen nicht fertig
• Dokumentation: SAML Authentication mit Microsoft Azure (Client Service)
• SharePoint Online/OneDrive: Neue Konfigurationsoption „Grant Site Owner“, mit der der Site Owner über die ACLs immer Berechtigung auf die Items seiner Seite erhält
• SharePoint Online Unterstützung für Delta Crawling mit User Based Authentication
• SharePoint Online Unterstützung für Site Discovery via Search mit User Based Authentication
• Confuence Sitemap Generator Unterstützung für das Ändern von Custom Properties
• Fix für: Web Connector IOException nach 100 Crawlruns
• Client Service TrustedPeer Authentication mit HTTP-Header unterstützt das Setzen von einem mail-attribut.
• SharePoint Online Connector: Autor-Metadatum aus Documenteigenschaften auslesen
• Confluence Crawler: Spaces und Elemente (ID basiert) sind ausnhembar
• Fix für: Filesystem Crawler bricht root traversal ab (STATUS_ACCESS_DENIED (0xc0000022))
• Upload von Plugins > 1GB erlauben
• ClientService: Alerting nutzt resolve principals für Identity
• Fix für: Inspire Nodes: Nodesübersicht wird nicht automatisch reloaded
• Fix für: SharePoint Connector Indiziert Document Libraries mit mehr als 5000 Unterelementen nicht.
• Precomputed Synthesized Properties unterstützen MERGE_ON_ROOT_ITEM_USING_NAME_AS_PREFIX
• Property Expression für das Parsen von JSON zu Werten: `json_parse(str)`
• Metadaten können zu Indexzeit per Dokument aggregierbar gesetzt werden
• Überflüssige Volumes werden nicht mehr in den Webmin Container gemappt
• Fix für Openstreetmap map-Componente fragt tiles mittels http ab (mixed content)
• Fix für: RECONFIG_REMOTE_SERVICE_REGISTRATION Änderungen werden vom ClientService ignoriert
• Fix für: Filemanager: Speichern ist nicht gleichzeitig mit Suchen/Filtern möglich
• Client Service Alerting: Mail kann aus den identity Eigenschaften verwendet werden.
• Unterstützung für Atlassian Confluence 7.4.3
• Fix für: Confluence Sitemap Erzeugung dauert zu lange
• Fix für: Stoppwörter werden auch aus Phrasen entfernt
• Confluence/Web: Unnötige HTTP Requests wenn `Cleanup non matching URL-s from Index` un `Sitemap Based Complete` aktiv sind
• Fix für: alternative/user_query ist im search-response nicht mehr enthalten
• Fix für: SameSite Option bei HTTP-ClientServices veranlasst manche Browser das Session-Cookie nicht anzunehmen