Release Notes für Mindbreeze InSpire

Version 2019 Fall Release

Innovationen und neue Features

Personalized Relevance basierend auf Machine Learning

Mithilfe dieses Plugins kann das Mindbreeze Relevanzmodell beeinflusst werden (auch Boosting von Dokumenten genannt). Dabei wird das Suchverhalten aller Benutzer miteinbezogen. Die Grundfunktionalität dieses Plugins ist, dass Dokumente, die öfter geklickt wurden (Öffnen- / Vorschauaktion), bei zukünftigen (gleichen) Suchanfragen weiter oben angezeigt werden.

Dokumentation

Query Performance Tester

Mit dem Query Performance Tester können die Suchperformance und erwartete Suchtreffer automatisiert und reproduzierbar getestet werden. Die wichtigsten Features sind:

• Testen mit Custom Search Apps
• Erstellen von Testplänen (nach was wird gesucht, was sind die erwarteten Resultate)
• Parametrisierung von Testläufen (User, Anzahl an parallelen Suchen, Anzahl an Iterationen)
• Überwachen eines Testlaufs
• Anzeigen von detaillierten Statistiken eines Testlaufs

Dokumentation

Advanced Query Reporting

Mithilfe des Personalized Relevance Transformer Plugins können zusätzlich Berichte über das Suchverhalten erstellt werden. Dabei unterstützen detaillierte Suchstatistiken sowie eine Timeline mit Filterfunktionalität.

Dokumentation

Erweiterungen in den Konnektoren

Microsoft SharePoint Online Connector

Der Microsoft SharePoint Online Connector hat viele generelle Verbesserungen erhalten, die wichtigsten Neuerungen sind:

Site Discovery: Anstatt alle Seiten einzeln zu konfigurieren, erkennt der Crawler die Seiten der Instanz automatisch

Delta-Crawlen: Der Crawler unterstützt jetzt Delta-Crawlen. Dadurch müssen nach dem ersten Crawlrun nur mehr die Änderungen seit dem letzten Crawlrun abgeholt werden. Dies bringt eine deutliche Performanceverbesserung.

ADFS: Der Crawler-Benutzer kann sich nun auch mittels ADFS anmelden.

Dokumentation

Web Connector: Sitemap Download mit Kerberos Authentisierung

Die Kerberos Authentication verwendet optional das Negotiate-Protokoll zur Authentifizierung der HTTP-Anfragen. Der Web Connector ist somit in der Lage, Webseiten zu indizieren, die nur mit Kerberos Authentifizierung erreichbar sind.

Dokumentation

Notes

Der Notes Connector unterstützt ab sofort Notes in der Version 9. Zusätzlich kann der Connector DIIOP-Informationen mittels HTTPS abholen.

Dazu ist auf Connector-Seite keine weitere Konfiguration erforderlich.

Dokumentation

Technische Erweiterungen

Reindex ohne Neustart der gesamten Node

Die Aktion “Reindex“ im Menü “Services” startet nur noch den betroffenen Index neu.

Dadurch sind die anderen Services nicht betroffen.

Dokumentation

Verbesserte Statusanzeige beim Export

Durch Verbesserungen beim Export ist nun der Status und der Exportfortschritt besser ersichtlich.

Dokumentation

LDAP-Cache Unterstützung für Forest-Trusts (Domainübergreifende Gruppen)

Der LDAP-Cache unterstützt nun auch ActiveDirectory-Domänen, die mittels Forest-Trust verbunden sind.

Dokumentation

Automatisches Fallback auf Producer/Consumer Nodes

Falls in einem Producer/Consumer-Setup bei einer Suche ein Index nicht erreicht werden kann, ermöglicht diese neue Funktion automatisch die Suchanfrage auf andere Nodes weiterzuleiten. Dies verbessert die Verfügbarkeit der Suche, auch wenn kein Load-Balancer eingesetzt wird.

Dokumentation

Sicherheitsrelevante Änderungen

Version 19.3.4.655

• CentOS 7 nss Security Update (CVE-2019-11745, CVE-2019-11729)
• CentOS 6 nss Security Update (CVE-2019-11745)

Version 19.3.4.627

• Security: Arbitrary host header accepted
• Java Security Update 1.8.0.232: Important: CVE-2019-2945,CVE-2019-2949,CVE-2019-2962,CVE-2019-2964,CVE-2019-2973,CVE-2019-2975,CVE-2019-2978,CVE-2019-2981,CVE-2019-2983,CVE-2019-2987,CVE-2019-2988,CVE-2019-2989,CVE-2019-2992,CVE-2019-2999
• Java Security Update 1.8.0.222: Moderate: CVE-2019-2745, CVE-2019-2762, CVE-2019-2769, CVE-2019-2816, CVE-2019-2842, CVE-2019-2786
• jQuery Update auf 1.12.4
• app.telemetry Update auf 18.3.60
• Apache Tika Update auf 1.22
• Centos 7.7 Security Updates Host (CVE-2018-14647,CVE-2019-5010,CVE-2019-9740,CVE-2019-9947,CVE-2019-9948,CVE-2018-18074,CVE-2018-14348,CVE-2018-5741,CVE-2019-6470, CVE-2018-12641,CVE-2018-12697,CVE-2018-1000876,CVE-2019-3880,CVE-2016-10739,CVE-2018-15473,CVE-2018-16838,CVE-2019-3811,CVE-2018-16842,CVE-2018-1122,CVE-2018-0495,CVE-2018-12404,CVE-2018-20060,CVE-2019-11236,CVE-2018-20532,CVE-2018-20533,CVE-2018-20534,CVE-2017-14503,CVE-2018-1000877,CVE-2018-1000878,CVE-2019-1000019,CVE-2019-1000020,CVE-2018-0734,CVE-2019-1559,CVE-2018-15686,CVE-2018-16866,CVE-2018-16888)
• CentOS 7 Security libssh2: Moderate CVE-2019-3862 ,CVE-2019-3858,CVE-2019-3861
• CentOS 7 curl Security (CVE-2018-14618)
• CentOS 7 Kernel Security: CVE-2018-16871, CVE-2018-16884, CVE-2019-11811, CVE-2019-11085
• CentOS 7 Kernel Security: CVE-2018-20856, CVE-2019-3846, CVE-2019-9506, CVE-2019-10126
• CentOS 6 Kernel Security: CVE-2018-9568, CVE-2019-11810, CVE-2019-14835)
• CentOS 6 Security (Moderate): openssl (CVE-2019-1559)
• CentOS 6 Kernel Security (Important): CVE-2017-17805, CVE-2018-17972, CVE-2019-5489, CVE-2019-1125
• Centos 7.7 Security Updates Container (CVE-2018-14647,CVE-2019-5010,CVE-2019-9740,CVE-2019-9947,CVE-2019-9948,CVE-2018-18074,CVE-2018-14348,CVE-2018-5741,CVE-2019-6470, CVE-2018-12641,CVE-2018-12697,CVE-2018-1000876,CVE-2019-3880,CVE-2016-10739,CVE-2018-15473,CVE-2018-16838,CVE-2019-3811,CVE-2018-16842,CVE-2018-1122,CVE-2018-0495,CVE-2018-12404,CVE-2018-20060,CVE-2019-11236,CVE-2018-20532,CVE-2018-20533,CVE-2018-20534,CVE-2017-14503,CVE-2018-1000877,CVE-2018-1000878,CVE-2019-1000019,CVE-2019-1000020,CVE-2018-0734,CVE-2019-1559,CVE-2018-15686,CVE-2018-16866,CVE-2018-16888)

Zusätzliche Änderungen

Der Stand enthält auch folgende Änderungen:

Version 19.3.4.655

• Fix für Filter und Index logs enthalten Dokumentnamen
• Fix für Index Delete Buckets Operation kann Indizierung unter Volllast verzögern
• Fix für Mindbreeze Prediction Service startet zu viele Prozesse
• Fix für Phrasensuche mit Wortwiederholungen wie zB „1.2.1“ liefert keine Ergebnisse
• Fix für unter großer Last können Verbindungen vom Filter zum Index nicht rechtzeitig geschlossen werden

Version 19.3.4.648

• Confluence Sitemap Generator erzeugt Vorschau Links für Attachments.
• Fix für GSA Feed Adapter Service wird auf Standby Appliance gestartet
• Fix für Suche kann hängen blieben falls sehr viele Wörter gesucht werden die mehrfach ident vorkommen
• PersonalizedRelevanceTransformer – Vorkonfiguration der AppTelemetry Datenbank
• Services Reindex Aktion prüft auf “Apply changes and restart on save“, Temporäres Deaktivieren transaktional

Version 19.3.4.632

• VocabularySynonymTransformer verliert Original-Term bei Query-Terms mit Buchstaben und Zahlen
• jQuery wird global exportiert, Konflikt mit bestehenden jQuery Versionen

Version 19.3.4.627

• Query Performance Tester: support für Expectations und Sammeln von Statistiken
• Query Performance Test Plugin mit React-typescript UI (mit workspaces) ist verfügbar.
• Excel Export IllegalStateException: The maximum number of Cell Styles was exceeded. You can defin e up to 64000 style in a .xlsx Workbook
• Query Plugins: PersonalizedRelevanceTransformer does not work on position 2 (after ReplacementTransformer)
• Sample Texting Size of Export is not matching the Export Popup Sample Texting Size
• AccessConrolEntry action REQUIRE is supported
• Microsoft SharePoint Online Get lists one-by-one if fetch of all lists fails
• StopcharclassTokenizer is not symmetric to RE2Tokenizer wrt. numeric/nonnumeric (3D is 3,D in numeric case)
• DocumentBoosting is 100% but not all DocumentBoost apply
• Term2Document Boosts fails completely when CSV contains entry with empty Key column
• Option für die Aktivierung von SampleTexting bei Export
• Atlassian Confluence Connector - unable to get character at index java.nio.charset.MalformedInputException
• Overwrite Documentum ACLs in configuration to allow repository wide role based access
• Documentum Crawler “Papierkorb Ordner“ Unterstützung
• Stemmer Transformer verwendet kein Boosting und wirkt sich schlecht auf die Trefferqualität aus
• Facets show more" feature malfunction when the search result is loaded first time"
• mandatory_doc_info_schema_revision not patched on forceDocInfoRevision
• Ist ein Filterknoten-Wert ident zu einem anderen Knoten im Baum haben diesen den gleichen Zustand
• mescontrol <url> repairreferences is available
• /find servlet is available even if the producer query service is disabled
• `Phrase` in Series wird als ein Term bei Relevanz interpretiert
• GSA Feed Adapter: login form csv POST, cookie wird nicht weiterverwendet bei http
• GSA Feed Adapter: Funktion Invalid document deletion schedule
• TermLexicon Merge Issue w Files > 4 GB
• Additional ReferenceTable for Property from IndexConfig, MesControl Mode to create for existing documents
• Index reagiert auf exit" command während checkconsistency nicht"
• Web Connector - Accept-Headers and HTTP Request Header incorrectly processed when colon or semicolon is included
• Microsoft SharePoint Connector GetWebApplicationPolicy timeouts
• GSA Feed Adapter soTimeoutMs konfigurierbar machen
• Timeout mit führendem Asterisk-Pattern / MetadataTransformer
• GSA search transformer sorting on case
• Safari - MMC - Scrolling using the touch pad is not possible (only for iframes)  
• Update Servlet needs too much memory when uploading Update
• LDAP Cache wird nach Initialerzeugung niemals auf Vollständigkeit geprüft
• Microsoft Exchange Connector Unterstützung für Erweiterungen am Search Filter
• Filesystem API mit asynchronen Operationen zum Übertragen von Files, Directories
• GSA Feed Adapter - Following Patterns URLs are not getting processed when pushing feed twice
• Add a loading bar in the pdf preview window
• Indicate that facet counts are not total due to timeout
• Oauth Resource Proxy funktioniert nicht in Microsoft SharePoint 2019 / Windows Server 2019 / IIS 10
• InSpire Config reloaded regelmäßig bei 3 Nodes-Setup
• Microsoft File - SMB2 nt-authority\authenticated-users nicht Teil der Dokument ACL
• Recoverable inconsistency should not render index readonly after checkonsistency (Indexing is allowed)
• Configurable message while loading PDF Viewer
• VM args of Java sandboxes should be appended so that the generic vm args can be overwritten
• mesnode: verbesseres Logging
• Web Connector - converting IRI to URI with canonical links
• Table editing context menu does not work for MMC Search Experience / Suggested Sites
• Nur der erste DNS name / prefered LDAP Server aus den globalen LDAP Server properties ist effektiv
• Keine Query-Optimierung via category/fqcategroy bei Indizes mit mehreren Categories möglich
• Salesforce Connector verwendet obsolete api URL (www.salesforce.com anstatt login.salesforce.com)
• Search Response kann mehrere facets mit gleicher ID enthalten
• Update ist aktuell bei fehlerhaftem Cache Verzeichnis nicht recoverable: Permanent Cache update failed ... Wrong index checksum, store was not closed properly ...
• Salesforce Connector: Unterstützung für das Crawlen der Sandbox (Testsystem test.salesforce.com)
• Web Connector - Encode special characters in URI as %hex
• Optionale Auflösung von Email im Saleforce Authorizer und Verwendung von Query Plugin Keytab.
• Crawling sitemap OutOfMemoryError with Insite profile
• During constant syncdelta document is not inverted (missing from inverter log)
• Index Consistency Check should not set index to ReadOnly if the inconsistency is recoverable
• Connection Keep-Alive in RPC calls via HTTP
• Rebuild BTree Prozess löscht Dokumente mit leerem Inhalt von Document Table
• CookieManager Race Condition bei LoginHandler login
• InvertedIndexConsistencyChecker - Check that Inverted Index is Consistent w/ Storage
• WebCrawler Reset Session Before Login
• Talend 7.2 funktioniert mit DataIntegration Connector nicht
• Gunpowder support for grpc-web-text Protobuf API
• CachingPrincipalResolutionService: Wenn mehre Individuals mit Alias Namen matchen, greift nur eines davon in Bezug auf die Container
• Crawlen von Public Folder Mailboxen
• Stemmer Vocabulary multicolumn CSV robustification (Vocabulary is not used to generate synonyms given same stems)
• Mindbreeze Management Cernter kann externe Resources laden mit URL Path /ext/resources von /data/resources/mmc/www/.
• Download of Microsoft office documents that are rendererd to pdf are downloaded as application/pdf
• DocumentInfoAccessor for LookupService 37 gets docids for bucket 60
• Client Service: JSESSION Cookie kann aktuell nicht deaktiviert werden
• Sync after deleteBuckets - not all transmitted buckets findable
• Outer CompositeDocumentInfoAccessor does not know if docid has been deleted or does not exist
• Sorting Results by custom date property uses monthly granularity (aggregated value representation)(1 result in wrong order - same order:num value)
• Pseudo Container Support für PushResolverComponent im PrincipalResolutionCache
• Suchreports können von app.telemetry Client Service Query Log generiert werden.
• Microsoft File Connector: Sortierung der Verzeichnisse/Dokumente nach Datum beim Crawlen (Neue zuerst crawlen).  
• Filter C++ Sandbox2: Fehler werden nicht korrekt an Filter propagiert (immer nur std::exception im Fehlertext)
• DeleteBuckets löscht nicht verwendete thumbnails bzw. binary_contents
• percent_zone_boost und proximity Verbesserung bei Oder Query mit Phrasen
• Index Sync (with large Microsoft SharePoint Index) hangs for hours with 100% CPU
• IBM Lotus Notes Connector soll Datenbankverbindung Aufbauen mit DbDirectory probieren.
• Unfiltered items are transformed before skipped in InvertDocument::invert
• Google Drive Stoppt Crawl Run bei HTTP 403 reason:cannotExportFile
• Basic Login mit Umlaut im Passwort funktioniert nicht
• StringTable ERROR: Index consistency: unknown string id: 13" after rebuildbtrees"
• HL7v2 Connector wirft Parsing-Warning bei Löschnachricht
• `unique(args...)` emits evaluated args only if not already emitted
• Microsoft File Connector / STATUS_INSUFFICIENT_RESOURCES
• Term lexicon based compound term split
• Google Drive Stoppt Crawl Run bei HTTP 500 message:null
• Invertierungsdauer sehr lange bei ER Regeln mit vielen Vorkommnissen
• Connector uses TLS1.1 which is no longer supported by salesforce.com
• QueryExprParserService wird nicht korrekt in der app.telemetry instrumentiert
• WebRest paketiert fälschlicherweise gleichzeitig Spring 2.5 und Spring 3.0
• rh-python-3.6 aufnehmen
• PDF-Preview Title funktioniert nicht (wird als "[Object]" dargestellt) wenn im Format: [PROPERTY] angefordert
• Im Suggest/Autocomplete ist es aktuell möglich, eine Kategorie auszuwählen