Microsoft File Connector

Installation und Konfiguration

Mindbreeze GmbH, A-4020 Linz, .

Diese Unterlagen sind streng vertraulich. Durch die Übermittlung und Präsentation dieser Unterlagen alleine werden keine Rechte an unserer Software, an unseren Dienstleistungen und Dienstleistungsresultaten oder sonstigen geschützten Rechten begründet. Die Weitergabe, Veröffentlichung oder Vervielfältigung ist nicht gestattet.

Aus Gründen der einfacheren Lesbarkeit wird auf die geschlechtsspezifische Differenzierung, z.B. Benutzer/-innen, verzichtet. Entsprechende Begriffe gelten im Sinne der Gleichbehandlung grundsätzlich für beide Geschlechter.

Video Tutorial „Set up a Microsoft File Connector”

Dieses Video beschreibt, wie der Microsoft File Connector konfiguriert wird. Erfahren Sie, welche Voraussetzungen notwendig sind und wie Sie den Index konfigurieren. Zusätzlich wird auf Active Directory Based Authentication sowie LDAP eingegangen und Sie erfahren, wie man gecrawlte Dokumente und Crawl-Runs in app.telemetry analysiert.

https://www.youtube.com/watch?v=S2JCrM98W30

Konfiguration von Mindbreeze

Klicken sie auf “Indices” und auf das “Add new index” Symbol um einen neuen Index zu erstellen.

Eingabe eines neuen Index Pfades z.B, “/data/indices/fileshare ”. Falls notwendig muss der Display Name des Index Services und des zugehörigen Filter Services geändert werden.

Mit “Add new custom source” unten rechts kann eine neue Datenquelle hinzugefügt werden.

„Ignore Category Instance”: Wenn mehrere File Crawler auf einem Index konfiguriert sind, wird bei der Suche nicht auf konkrete Category Instances eingeschränkt.
„Authorization Service“: aktuell wird für Microsoft File kein Authorization Service zur Verfügung gestellt.

Konfiguration der Datenquelle

Caching Principal Resoution Service

Als Caching Principal Resolution Service kann ein CachingLdapPrincipalResoution ausgewählt werden. Es wird dann für das Auflösen der AD Gruppenmitgliedschaft eines Benutzers bei der Suche verwendet.

Für die Konfiguration von Caching Principal Resolution Service siehe Caching Principal Resolution Service.

Sources

Root Directories (UNC Path)	In dieser Option können Sie festlegen, welche Verzeichnisse gecrawlt werden sollen. Hinweise: Verzeichnisse sollten durch Zeilenumbrüche getrennt werden (maximal 24 Verzeichnisse). Falls Azure File Shares gecrawlt werden, muss die Kerberos-Authentifizierungsmethode in der Option „Authentication Type“ ausgewählt und verwendet werden. Für das Crawling mit der Option „Content Location Optimization“ unter Linux stellen Sie bitte sicher, dass die Root-Pfade gemountet sind.
Supports SMBv2/v3	Wenn deaktiviert, wird nur das SMBv1 Protokoll verwendet. Wenn aktiviert, werden ebenfalls SMBv2/v3 Protokolle verwendet.
Disable SMB Packet Signing (Advanced Settings)	Wenn aktiviert, wird für gesendete SMB-Pakete keine Signatur erzeugt und für empfangene Paketen wird die Signatur nicht verifiziert.
Disable SMB2 Multi-Protocol Negotiate (Advanced Settings)	Wenn aktiviert, können dadurch bessere Fehlermeldungen ausgegeben werden falls der Server nur SMBv1 unterstützt.
SMB Client Transaction Timeout (Advanced Settings)	Hier kann der Thread-Timeout (in Sekunden) für SMB Verbindungen festgelegt werden.
SMB Client Socket Timeout (Advanced Settings)	Hier kann der Socket-Timeout (in Sekunden) für SMB Verbindungen festgelegt werden.
Crawl Last Modified Directory Files First (Advanced Settings)	Wenn aktiviert, werden während der Traversierung eines Verzeichnisses, die Dateien und Unterverzeichnisse nach Änderungsdatums sortiert. Dadurch werden die zuletzt geänderten Dateien und Verzeichnisse zuerst gecrawlt.
Root Traversal Threads Count	Hier kann die Anzahl von Threads festgelegt werden, die die Verzeichnisse vom “Root Directories” Feld parallel traversieren.
Documents Dispatcher Threads Count	Hier kann die Anzahl von Threads festgelegt werden, die die Verzeichnisse und deren Dokumente, die sich in der „Documents Dispatcher Queue“ befinden, parallel an den Index senden.
Documents Dispatcher Queue Size	Hier kann die maximale Anzahl der Verzeichnisse und deren Dokumente festgelegt werden, die sich in der Warteschlange befinden sollen, bevor diese durch „Document Dispatcher Threads“ von der Warteschlange entfernt und an Index geschickt werden.
Directory Files Lister Threads Count	Hier kann die Anzahl von Threads festgelegt werden, welche die Dateien, Unterverzeichnisse und die ACLs eines Verzeichnisses vom Filesystem Share mittels SMB abrufen. Die Unterverzeichnisse werden in der „Directory Files Lister Queue“ abgelegt. Die Verzeichnisse und deren Dateien werden in der „Document Dispatcher Queue“ abgelegt.
Directory Files Lister Queue Size	Hier kann die maximale Anzahl der Verzeichnisse für welche noch keine Dateien, Unterverzeichnisse und ACLs vom Filesystem Share abgerufen worden sind festgelegt werden, die in der Warteschlange stehen sollen.
Document Size Limit (MB)	Hier kann die maximale Dokumentengröße eingestellt werden. Dokumente, die größer als dieser Wert sind, werden ignoriert. Hinweis: Wenn dieser Wert verändert wird, sollten auch die Optionen „Document Size Limit (MB)“ und „Filter RPC Timeout (non-streamed)“ im Filter Service angepasst werden.
Maximum Crawled Content Length in MB.	Wenn Dokumente die in dieser Option festgelegte Größe (in MB) überschreiten, werden sie mit leerem Inhalt an den Filter gesendet.
Includes (Regexp)	Wenn diese Option konfiguriert wird, werden nur jene Dateien und Verzeichnisse indiziert, welche dem angegebenen Muster (Regular Expression) entsprechen. Excludes haben höhere Priorität als Includes (d.h wenn ein Dokument sowohl inkludiert, als auch exkludiert wird, wird es nicht indiziert).
Excludes (Regexp)	Wenn diese Option konfiguriert wird, werden jene Dateien und Verzeichnisse ignoriert, welche dem angegebenen Muster (Regular Expression) entsprechen. Excludes haben höhere Priorität als Includes (d.h wenn ein Dokument sowohl inkludiert, als auch exkludiert wird, wird es nicht indiziert).
Include Patterns (Advanced Settings)	Es werden nur jene Dateien und Verzeichnisse indiziert, welche dem angegebenen Muster (Regular Expression) entsprechen. Im Unterschied zum „Includes (Regexp)“ Feld, hat man hier die Möglichkeit mit der Verwendung von „regexpIgnoreCase:“, „case-insensitive“ und „regexp:“ „case-sensitive“ Muster (Reqular Expression) zu definieren oder mit dem „#“ Zeichen am Anfang der Zeile das Muster auskommentieren.
Exclude Patterns (Advanced Settings)	Es werden jene Dateien und Verzeichnisse ignoriert, welche dem angegebenen Muster (Regular Expression) entsprechen. Im Unterschied zum „Includes (Regexp)“ Feld, hat man hier die Möglichkeit mit der Verwendung von „regexpIgnoreCase:“, „case-insensitive“ und „regexp:“ „case-sensitive“ Muster (Reqular Expression) zu definieren oder mit dem „#“ Zeichen am Anfang der Zeile das Muster auskommentieren.
Exclude Directories	Wenn aktiviert, werden Verzeichnisse nicht indiziert
Full Traversal Interval (Hours)	Hier kann das Intervall (in Stunden) zwischen zwei vollständigen Traversierungen aller Dokumente im Fileshare definiert werden. Modifizierte Dokumente werden auch bei der inkrementellen Traversierung im Abstand von „Crawler Interval“ indiziert. Die Standardeinstellung (-1) ist für die meisten Anwendungsfälle ausreichend und es ist eine vollständige Traversierung aller Dokumente. Bei sehr großen Fileshares kann es sinnvoll sein die inkrementelle Traversierung durchzuführen um sie zu beschleunigen. Dabei werden gelöschte (aus dem File Share) Dokumente nicht aus dem Index entfernt. Diese Dokumente werden am Ende der vollständigen Traversierung aus dem Index entfernt.
Remove Deleted Documents From Index	Wenn aktiviert, werden die Dokumente die vom Fileshare gelöscht wurden, am Ende einer vollständigen Traversierung aus dem Index gelöscht.
Content Location Optimization	Die Beschreibung dieser Option, finden sie hier.

Security Rights Settings

“ACL Security Level”: Drei Ebenen können ausgewählt werden: Share, Directory und File.

File	Die ACLs werden pro Dokument berechnet. Die Share Rechte werden nicht inkludiert.
Directory	Alle Dokumente bekommen nur die ACLs des entsprechenden Verzeichnisses. Die Share Rechte werden nicht inkludiert.
Share	Alle Dokumente bekommen nur die ACLs des Shares. Für das Lesen der Share Rechte muss der Servicebenutzer Mitglied folgender lokalen (Share Server) Gruppen sein: Administrator, Power User, Print Operator oder Server Operator.
None	Dokumente bekommen keine ACLs. Darf nur gemeinsam mit der „Unrestricted Public Access“ Option des Index konfiguriert werden.
Trustee	Die ACLs werden aus der Trustee Info Datei berechnet.

“Resolve Local Group Members”: Manchmal beinhalten die ACLs von Dokumenten auch lokale Gruppen. Um die Domänenbenutzer oder Domänengruppen in diesen lokalen Gruppen aufzulösen, wird ein Zugriff auf LSA (Local Security Authority) und SAM (Service Account Manager) mittels RPC-SMB Protokoll benötigt. Falls der Crawler Service Benutzer die benötigten Rechte für LSA und SAM nicht hat, kann das Auflösen des Lokalen Gruppen hier deaktiviert werden. Dies wird jedoch grundsätzlich nicht empfohlen und sollte nur in Ausnahmefällen deaktiviert werden.
“LSA/SAM Desired Access”: Die bevorzugte Zugriffsberechtigung des Crawler Service Benutzers auf LSA und SAM. Maximum allowed, Generic all, Generic execute, Generic Read oder Read Control. Für das Crawlen von NetApp Shares sollte Read Control als LSA/SAM Desired Access ausgewählt werden. Wenn der Zugriff mit der ausgewählten Berechtigung nicht erfolgreich ist, werden die anderen Zugriffsberechtigungen ausprobiert.
“Resolve All Domains”: Um die Dateiberechtigungen (ACLs) verschiedener Domänen richtig zuordnen zu können muss die Option Resolve All Domains ausgewählt werden. Dafür ist es notwendig, dass entweder die LDAP Server dieser Domänen direkt unter „LDAP Server“ konfiguriert werden oder über DNS SRV Records von AD mittels LDAP aufgelöst werden können. Dafür sollen die Domänen im Network Tab unter LDAP Setting konfiguriert werden. Falls „Resolve All Domains“ nicht ausgewählt ist, werden nur die ACLs von der Domäne des File Share Servers richtig aufgelöst.

Trustee Information Settings

“Trustee Information File Path”: Der Pfad zur Trustee Information Datei, welche in einem Freigegebene Ordner (UNC Pfad) oder in einem lokalen Ordner gespeichert sein kann.
“Trustee Volume Path”: Der Volume-Pfad in der Trustee Information Datei zu konfiguriertes Root-Verzeichnis. Dieses Feld soll nicht konfiguriert werden, wenn das Root-Verzeichnis dem Volume-Pfad entspricht.

Extensions (Index File Lister)

Dabei handelt es sich um Plugins die von Mindbreeze zur Verfügung gestellt werden können um spezielle Anwendungsfälle abzudecken. Dabei werden die Files nicht durch klassiches „browsen“ durch die Dateibäume indiziert, sondern eine Datei oder eine Datenbank oder ähnliches angebunden, das eine Liste an zu indizierenden Dateien enthält. Es werden also nur die URLs Dateien dieser Listen indiziert anstelle durch alle Bäume zu „browsen“. Dieser Mechanismus ist ähnlich zu Sitemaps im Web Connector.

Um nur die Dokumente, die in einer Indexdatei gelistet bzw. mit zusätzlichen Attributen bereichert sind, zu indizieren bietet der Connector die IndexFileListerPlugin Schnittstelle in index-filelister-spi.jar. Diese SPI Datei wird mit dem Connector gemeinsam geliefert. Für die Implementierung werden noch zusätzlich die Dateien der Java Service API (protobuf-java-3.0.0.jar und messdk-generated.jar)benötigt.

public interface IndexFileListerPlugin {

boolean isIndexFile(ReadonlyFile file);

void init(Properties properties);

Collection<Map.Entry<ReadonlyFile, TypesProtos.Item>> listIndexFile(FilesystemContext context, ReadonlyFile indexFile);

}

Eine Implementierung der IndexFileListerPlugin Schnittstelle kann durch den Pfad Eingabe der JAR Datei im „Index File Lister Plugin“ Feld und optionalen Properties in den „Index File Lister Plugin Property“ Feldern, wie im folgenden Bild konfiguriert werden.

Die Index Dateien werden während des Traversierens der Verzeichnisse in einem Queue abgelegt „Queue Size“, die dann von mehreren Threads „Thread Count“ abgearbeitet werden. Die Option „Skip unchanged Index File Listing during Incremental Traversal“ soll nur dann ausgewählt werden, wenn die Option „Full Traversal Interval“ ebenfalls konfiguriert ist (einen Wert größer als 0 hat). Dadurch werden während des inkrementelles Traversals „Crawler Interval“ nur die geänderte Index Dateien behandelt.

Der Microsoft File Connector verwendet eine vorkonfigurierte Content Type Mapping Description XML Datei für die Extraction von File System Metadaten, die in der Connector Archivdatei vorhanden ist. Falls eine spezifische Änderung erwünscht ist kann diese Datei bearbeitet werden und in einem anderen Verzeichnis gespeichert werden. Um diese bearbeitete Konfiguration zu verwenden ist es notwendig im „Content Type Mapping Description File“ den Pfad zu diesen Datei zu konfigurieren.

Content Location Optimization

Beim Indizieren von großen Dateien ist es sinnvoll die Content Location Optimization zu verwenden. Zum Beispiel bei Outlook PST-Dateien.

Konfigurieren Sie den Einhängepunkt (mount point) nach dem Muster im obigen Screenshot.
Folgende Einstellungen sind dazu notwendig:

“Root Directory (UNC Path)”: Verwenden Sie hier denselben Pfad wie bei der Crawling Root.
“Root Directory (Mount Path)”: Der Lokale Pfad an dem das Netzwerkdateisystem eingehängt ist.
“Files Pattern (Regex)”: Ein regulärer Ausdruck der jenen Dateien entspricht für die Content Location Optimization verwendet werden soll.

Um Content Location Optimization zu verwenden, muss das Netzwerkdateisystem, das indiziert werden soll, lokal auf der Appliance eingehängt werden. Das kann über das Managementcenter konfiguriert werden:

Erstellen Sie einen lokalen Ordner mittels Filemin:

Machen sie den Mindbreeze Benutzer (mes) zum Besitzer des Ordners:

Fügen Sie einen CIFS mount mittels des “Disk and Network Filesystems” Moduls hinzu:

Konfigurieren sie den Einhängepunkt (mount point):

Nach einem Klick auf „create“ wird das Netzwerkdateisystem eingehängt und ist Betriebsbereit.

Indizieren von Outlook PST Dateien

Zusätzlich zur Konfiguration des Crawlers (siehe oben) ist es notwendig eine Outlook PST Datenquelle hinzuzufügen und „Default“ Category Instance löschen. um Outlook PST Dateien zu indizieren:

Zum Schluss ist es noch wichtig zu überprüfen ob ein Filter Plugin für die .pst Endung ausgewählt worden ist.

Credentials

Der Benutzer muss für das freigegebene Verzeichnis, das gecrawlt werden soll Leserechte besitzen. Die Credentials dazu können im folgenden Bereich „Credentials“ konfiguriert werden.

Username	Der Username des Benutzers.
Domain	Der Domainname des Benutzers.
Password	Das Passwort des Benutzers.
(Advanced Settings) Authentication Type	Hier kann festgelegt werden, welche Authentisierungsmethode verwendet werden soll. Standardmäßig wird die NTLM-Authentisierung verwendet. Dazu ist es erforderlich, dass „Username“, „Domain“ und „Password“ konfiguriert werden müssen. Falls Kerberos-Authentisierung ausgewählt ist, muss für den Crawler ein Kerberos Keytab und Principal im „Authentication“-Tab ausgewählt werden. Weitere Informationen dazu finden sie hier. Alternativ können auch dafür „Username“, „Domain“ und „Password“ konfiguriert werden, was jedoch für diese Authentifizierungsmethode nicht empfohlen wird.

Additional Settings

“Always Update Files Matching Regex”: Dokumente die mit dieser Regex matchen werden an den Filter/Index gesendet auch wenn sie nicht verändert wurden.
“ Ignore Content of Documents without Extension”: Für Dokumente, die keine Extension haben, wird keine automatische Mimetypeerkennung durchgeführt. Die Inhalte von solchen Dokumenten werden nicht indiziert.
“Disable Default Extension”: Dokumente die keine Extension haben und das Mimetype nicht automatisch erkannt werden kann haben keine Extension. Falls diese Option nicht ausgewählt ist, wird eine Default Extension verwendet.
“Fetch Preview Content from Datasource”: Um eine PDF Vorschau für PDF Dokumente zu ermöglichen werden PDF Dokumente als binäre Dateien im Index gespeichert. Bei der Auswahl dieser Option, werden sie von der Datenquelle direkt geladen. Dadurch kann das Speichern im Index am PDF-Filter deaktiviert und somit der benötigte Speicherplatzbedarf des Index reduziert werden.
“Enable Heap Dump On OutOfMemory”: Wenn der Crawler mehr Speicher benötigt als ihm zugewiesen wurde, wird ein Heapdump im Logverzeichnis für weitere Analyse erstellt. Wieviel Speicher der Crawler zur Verfügung hat steht im Connector Plugins.xml unter <vm_arg>.
“Max. Retry Duration by Filter Connection Problems”: Die maximale Zeit für die versucht wird ein Dokument wiederholt an Filter zu senden, wenn dieser nicht verfügbar ist.
“Retry Interval during Repository Connection Problems”: Die Zeit, die der Crawler wartet bevor er es bei einem Verbindungsproblem ein nächstes Mal versucht.
“Max. Retry Duration during Repository Connection Problems”: Die Zeit, die der Crawler maximal bei einem Verbindungsproblem verwenden darf.

Öffnen von Suchresultaten

Suchresultaten aus einer Microsoft File Quelle (Microsoft Word, Microsoft Excel und Microsoft Powerpoint) werden ab Windows 10 direkt im jeweiligen Programm geöffnet, wenn der aktuelle Benutzer am jeweiligen Dateiserver angemeldet ist und Microsoft Office 2019 installiert ist.

Microsoft File Connector

Installation und Konfiguration

Video Tutorial „Set up a Microsoft File Connector”

Konfiguration von Mindbreeze