Einstellung

Beschreibung

Beispiel/Standardeinstellung

Crawling Root*

Legt einen oder mehrere Startpunkte (= „Roots“) für den Crawler fest. Jede „Crawling Root“ definiert, wo der Crawler beginnt. Es ist außerdem möglich, mehrere Crawling Roots zu definieren, um den Crawl von verschiedenen Standorten aus zu starten.

Die Aktivierung bzw. Deaktivierung der Einstellung “Delta Crawling” wirkt sich wie folgt auf die definierten Crawling Roots aus:

Beispiel:

https://inspire.mindbreeze.com/blog/

URL Regex

Definiert ein Muster durch einen regulären Ausdruck, wobei die Links, die dem Muster entsprechen, gecrawlt werden. Das Muster muss mit der gesamten URL, einschließlich der Parameter, übereinstimmen.

Ist die Einstellung leer, werden alle Seiten mit dem gleichen Host- und Domain-Teilen wie die „Crawling Root“ indiziert (außer den Regeln, die in den Einstellungen „Include URL by Metadata“ oder „Exclude URL by Metadata“ festgelegt sind).

Hinweis: Beachten Sie bitte die folgende Hierarchie bei der gleichzeitigen Verwendung gewisser Einstellungen:

1. URL Regex – crawlt die Seiten, die mit dem Muster übereinstimmen.
2. URL Exclude Pattern – schließt die Seiten, die mit dem Muster übereinstimmen aus.
3. Include/Exclude URL by Metadata – filtert die Seiten, die mit den Mustern übereinstimmen aus.

Beispiel:

^https?://example\.com/.*$

URL Exclude Pattern

Gibt ein Muster für URLs an, die ausgeschlossen werden sollen. URLs, die mit diesem Muster übereinstimmen, werden nicht gecrawlt und nicht für die weitere Link‑Extraktion verwendet. Das Muster muss mit der gesamten URL, einschließlich der Parameter, übereinstimmen.

Hinweis: Beachten Sie bitte die folgende Hierarchie bei der gleichzeitigen Verwendung gewisser Einstellungen:

1. URL Regex – crawlt die Seiten, die mit dem Muster übereinstimmen.
2. URL Exclude Pattern – schließt die Seiten, die mit dem Muster übereinstimmen aus.
3. Include/Exclude URL by Metadata – filtert die Seiten, die mit den Mustern übereinstimmen aus.

Beispiel:

^https?://(?:www\.)?example\.com/(login|checkout).*$

Include URL by Metadata

Kann für das Crawlen von Sitemaps verwendet werden, um Webseiten anhand von Metadaten zu filtern. Wenn die Metadaten der Webseite mit dem definierten Muster übereinstimmen, wird die Webseite gecrawlt.

Die folgenden Einstellungen müssen konfiguriert werden, um das Muster zu definieren:

Für weitere Informationen darüber, wie Metadaten in Sitemaps angegeben werden, siehe das Kapitel „Mindbreeze-Erweiterung des Sitemaps.org Protokolls“.

Hinweis: Beachten Sie bitte die folgende Hierarchie bei der gleichzeitigen Verwendung gewisser Einstellungen:

1. URL Regex – crawlt die Seiten, die mit dem Muster übereinstimmen.
2. URL Exclude Pattern – schließt die Seiten, die mit dem Muster übereinstimmen aus.
3. Include/Exclude URL by Metadata – filtert die Seiten, die mit den Mustern übereinstimmen aus.

Exclude URL by Metadata

Kann für das Crawlen von Sitemaps verwendet werden, um Webseiten anhand von Metadaten zu filtern. Wenn die Metadaten der Webseite mit dem definierten Muster übereinstimmen, wird die Webseite nicht gecrawlt.

Die folgenden Einstellungen müssen konfiguriert werden, um das Muster zu definieren:

Für weitere Informationen darüber, wie Metadaten in Sitemaps angegeben werden, siehe das Kapitel „Mindbreeze-Erweiterung des Sitemaps.org Protokolls“.

Hinweis: Beachten Sie bitte die folgende Hierarchie bei der gleichzeitigen Verwendung gewisser Einstellungen:

1. URL Regex – crawlt die Seiten, die mit dem Muster übereinstimmen.
2. URL Exclude Pattern – schließt die Seiten, die mit dem Muster übereinstimmen aus.
3. Include/Exclude URL by Metadata – filtert die Seiten, die mit den Mustern übereinstimmen aus.

Convert Document Keys to Lower Case

Konvertiert „Document Keys“ (header/mes:key) der indizierten Dokumente/Webseiten in die Kleinschreibung.

Standardeinstellung:

Deaktiviert

Thumbnailer URL Exclude Pattern

Definiert, mithilfe eines Musters, eine Blacklist von URLs, die der Thumbnail‑Generator ignorieren soll.

Wird ein Dokument indiziert und ein Thumbnail erstellt, wird jede Netzwerk‑Anfrage, deren Ziel‑URL dem angegebenen Muster entspricht, übersprungen, sodass unerwünschte externe Aufrufe verhindert werden.

Achtung: Diese Einstellung funktioniert nur bei HTML‑Dokumenten. Stellen Sie außerdem sicher, dass der Filter FilterPlugin.JerichoWithThumbnails für HTML‑Dateien aktiviert ist.

Beispiel:

^https?://unwanted\.host\.com\/.*$

Maximum Link Depth

Legt die maximale Anzahl von Sprüngen bzw. „Hops“ von der Crawling Root hin zu Folgeseiten fest. Entdeckte URLs, die eine höhere Anzahl an Folgeseiten haben, werden ignoriert.

Der Wert „1“ wäre beispielsweise für eine Sitemap geeignet.

Beispiel:

5

User Agent

Gibt den String „User‑Agent“ an, der mit jeder HTTP‑Anfrage gesendet wird und den Crawler gegenüber den Web‑Servern identifiziert.

Standardeinstellung:

Mozilla/5.0 (compatible; heritrix/@VERSION@ +http://www.mindbreeze.com)

Additional Hosts File

Gibt eine zusätzliche Hosts‑Datei an, die für die DNS‑Auflösung während des Crawlens verwendet wird. Diese Einstellung kann aushelfen, wenn aus netzwerktechnischen Gründen die DNS-Auflösung bestimmter Webserver nicht funktioniert.

Das Format muss dem Format der Datei unter /etc/hosts entsprechen.

Beispiel:

/data/hosts/custom-host-resolution

Ignore Proxy

Durch das Aktivieren dieser Einstellung umgeht der Crawler alle konfigurierten Proxy‑Einstellungen für Anfragen.

Standardeinstellung:

Deaktiviert

Ignore SSL/Certificate Errors

(Advanced)

Durch das Aktivieren dieser Einstellung, akzeptiert der Crawler ungültige oder selbstsignierte SSL‑Zertifikate.

Standardeinstellung:

Deaktiviert

Accept-Headers

(Advanced)

Definiert zusätzliche „Accept‑*‑Header“ (z. B. Accept‑Language, Accept‑Encoding), die der Crawler bei HTTP‑Anfragen mitsenden soll.

Verwenden Sie diese Einstellung speziell für Content‑Negotiation‑Header, die dem Server mitteilen, welche Antwortformate akzeptabel sind.

Der Accept‑Header wirkt nur im internen Heritrix und hat daher keine Wirkung bei Situationen wie Authentifizierungs‑Requests, die vom Crawler durchgeführt werden.

Beispiel:

Accept-Language:en-US,en;q=0.9  

Incomplete Delta Crawl Runs

(Advanced)

Durch das Aktivieren dieser Einstellung bleiben nach dem Crawl-Durchgang auch die Web-Dokumente im Index, die von der Crawling Root aus nicht mehr erreichbar sind.

Um die Belastung von nachfolgenden Crawl‑Durchläufen auf Ihre Website zu minimieren, können Sie eine Crawling Root bereitstellen, die nur Links zu aktualisierten Seiten enthält.

Achtung: Verwenden Sie diese Einstellung nicht für das Sitemap Delta Crawling. Für mehr Informationen, siehe das Kapitel Sitemap-Crawling-Strategien.

Standardeinstellung:

Deaktiviert

Delta Crawling

• Durch das Aktivieren dieser Einstellung liest der Connector die Webseiten exklusiv aus den Sitemaps aus. Hier werden sowohl die Eigenschaften „lastmod“ als auch „changefreq“ der Seiten der Sitemap mit dem Modifizierungsdatum der indizierten Seiten verglichen (falls vorhanden).
• Siehe das Kapitel Sitemap-Crawling-Strategien.für eine ausführliche Erklärung.

Achtung: Diese Einstellung sollte nicht aktiviert werden, wenn die Einstellung „Allowed Delete Ratio“ verwendet wird.

Standardeinstellung:

Deaktiviert

Pass Sitemap ACL and Metadata to Redirect Target URLs

(Advanced)

Durch das Aktivieren dieser Einstellung werden bei jeder Sitemap‑URL, die zu einer anderen URL weiterleitet, deren Metadaten und Zugriffssteuerungs‑ (ACL‑) Einstellungen an die Ziel‑URL der Weiterleitung weitergegeben.

Hinweis: Diese Einstellung funktioniert nur, wenn auch die Einstellung „Support Redirects in Crawling Roots“ aktiviert ist.

Standardeinstellung:

Aktiviert

Enable Default ACLs

(Advanced)

Durch das Aktivieren dieser Einstellung setzt der Crawler automatisch ACLs für Web-Dokumente, wenn diese keine explizit definierten ACLs haben (z.B. über Sitemaps mit <mes:acl>). Welche ACLs in diesen Fällen gesetzt werden, wird mit der Einstellung „Default ACL Principals“ festgelegt.

Ist diese Einstellung deaktiviert, bleiben Dokumente ohne explizite ACLs ohne jegliche „Access Control“ Information.

Ist diese Einstellung deaktiviert, aber die Einstellung „Default ACL Principals“ ist aktiv, wird das ACL Prinicipal das als „Default ACL Principals“ definiert ist, (Standardeinstellung: everyone) verwendet.

Standardeinstellung:

Aktiviert

Default ACL Principals

(Advanced)

Definiert die Principals, die für die Standard‑ACLs verwendet werden sollen. Pro Zeile kann ein Principal definiert werden. Es können mehrere Principals mithilfe von Zeilenumbrüchen definiert werden.

Bitte beachten Sie die folgenden Punkte:

• Ist die Liste leer, während die Einstellung „Enable Default ACLs“ aktiviert ist, verwendet der Crawler den integrierten Principal „everyone“.
• Die angegebenen Werte werden auf jedes Dokument angewendet, dem eine Standard‑ACL zugewiesen wird.

Standardeinstellung:

everyone

Beispiel:

• max.mustermann@mindbreeze.com
• sales-department (resolvable by a cache)

Inherit Crawling Root Query Parameter Pattern

(Advanced)

Ermöglicht die Vererbung von URL Query Parameter vom Crawling Root an die Child-URLs (= entdeckte URLs).

Der gesetzte Wert kann ein beliebiger, regulärer Ausdruck sein, der mit den Namen der Query Parametern übereinstimmt. Sollte eine Child-URL bereits gleichnamige Query Parameter gesetzt haben, werden diese von dem Query Parameter der Crawling Root überschrieben.

Diese Einstellung kann zum Beispiel bei Webseiten verwendet werden, die je nach Query Parameter unterschiedliche Inhalte liefern.

Zum Beispiel, folgende Crawling Roots mit dem Query Parameter „location“ liefern unterschiedliche Inhalte:

• https://mysite.com/events?location=us
• https://mysite.com/events?location=de

Und ebenso liefern die folgenden Child-URLs mit dem Query Parameter „location“ unterschiedliche Inhalte:

• https://mysite.com/events/sponsored?location=us
• https://mysite.com/events/sponsored?location=de

Um den Query Parameter „location“, der von der Crawling Root kommt, auch auf die Child-URLs anzuwenden, muss diese Einstellung auf den Wert „location“ gesetzt werden.

Beispiel:

• location
• ^(lang|locale)$

Use extension defined in metadata for sitemap URLs

Wenn die Sitemap‑URL das Metadatenfeld mes:extension enthält, verwendet der Crawler den Wert dieses Metadatums, um bei der Verarbeitung der Sitemap die Dateierweiterung durchzusetzen.

Standardeinstellung:

Deaktiviert

Enforce Extension From URL if Matches

Definiert ein Muster, das mit gecrawlten URLs abgeglichen wird. Stimmt die URL mit dem Muster überein, wird die „Extension“ (Metadatum) aus der URL abgeleitet und nicht aus dem HTTP‑Header „Content‑Type“.

Beispiel:

.*\\.(pdf|docx|xlsx)$

Cleanup non matching URL-s from Index

Durch das Aktivieren dieser Einstellung werden alle URLs aus dem Index gelöscht, die nicht den konfigurierten Mustern in der Einstellung „Include URL by Metadata“ oder den Mustern in der Einstellung „Include URL by Metadata“ entsprechen.

Standardeinstellung:

Deaktiviert

Invalid document deletion Schedule

Definiert einen Cron‑ähnlichen Zeitplan, um ungültige oder veraltete Dokumente aus dem Index zu löschen.

Um den Zeitplan zu definieren, muss ein erweitertes Cron‑Format verwendet werden:

Sekunde, Minute, Stunde, Tag, Monat, Wochentag.

Beispiel:

0 30 2 * * ?

Skip Up-to-date Documents

(Advanced)

Durch das Aktivieren dieser Einstellung, wird ein Dokument nur dann vollständig verarbeitet (= zum Beispiel Inhalt extrahieren, Inhaltsänderungen prüfen), wenn entweder mes:date (siehe hier) oder die Zugriffsinformationen seit dem letzten Crawl‑Durchgang geändert wurden.

Standardeinstellung:

Aktiviert

Retrieve Modification Date from Index

(Advanced)

Durch das Aktivieren dieser Einstellung, ruft der Index das vorhandene Änderungsdatum eines bereits indizierten Dokuments ab, bevor es erneut indiziert wird. Dieser Wert wird im Metadaten‑Feld „mes:existingmodificationdate“ gespeichert.

Mithilfe dieser Einstellung kann das zuvor indizierte Änderungsdatum mit dem aktuellen Änderungsdatum verglichen werden, um Einblicke in Veränderungen im Laufe der Zeit zu erhalten.

Standardeinstellung:

Deaktiviert

Use Stream Sitemap Parser

(Advanced)

Durch das Aktivieren dieser Einstellung wird ein Streaming‑Parser für Sitemaps verwendet, der bei sehr großen Sitemaps speichereffizienter ist, jedoch weniger tolerant gegenüber XML‑Fehlern.

Standardeinstellung:

Deaktiviert

Enable GZIP Compressed Sitemaps

(Advanced)

Durch das Aktivieren dieser Einstellung kann der Crawler GZIP‑komprimierte Sitemap‑Dateien automatisch lesen und verarbeiten.

Standardeinstellung:

Deaktiviert

Sitemap Metadata Prefix

(Advanced)

Diese Einstellung ist nützlich, um „Key“-Kollisionen oder „Namespace“-Metadaten zu verhindern.

Hierbei wird ein Präfix definiert, der dann in den „Keys“ enthalten sein wird, die der Crawler zum Speichern von Sitemap-Metadaten verwendet.

Beispiel:

• sitemap_
• sitemap_meta

Use Hashing Queue Assignment Policy

(Advanced)

Durch das Aktivieren dieser Einstellung, wird ein hash-basierter Algorithmus verwendet, um die URIs auf die Warteschlangen zu verteilen. Die hashbasierte Verteilung ermöglicht dabei schnellere Crawl-Durchgänge, belastet aber den Ziel‑Server stärker.

Ist diese Einstellung deaktiviert, werden die URIs anhand ihres Hosts verteilt.

Standardeinstellung:

Aktiviert

Parallel queue count

(Advanced)

Definiert die Anzahl der Warteschlangen, die für das parallele Crawlen verwendet werden.

Achtung: Diese Einstellung ist nur wirksam, wenn die Einstellung „Use Hashing Queue Assignment Policy“ aktiviert ist.

Standardeinstellung:

5

Max Document Size (MB)

(Advanced)

Definiert die maximal erlaubte Dateigröße von Dokumenten, die heruntergeladen werden.

Wenn ein Dokument größer ist als der definierte Wert, wird das Dokument abgeschnitten. Das Abschneiden kann Dokumenten ungültig machen und sollte mit Vorsicht behandelt werden (z. B. ein ungültiges, abgeschnittenes PDF).

Ein Wert von 0 bedeutet, dass keine maximale Dateigröße definiert ist.

Standardeinstellung:

50 MB

Robots Honoring Policy

Bestimmt, wie der Crawler die robots.txt‑Regeln beim Zugriff auf Websites behandelt.

Folgende Optionen stehen zur Verfügung:

Standardeinstellung:

Obey all robots.txt rules for configured user

Website Cache Directory

Definiert den Pfad, wo der Crawler das Cache‑Verzeichnis anlegen soll.

Ist der Pfad gesetzt, ist auch das Caching aktiviert und die HTTP‑Kommunikation wird lokal gespeichert/zwischengespeichert, um sie später wiederzuverwenden.

Beispiel:

/data/web/cache

Maximum Mirror Database Size (MB)

Definiert in Megabyte die maximale Größe der lokalen Cache‑Datenbank.

Standardeinstellung:

512 MB

Use Cache Only

Durch das Aktivieren dieser Einstellung, verwendet der Crawler ausschließlich zwischengespeicherte („cached“) Inhalte und führt keine Netzwerk‑Anfragen mehr aus.

Standardeinstellung:

Deaktiviert

Maximum Number of Extracted Links

Definiert einen Maximalwert für die Menge an Links, die der Crawler aus einer einzelnen Seite extrahieren darf.

Ist der Maximalwert erreicht, werden keine weiteren Links auf dieser Seite mehr verfolgt oder für das Crawlen in die Warteschlange gestellt.

Standardeinstellung:

6000

HTTP Request Header

Definiert benutzerdefinierte HTTP‑Header, die bei jeder Anfrage mitgesendet werden sollen (z. B. benutzerdefinierte Client‑Header).

Beispiel:

• Cache-Control: no-cache  
• Cookie: theme=light

Content Signature Type

(Advanced)

Damit diese Einstellung funktioniert, wird ein Plugin vorausgesetzt. Das Plugin ist verfügbar unter https://www.mindbreeze.com/de/support/updates-pi.

Kann in Kombination mit dem Filter „PostFilterTransformerPlugin.SignatureToKeyRewriter“ verwendet werden, um Dokumente anhand ihres Inhalts, statt nur anhand ihrer ID (mes:key) zu deduplizieren. Hierbei muss der Filter „PostFilterTransformerPlugin.SignatureToKeyRewriter“ als Post‑Filter‑Transformer konfiguriert sein.

Folgende Optionen stehen zur Verfügung:

Standardeinstellung:

Text Profile Signature

Disable Diffie-Hellman Ciphers

(Advanced)

Durch das Aktivieren dieser Einstellung, verhindert der Crawler die Verwendung von „Diffie‑Hellman‑Key-Exchange“-Chiffren für HTTPS‑Verbindungen.

Die Aktivierung dieser Einstellung erhöht die Sicherheit, indem schwache Implementierungen von „Diffie‑Hellman‑Key-Exchange“-Chiffren vermieden werden. Dabei ist aber zu beachten, dass Verbindungen zu älteren Servern, die ausschließlich „Diffie‑Hellman‑Key-Exchange“-Chiffren unterstützen, verhindert werden könnten.

Standardeinstellung:

Deaktiviert

Support Redirects in Crawling Roots

(Advanced)

Durch das Aktivieren dieser Einstellung, folgt der Crawler HTTP‑Weiterleitungen, wenn er die angegebenen Crawling Roots aufruft.

Standardeinstellung:

Aktiviert

HTTP Protocol Version

(Advanced)

Definiert die HTTP‑Protokollversion, die der Crawler beim Abrufen von Websites verwenden soll. Hierbei wird nur die Versionsangabe in der HTTP‑Anfrage geändert. Funktionen und Leistung bleiben unverändert.

Diese Einstellung soll nur geändert werden, wenn der Ziel‑Server die aktuell eingestellte Version ablehnt.

Standardeinstellung:

HTTP/1.1

Option

Beschreibung

Sitemap-based Incomplete

Die URLs von den konfigurierten Sitemaps sind indiziert. Die bereits indizierten Dokumente, die nicht in den Sitemaps enthalten sind, bleiben im Index.

Sitemap-based Complete

Die URLs von den konfigurierten Sitemaps sind indiziert. Die bereits indizierten Dokumente, die nicht in den Sitemaps enthalten sind, werden gelöscht.

XML-Tag

Beschreibung

<mes:meta>

(Optional)

Kann mehrfach innerhalb eines <url> Tags definiert werden, um Metadaten zu definieren.

Folgende Attribute sind verfügbar:

Beispiel:

  <url>

    <loc>https://www.mindbreeze.com</loc>

    <mes:meta key="breadcrumb">

      <mes:value>Mindbreeze</mes:value>

      <mes:value>Home</mes:value>

    </mes:meta>

<mes:value>

(Erforderlich)

Kann mehrfach innerhalb eines <mes:meta> Tags definiert werden, um einen oder mehrere Werte für ein Metadatum zu definieren.

Beispiel:

    <mes:meta key="breadcrumb">

      <mes:value>Mindbreeze</mes:value>

      <mes:value>Home</mes:value>

    </mes:meta>

Hinweise:

• Nummern müssen als JSON Number formatiert sein. (z.B.: 1234 oder -12.42)
• Wenn der Wert keine gültige Nummer ist, wird eine Warnung protokolliert und der Wert als String interpretiert.
• Aktuell ist der einzig erlaubte Wert des format-Attributs der Wert „number“. Wenn der Wert als String interpretiert werden soll, ist das format Attribut wegzulassen, da dies das Standardverhalten ist.

<mes:annotated>

(Optional)

Kann mehrfach innerhalb eines <mes:meta>-Tags definiert werden, um einen oder mehrere annotierte Werte für ein Metadatum festzulegen.

Beispiel:

    <mes:meta key="parent">

<mes:annotated>

         <mes:value>Main parent</mes:value>

         <mes:ctx-annotation metakey="related" aggregatable="false">Fabasoft</mes:ctx-annotation>

         <mes:ref-annotation metakey="parentkey">abcd.1.2.3.4</mes:ref-annotation>

       </mes:annotated>

    </mes:meta>

<mes:value>

(Erforderlich)

Muss einmal innerhalb eines <mes:annotated>-Tags definiert werden, um den Wert zu definieren, der annotiert wird.

Für annotierte Werte werden nur String-Werte unterstützt.

Beispiel:

    <mes:meta key="parent">

<mes:annotated>

         <mes:value>Main parent</mes:value>

         <mes:ctx-annotation metakey="related" aggregatable="false">Fabasoft</mes:ctx-annotation>

         <mes:ref-annotation metakey="parentkey">abcd.1.2.3.4</mes:ref-annotation>

       </mes:annotated>

    </mes:meta>

<mes:ctx-annotation>

(Optional)

Kann mehrfach innerhalb eines <mes:annotated>-Tags definiert werden, um dem Wert Annotationen hinzuzufügen.

Die folgenden Attribute sind verfügbar:

Beispiel:

    <mes:meta key="parent">

<mes:annotated>

         <mes:value>Main parent</mes:value>

         <mes:ctx-annotation metakey="related" aggregatable="false">Fabasoft</mes:ctx-annotation>

         <mes:ref-annotation metakey="parentkey">abcd.1.2.3.4</mes:ref-annotation>

       </mes:annotated>

    </mes:meta>

<mes:ref-annotation>

(Optional)

Kann mehrfach innerhalb eines <mes:annotated>-Tags definiert werden, um Referenzannotationen zu den Metadaten hinzuzufügen.

Das folgende Attribut ist verfügbar:

Beispiel:

    <mes:meta key="parent">

<mes:annotated>

         <mes:value>Main parent</mes:value>

         <mes:ctx-annotation metakey="related" aggregatable="false">Fabasoft</mes:ctx-annotation>

         <mes:ref-annotation metakey="parentkey">abcd.1.2.3.4</mes:ref-annotation>

       </mes:annotated>

    </mes:meta>

<mes:acl>

(Optional)

Kann innerhalb eines <mes:meta> Tags verwendet werden, um ACLs zu definieren.

Beispiel:

    <mes:acl>

      <mes:require>cn=domain users,cn=users,dc=myorganization,dc=com</mes:require>

      <mes:deny>unauthorized</mes:deny>

<mes:grant>cn=marketing,cn=users,dc=myorganization,dc=com</mes:grant>

    </mes:acl>

Achtung: Dieser Tag wird nur berücksichtigt, wenn die Einstellung „Enable Default ACLs“ aktiviert ist. Beachten Sie außerdem auch, dass ACLs aus Sitemaps nicht gemeinsam mit „Access Check Rules“ verwendet werden können.

<mes:grant>

(Optional)

Kann mehrfach innerhalb eines <mes:acl> Tags definiert werden, um den Zugriff für ein Principal zu gewähren.

Beispiel:

    <mes:acl>

      <mes:require>cn=domain users,cn=users,dc=myorganization,dc=com</mes:require>

      <mes:deny>unauthorized</mes:deny>

<mes:grant>cn=marketing,cn=users,dc=myorganization,dc=com</mes:grant>

    </mes:acl>

<mes:deny>

(Optional)

Kann mehrfach innerhalb eines <mes:acl> Tags definiert werden, um den Zugriff für ein Principal abzulehnen.

Beispiel:

    <mes:acl>

      <mes:require>cn=domain users,cn=users,dc=myorganization,dc=com</mes:require>

      <mes:deny>unauthorized</mes:deny>  <mes:grant>cn=marketing,cn=users,dc=myorganization,dc=com</mes:grant>

    </mes:acl>

<mes:require>

(Optional)

Kann mehrfach innerhalb eines <mes:acl> Tags definiert werden, um zu bestimmen in welchen Gruppen ein User sein muss.

Der Tag <mes:require> gewährt grundsätzlich keinen Zugriff, aber verbietet den Zugriff, wenn der User nicht in der Gruppe ist. Dementsprechend ist zusätzlich zum letzten <mes:require> Tag ein <mes:grant> Tag notwendig, um den Zugriff zu gewähren.

Beispiel:

    <mes:acl>

      <mes:require>cn=domain users,cn=users,dc=myorganization,dc=com</mes:require>

      <mes:deny>unauthorized</mes:deny>   <mes:grant>cn=marketing,cn=users,dc=myorganization,dc=com</mes:grant>

    </mes:acl>

Einstellung

Beschreibung

Beispiel/Standardeinstellung

Title

XPath‑Ausdruck, der das Tag „title“ auswählt (das zuerst gefundene Element wird verwendet).

Hinweis: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Beispiel:

//h1

Title Element

(Advanced)

Elementname der <title>-Tags.

Hinweis: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Beispiel:

h1

Use Link Text for Title

(Advanced)

Diese Einstellung ermöglicht, die vom Web‑Crawler erkannten Standard‑Dokumenttitel zu überschreiben und stattdessen den Text des Hyperlinks, der auf die Seite verweist, als Dokumenttitel zu verwenden.

Um diese Einstellung zu nutzen, muss ein Regex‑Muster definiert werden. Der Crawler wendet dieses Verhalten nur auf Seiten an, deren URLs dem Muster entsprechen. Dadurch kann die Verwendung von Link‑Text‑Titeln gezielt für bestimmte Websites oder URL‑Strukturen aktiviert werden.

Beispiel:

^https://example\.com/articles/.*

Process Canonical Link

Durch die Definition eines regulären Ausdrucks können URLs bestimmt werden, für diese dann die URL aus dem „canonical“ Tag gelesen werden soll. Diese URL wird dann als Index-Schlüssel und URL-Metadatum gesetzt.

Beispiel:

^https?://example\.com/.*$

Encode Canonical Links

Durch das Aktivieren dieser Einstellung werden die URLs, die aus dem „canonical“-Tag extrahiert werden, verschlüsselt, bevor sie im Index gespeichert werden. Dies ist nützlich, weil die URLs dann im gleichen Format im Index gespeichert werden, wie, wenn man sie aus dem Browser kopiert, da der Browser die URLs meistens automatisch verschlüsselt.

Hinweis: Um die korrekte Funktionsweise sicherzustellen, wird die Säuberung und Re-Indexierung empfohlen.

Standardeinstellung:

Deaktiviert

Content

XPath‑Ausdruck, der den Inhalt auswählt.

Hinweis: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Beispiel:

//div[@class='content']

Content Metadata Selector

(Advanced)

Diese Einstellung ist veraltet und die Verwendung von XPath wird empfohlen.

-

Exclude Tags from Content

Schließt Tags vom Inhalt aus. Der definierte XPath‑Ausdruck wird mit HTML‑Tags abgeglichen.

Hinweis: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Beispiel:

//div[@class='index']

Apply googleon/googleoff Tags

Durch das Aktivieren dieser Einstellung werden Inhalte, die mit googleon/googleoff-Tags markiert sind, nicht indexiert.

Hinweis: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Standardeinstellung:

Deaktiviert

Metadata Selector

(Advanced)

Diese Einstellung ist veraltet.

-

Metadata Value Pattern

(Advanced)

• Diese Einstellung ist veraltet.

-

URLs Excluded from Filtering

(Advanced)

Definiert die URLs, die der Crawler für die Link‑Extraktion abrufen und folgen soll, wobei deren Inhalte nicht gefiltert, verarbeitet oder indiziert werden.

Beispiel:

^https://example\.com/archives/.*

Display Date Timezone

Definiert die Zeitzone für „Display Date“.

Hinweis: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Beispiel:

CET

Default Encoding

Definiert die Standard‑Zeichenkodierung für HTTP‑Inhalte, wenn in den Headern der HTTP-Inhalte keine Kodierung angeben ist.

Standardeinstellung:

ISO_8859_1

HTTP Elements Encoding

Definiert die Zeichenkodierung für HTTP‑Protokollelemente, wie Request‑Header, Query‑Parameter und ggf. Cookies.

Standardeinstellung:

ISO_8859_1

Default Content Type

Definiert einen Ersatz‑MIME‑Typ, wenn die HTTP‑Antwort keinen Content‑Type‑Header enthält.

Beispiel:

text/html

Extract Metadata

Extrahiert Metadaten aus HTML‑Dokumenten.

Um Metadaten zu extrahieren, müssen die folgenden Einstellungen in der Property konfiguriert werden:

Beispiel:

Exclude Documents With Matching Elements

Definiert einen XPath-Ausdruck, wo das Dokument nicht indiziert wird, wenn der Ausdruck mit dem Dokument übereinstimmt.

Um Dokumente auszuschließen, muss die folgende Einstellung in der Property konfiguriert werden:

Achtung: Diese Einstellung funktioniert nur mit HTML‑Dokumenten und den folgenden Filtern:

• FilterPlugin.HTMLCompleteJericho
• FilterPlugin.Jericho
• FilterPlugin.JerichoWithThumbnails

Beispiel:

/div[@class=’noindex’]

Assign Metadata

(Advanced)

Diese Einstellung ist veraltet.

-

Einstellung

Einfluss auf die Crawling-Richtung

Crawling Root

Definiert mit welcher URL das Crawling gestartet wird.

URL Regex

Definiert, welche URLs weiterverfolgt werden sollen.

URL Exclude Regex

Definiert, welche URLs ausgeschlossen und nicht weiterverfolgt werden sollen.

URLs Excluded from Filtering

(Advanced)

Definiert, welche gecrawlten Dokumente schlussendlich indiziert werden sollen.

Einstellung

Beschreibung

Beispiel/Standardeinstellung

Enable JavaScript

Aktiviert die Verarbeitung von JavaScript.

Hinweis: Wenn diese Einstellung aktiviert ist, benötigt der Connector deutlich mehr Ressourcen. Das führt zu langsamerem Crawlen und einem höheren Speicherverbrauch. Es wird daher empfohlen, die Einstellung nur bei einem einzigen Crawler zu aktivieren und die JavaScript Verarbeitung mit den nachfolgenden Einstellungen „Include JavaScript URL (regex)“ und „Exclude JavaScript URL (regex)“ nur auf diejenigen URLs einzuschränken, die JavaScript tatsächlich benötigen.

Standardeinstellung:

Deaktiviert

Enable Verbose Logging

(Advanced)

Aktiviert das erweiterte Logging für Diagnosezwecke.

Standardeinstellung:

Deaktiviert

Skip Head Request

(Advanced)

Durch das Aktivieren dieser Einstellung wird der „HEAD Request“ übersprungen.

Mit dem „HEAD Request“ wird ermittelt, ob das JavaScript einer Webseite verarbeitet werden soll. Standardmäßig wird JavaScript nur für Text/HTML ermittelt.

Standardeinstellung:

Deaktiviert

Include JavaScript URL (regex)

Definiert eine Liste von regulären Ausdrücken, die bestimmt bei welchen URLs JavaScript verarbeitet werden soll.

Sollte die Einstellung „Exclude JavaScript URL (regex)“ auch konfiguriert sein, werden die Einstellungen in der folgenden Reihenfolge ausgeführt:

• Exclude JavaScript URL (regex)
• Include JavaScript URL (regex)

Hinweis: Es wird empfohlen diese Einstellung zu definieren, wenn die Einstellung „Enable JavaScript“ aktiviert ist, um den Ressourcenverbrauch zu minimieren.

Standardeinstellung:

.*

Beispiel:

^https://example\.com/.*

Exclude JavaScript URL (regex)

Definiert eine Liste von regulären Ausdrücken, die bestimmt bei welchen URLs JavaScript nicht verarbeitet werden soll.

Sollte die Einstellung „Include JavaScript URL (regex)“ auch konfiguriert sein, werden die Einstellungen in der folgenden Reihenfolge ausgeführt:

• Exclude JavaScript URL (regex)
• Include JavaScript URL (regex)

Hinweis: Es wird empfohlen diese Einstellung zu definieren, wenn die Einstellung „Enable JavaScript“ aktiviert ist, um den Ressourcenverbrauch zu minimieren.

Beispiels:

^https://example\.com/login.*

Thumbnail Width

(Advanced)

Definiert die Breite der generierten Thumbnails in Pixel.

Standardeinstellung:

100

Thumbnail Height

(Advanced)

Definiert die Höhe der generierten Thumbnails in Pixel.

Standardeinstellung:

75

Browser Width

(Advanced)

Definiert die Breite des Browserfensters, das zum Crawlen verwendet wird.

Standardeinstellung:

1024

Browser Height

(Advanced)

Definiert die Höhe des Browserfensters, das zum Crawlen verwendet wird.

Standardeinstellung:

768

Page Load Strategy

(Advanced)

Definiert die Strategie mit der die Webseiten geladen werden.

Achtung: Diese Einstellung ist für die interne Verwendung bestimmt und sollte nicht geändert werden.

Standardeinstellung:

Eager

Page Ready State

(Advanced)

Definiert, ab wann eine Webseite als vollständig geladen gilt.

Achtung: Diese Einstellung ist für die interne Verwendung bestimmt und sollte nicht geändert werden.

Standardeinstellung:

Complete Or Inactive

Einstellung

Beschreibung

Beispiel/Standardeinstellung

Content Selector Type (deprecated)

Gleiches Verhalten wie bei der Einstellung "Content Selector Type" im Content Presence Selector.

-

Content Presence Selector (deprecated)

Gleiches Verhalten wie bei der Einstellung "Content Presence Selector" im Content Presence Selector.

-

Content Presence Selector

Folgende Einstellungen sind zu konfigurieren, um einen Content Presence Selector hinzuzufügen.

URL Patterns (regex)

Definiert das Regex‑Muster mit denen die URLs von Webseiten abgeglichen werden.

Stimmt die URL mit dem Muster überein, wird der Content Presence Selector angewendet.

Beispiel:

https://site-where-the-selector-should-trigger.com/site-with-content.*

Content Selector Type

Definiert den Typ des Content Presence Selectors.

Verfügbare Optionen:

• CSS
• XPath

Standardeinstellung:

CSS

Content Presence Selector

Definiert einen CSS‑ oder XPath‑Ausdruck mit dem festgestellt wird, ob der gesuchte Inhalt existiert.

Hinweis: Bei der Definition des CSS- oder XPath-Ausdrucks müssen einfache Anführungszeichen verwendet werden.

Achtung: Diese Einstellung darf nicht verwendet werden, wenn die Einstellung „Assume Content if no Script triggered“ aktiviert ist.

Beispiel:

//*[@id='content']

Assume Content if no Script triggered

Durch das Aktivieren dieser Einstellung wird davon ausgegangen, dass der Inhalt geladen ist, obwohl kein „Script Trigger Selector“ aktiviert ist.

Achtung: Diese Einstellung darf nicht verwendet werden, wenn die Einstellung „Content Presence Selector“ konfiguriert ist.

Standardeinstellung:

Deaktiviert

Scripts

Folgende Einstellungen sind zu konfigurieren, um ein Skript hinzuzufügen.

Script Name

Definiert einen Namen für das Skript, der zur Identifizierung in den Protokollen verwendet wird.

Beispiel:

CookieBanner

URL Patterns (regex)

Definiert das Regex‑Muster mit denen die URLs von Webseiten abgeglichen werden.

Stimmt die URL mit dem Muster überein, wird das Skript ausgeführt.

Ist diese Einstellung leer, wird sie als “.*“ interpretiert.

Beispiel:

https://site-with-cookie-banner.com/cookies.*

Script Selector Type

Definiert den Typ des Script Trigger Selectors.

Verfügbare Optionen:

• CSS
• XPath

Standardeinstellung:

CSS

Script Trigger Selector

Definiert einen CSS‑ oder XPath‑Ausdruck mit dem das Skript ausgelöst wird.

Hinweis: Bei der Definition des CSS- oder XPath-Ausdrucks müssen einfache Anführungszeichen verwendet werden.

Beispiel:

//*[@id='cookieBannersId']

Script

Definiert das Skript, das ausgeführt werden soll, wenn der Script Trigger Selector aktiv ist.

Beispiel:

document.getElementById('okBtn').click()

Credential Scripts

Folgende Einstellungen sind zu konfigurieren, um ein Credential Skript hinzuzufügen.

Script Name

Definiert einen Namen für das Credential Script, der zur Identifizierung in den Protokollen verwendet wird.

Beispiel:

LoginScript

Allowed Hostnames

Definiert die Hostnames auf denen das Skript ausgeführt werden soll.

Die Verwendung von Mustern ist bei dieser Einstellung nicht möglich.

Beispiel:

some.trusted.sites.com

Script Selector Type

Definiert den Typ des Script Trigger Selectors.

Verfügbare Optionen:

• CSS
• XPath

Standardeinstellung:

CSS

Script Trigger Selector

Definiert einen CSS‑ oder XPath‑Ausdruck mit dem das Skript ausgelöst wird.

Hinweis: Bei der Definition des CSS- oder XPath-Ausdrucks müssen einfache Anführungszeichen verwendet werden.

Beispiel:

//*[@id='username'] and //*[@id='password']

Script

Definiert das Skript, das ausgeführt werden soll, wenn der Script Trigger Selector aktiv ist.

Im Gegensatz zu üblichen Skripten, kann das bereitgestellte Objekt „mesCredential“ verwendet werden.

Dieses Objekt enthält die Variablen domain, username und password, die je nach ausgewähltem Credential gesetzt werden:

• let password = mesCredential.password;
• let username = mesCredential.username;
• let domain = mesCredential.domain;

Beispiel:

document.getElementById('username').value =

mesCredential.username;

document.getElementById('username').value =

mesCredential.password;

document.getElementById('submit').click()

Credential

Definiert das Credential, dass im Skript verwendet werden soll und im „Network“-Tab erstellt wurde.

Aktuell werden die folgenden Credential‑Typen unterstützt:

• Password
• Username/Password

Beispiel:

WEB

On New Document Script

Definiert ein Skript, das direkt vor dem Laden einer Seite einmalig ausgeführt wird.

Diese Einstellung ist nützlich für Anwendungsfälle, wo übliche Skripte zu spät ausgeführt werden.

Beispiel:

// Override window.open to block popups

window.open = function(...args) {

    console.log("Popup blocked: window.open was called, but no action was taken.", args);

    // Optionally, you could store the args for analysis or logging

    return null; // Prevent any popup from opening

};

HTTP Authentication Dialog

Folgende Einstellungen sind zu konfigurieren, um Anmeldeinformationen für HTTP‑Authentifizierungsdialoge im Browser hinzuzufügen.

Allowed Hostnames

Definiert eine Liste von Hostnames auf denen die Credentials verwendet werden dürfen.

Um eine Liste mit mehreren Hostnames anzugeben, müssen die einzelnen Hostnames mit Zeilenumbrüchen getrennt werden.

Beispiel:

some.trusted.sites.com

Credential

Definiert das Credential, das zu den jeweiligen Hostnames gesendet werden soll und im „Network“-Tab erstellt wurde.

Beispiel:

WEB

Einstellung

Beschreibung

Beispiel/Standardeinstellung

Additional Network Resources Hosts

Definiert eine Liste von Hostnamen, zu denen Netzwerk-Anfragen erlaubt sind.

Die Verwendung von Mustern ist bei dieser Einstellung nur möglich, wenn die Einstellung „Match "Additional Network Resources Hosts" as regex“ aktiviert ist.

Beispiel:

additional.trusted.host.com

trustful.host.com

allowed.to.load.here.at

mindbreeze.com

Match "Additional Network Resources Hosts" as regex

Durch das Aktivieren dieser Einstellung werden Hostnamen in der Einstellung „Additional Network Resources Hosts“ als Regex-Muster verwendet.

Für jedes Skript muss mindestens ein URL-Muster definiert werden.

Standardeinstellung:

Disabled

Allowed Network Resources

Definiert eine Liste von Netzwerk Ressourcen zu denen Anfragen erlaubt sind.

Standardeinstellung:

DOCUMENT

STYLESHEET

IMAGE

MEDIA

FONT

SCRIPT

XHR

FETCH

PING

CSPVIOLATIONREPORT

OTHER

Additional Arguments

Diese Einstellung ist für die interne Verwendung bestimmt und sollte nicht geändert werden.

-

Einstellung

Beschreibung

Beispiel/Standardeinstellung

Page Load Timeout

Definiert in Sekunden, wie viel Zeit für das Laden und Ausführen von JavaScript auf einer Webseite erlaubt ist.

Wird diese Zeit überschritten, bricht die Verarbeitung ab.

Der Maximalwert für diese Einstellung beträgt 20 Sekunden.

Hinweis: Der Wert dieser Einstellung sollte immer kleiner sein als der Wert der Einstellung „Network Timeout“.

Standardeinstellung:

10

Network Timeout

Definiert in Sekunden, wie lange der Konnektor auf eine Antwort von der Website warten darf.

Hinweis: Der Wert dieser Einstellung sollte immer größer sein, als der Wert der Einstellung „Page Load Timeout“.

Standardeinstellung:

10

Browser Recycle Threshold

Definiert die Anzahl der Webseiten, die mit einer internen Browser-Instanz verarbeitet werden, bevor die Instanz automatisch beendet und neu gestartet wird, um Systemressourcen zu schonen.

Standardeinstellung:

1000

Browser Control Process XmX

Definiert den maximalen Heap‑Speicher des Browser‑Steuerungsprozesses.

Standardeinstellung:

512m

Einstellung

Beschreibung

Beispiel/Standardeinstellung

Memory Profile

Definiert die Menge an Speicher, die dem Crawler zur Verfügung steht.

Das Profil „InSite“ verwendet dieselbe Menge an Speicher, wie andere Crawler.

Das Profil „InSpire“ wird empfohlen, wenn der Crawler mehr Speicher benötigt oder Daten mit sehr großen Dateigrößen gecrawlt werden sollen.

Standardeinstellung:

InSite

Number of Crawler Threads

Definiert die Anzahl der Threads, welche die Webseite(n) parallel crawlen.

Beispiel:

5

Minimum Request Interval

Definiert den Minimalwert in Sekunden für die Verzögerung zwischen aufeinanderfolgenden Anfragen des Crawlers.

Beispiel:

100 ms

Maximum Request Interval

Definiert den Maximalwert in Sekunden für die Verzögerung zwischen aufeinanderfolgenden Anfragen des Crawlers.

Beispiel:

200 ms

Crawler Queue Size

Definiert die maximale Anzahl der Dokumente in der Warteschlange, die an den Index gesendet werden.

Beispiel:

10

Mindbreeze Dispatcher Thread Count

Definiert die Anzahl der Threads, die parallel Daten an den Index senden.

Beispiel:

10

Allowed Delete Ratio

Definiert den maximal zulässigen Anteil der zu löschenden Dokumente im Verhältnis zur Anzahl der Dokumente im Index.

Diese Einstellung dient dazu, Datenverlust bei Netzwerkstörungen oder unbeabsichtigten Konfigurationsänderungen zu verhindern.

Sollten, zum Beispiel, in einem Crawl-Durchgang mehr als 0.8 bzw. 80% der Dokumente gelöscht werden, wird der Crawl-Durchgang automatisch abgebrochen, um Datenverlust zu verhindern.

Achtung: Diese Einstellung ist nur wirksam, wenn die Einstellung „Delta Crawling“ deaktiviert ist.

Standardeinstellung:

0.8 (= 80%)

Einstellung

Beschreibung

Beispiel/Standardeinstellung

NTLM Credential

Das zu verwendende NTLM‑Credential.

Um das Credential zu erstellen, gehen Sie zum „Network“-Tab.

Beispiel:

NTLM Credential

Mindbreeze InSpire Fully Qualified Domain Name

Der Hostname, der für die NTLM‑Authentifizierung verwendet wird.

Beispiel:

my-inspire.mindbreeze.com

OAuth Credential

Das zu verwendende OAuth‑Credential.

Um das Credential zu erstellen, gehen Sie zum „Network“-Tab.

Beispiel:

OAuth Credential

OAuth Scope

(Advanced)

Konfigurieren Sie diese Einstellung, um spezifische Berechtigungen für die OAuth‑Authentifizierung anzufordern.

Beispiel:

api://1123-4566-77789/.default

Use Kerberos Authentication

Aktiviert die Authentifizierung mit Kerberos.

Standardeinstellung:

Deaktiviert

Login URL

Wenn ein statischer, formularbasierter Login mit Sitzungsverwaltung konfiguriert werden soll, muss in dieser Einstellung die zu verwendende URL angegeben werden.

Zum Beispiel kann diese URL mithilfe der Debug‑Funktionen des Webbrowsers ermittelt werden.

Beispiel:

http://webserver.myorganization.com/login

Session Initialization URL

In manchen Fällen ist es notwendig ein dynamisch generiertes Cookie von einer bestimmten URL abzuholen und dieses bereits beim formularbasierten Login mitzusenden.

Auf die hier eingetragene URL wird eine „HTTP GET“-Anfrage durchgeführt und die so erhaltenen Cookies beim eigentlichen Login mitgesendet.

Bei komplexen formularbasierten Authentifizierungen wird die angegebene URL zu Beginn aufgerufen, um danach dynamisch weitergeleitet zu werden. Die dabei erhaltenen Cookies werden für die Session beibehalten.

Beispiel:

http://webserver.myorganization.com/protected/documents

Include Matching Cookies (Regular Expression)

Definiert die Einschränkung mit der bestimmt wird, welche Cookies für die Sitzungsverwaltung gespeichert werden.

Bei der Definition der Einschränkung muss ein regulärer Ausdruck eingegeben werden, der die Namen jener Cookies beinhaltet, die übernommen und für die Session verwendet werden sollen.

Beispiel:

.*JSESSIONID.*

Login Form Parameters

Wenn beim Login-Formular versteckte Felder gesetzt werden, können diese hier aufgelistet werden. Diese werden extrahiert und beim Login-Request mitgesendet.

Ein typisches Beispiel dafür ist die dynamisch generierte FormID, die als „hidden“ Parameter vom Webserver zurückgesendet wird.

Beispiel:

formid

Login URL Patterns

Alle Redirects, die den hier angegebenen regulären Ausdrücken entsprechen, werden beim Login-Vorgang verfolgt

Beispiel:

http:\/\/webserver\.myorganization\.com\/protected\/login.*

Login Post URL Patterns

Beim Folgen von Redirects, die den hier angegebenen regulären Ausdrücken entsprechen, werden alle gesammelten Formularparameter mittels „HTTP POST“-Anfrage mitgesendet.

Beispiel:

http:\/\/webserver\.myorganization\.com\/protected\/login\/loginform.*

Logged in URL Patterns

Wird auf eine URL weitergeleitet, die den hier angegebenen regulären Ausdrücken entspricht, dann gilt der Login-Vorgang als erfolgreich.

Beispiel:

http:\/\/webserver\.myorganization\.com\/protected\/documents.*

Maximum Allowed Count of Redirects

Hiermit kann die maximale Tiefe der verfolgten Redirects festgelegt werden.

Beispiel:

5

Maximum Session Age in Seconds

Maximum Session Alter in Sekunden.

Standardeinstellung:

20

Post to Configured Login URL

Ist diese Einstellung gesetzt, so werden Weiterleitungen an eine „Login Post URL“ mit einem „HTTP POST“-Anfrage an die unter „Session Initialization URL“ konfigurierte URL ersetzt.

Standardeinstellung:

Deaktiviert

Follow Redirects for Login Post

Ist diese Einstellung aktiviert, werden nach der „HTTP POST“-Anfrage auf die Login URL alle Redirects weiterverfolgt und alle Cookies gesammelt bis kein weiterer Redirect mehr angefordert wird oder die Authentifizierung erfolgreich ist.

Standardeinstellung:

Deaktiviert

Reset Session Before Login

(Advanced)

Ist diese Einstellung gesetzt, werden beim Ablaufen einer Session nicht die alten Session-Cookies zum Erstellen einer neuen Session verwendet.

Standardeinstellung:

Deaktiviert

Form Elements

Mit dieser Einstellung müssen die Namen und Werte jener Elemente angegeben werden, die bei der „HTTP POST“-Anfrage auf die Login URL verwendet werden. Dabei wird der Name des Feldes des HTML-Formulars angegeben.

Alle Passwortfelder müssen unter Password Elements angegeben werden.

Konfigurieren Sie die folgenden Einstellungen, um ein „Formular‑Element“ hinzuzufügen:

Beispiel:

Form Password Elements

Mit dieser Einstellung müssen die Namen und Werte jener Elemente angegeben werden, die bei der „HTTP POST“-Anfrage auf die Login URL verwendet werden. Dabei wird der Name des Feldes des HTML-Formulars angegeben.

Alle Passwortfelder müssen unter Password Elements angegeben werden.

Konfigurieren Sie die folgenden Einstellungen, um ein „Formular‑Passwort‑Element“ hinzuzufügen:

Beispiel:

Einstellung

Eingabe

Name

Beispiel:

NTLM Credential

Type

Username/Password

Username

Beispiel:

developer

Domain

Beispiel:

myorganization.com

Password

Beispiel:

my-secure-password-123!

Einstellung

Eingabe

Name

Beispiel:

OAuth 2 Credential

Type

OAuth 2

Access Token URL

Beispiel:

https://myorganization.com/auth/realms/master/product

Realm

Beispiel:

Master

Client ID

Beispiel:

developer

Username

-

Password

-

Client Secret

Das Client Secret, das vom Identity Provider (Microsoft Azure, Keycloak usw.) bereitgestellt wird.

fish <!--googleoff: index-->shark <!--googleon: index-->dog

„fish“ und „dog“ werden indiziert, „shark“ nicht

fish <!--googleoff: snippet-->shark <!--googleon: snippet-->dog

fish <!--googleoff: all-->shark <!--googleon: all-->dog

<!--googleoff: anchor--><A href=subsite.html>shark </A>dog <!--googleon: anchor-->

„dog“ wird indiziert, „shark“ nicht

Einstellung

Beschreibung

Eingabe

Access Check Principal

Die Benutzernamen können in den folgenden Formaten sein:

• username@domain
• domain\username
• distinguished name

Die Gruppennamen können nur im Format „distinguished name“ sein.

Weiters kann hier ein Verweis auf eine „Capture-Group“ in der Selection Pattern verwendet werden (siehe Access Rules[3]).

Beispiel:

cn=domain users.cn=users.dc=mydomain.dc=com

Access Check Action

Steuert den Zugriffstyp, wobei die folgenden Optionen verfügbar sind:

• Grant
• Deny

Beispiel:

Grant

Metadata Key for Selection (e.g. url)

Ein Metadatenname, das von einer Access Rule verwendet wird.

Kann leer sein, wodurch dann alle Dokumente selektiert werden.

Beispiel:

url

Selection Pattern (e.g. .*html)

Eine Regularexpression.

Kann leer sein, wodurch dann alle Dokumente selektiert werden.

Beispiel:

.*

Fehlercode

Beschreibung

1

Erfolgreiche DNS Lookup.

0

Download war nicht probiert (vielleicht das Protokoll war nicht unterstützt oder illegales URI).

-1

DNS Lookup fehlgeschlagen.

-2

HTTP Verbindung fehlgeschlagen.

-3

HTTP Verbindung abgebrochen.

-4

HTTP Timeout.

-5

Unerwarteter Laufzeitfehler. Siehe runtime-errors.log.

-6

Domain-auflösung fehlgeschlagen.

-7

URI erkennt als nicht unterstützt oder illegal.

-8

Maximale Anzahl an Versuchen erreicht.

-50

Temporäre Status für URI-s die auf Voraussetzungsprüfung warten.

-60

URIs mit Fehlerstatus, die nicht im Frontier eingereiht waren.

-61

Voraussetzung von robots.txt nicht erfüllt.

-62

Eine andere Voraussetzung (nicht robots.txt) nicht erfüllt.

-63

Eine Voraussetzungsprüfung könnte nicht durchgeführt werden.

-404

Leeres HTTP Antwort.

-3000

Java Fehler wie OutOfMemoryError or StackOverflowError während URI Bearbeitung.

-4000

"Chaff" Erkennung von Fällen/Inhalt mit vernachlässigbarem Wert.

-4001

Zu viele Link Hops von der Ausgangsseite entfernt.

-4002

Zu viele Embed/Transitive Hops vom letzten URI im Scope entfernt.

-5000

Die URI ist bei der erneuten Untersuchung nicht verfügbar. Dies geschieht nur, wenn sich der Bereich während des Crawlvorgangs ändert.

-5001

Download durch eine Benutzereinstellung blockiert.

-5002

Download von einem Custom Crawler blockiert.

-5003

Gesperrt wegen Überschreitung einer festgelegten Quote.

-5004

Blockiert wegen Zeitüberschreitung.

-6000

Gelöscht von Frontier durch Benutzer.

-7000

Verarbeitungsfaden wurde vom Betreiber gekillt. Dies kann passieren, wenn ein Thread eine nicht reagierende Bedingung ist.

-9998

Robots.txt Regel erlauben den Download nicht.