KessyBot

KessyBot crawler

If you found this User-Agent in your server logs, the request came from us:

Operator: ACE Holdings GmbH, Vorderdeich 9, 21037 Hamburg, Germany.
Contact: [email protected]

What it does

KessyBot fetches publicly available web pages for Kessy, a European web search service for AI applications, which is under development. We use the pages to build a search index and evaluation sets for search-quality research. We do not use them to train AI models, and we do not republish them. Search results show a short excerpt and a link to your page.

How it behaves

• It always identifies itself as KessyBot/<version> (+https://kessy.ai/bot). It crawls only from the addresses listed in ips.json.
• It obeys robots.txt (RFC 9309), including Crawl-delay. It follows the group for KessyBot if there is one, otherwise the group for *. If robots.txt answers with 401/403, 429 or a server error, or times out, it fetches nothing from the site. A missing robots.txt (404) means no restrictions.
• It obeys text-and-data-mining reservations: W3C TDMRep (/.well-known/tdmrep.json), the tdm-reservation HTTP header and the tdm-reservation meta tag. It does not store reserved pages.
• It obeys noindex and nofollow in the robots meta tag.
• It sends one request at a time per site, at least one second apart, or slower if your robots.txt asks for it. It slows down further when your server answers 429 or 503 or gets slower.
• It re-fetches pages with conditional requests (If-None-Match, If-Modified-Since), so an unchanged page costs your server almost nothing.

How to opt out

Add this to your robots.txt:

User-agent: KessyBot
Disallow: /

Or declare a TDM reservation, or email [email protected]. We will exclude your site and delete what we stored from it. If KessyBot causes you any problem, write to the same address and we will fix it.

KessyBot-Crawler

Wenn Sie diesen User-Agent in Ihren Server-Logs sehen, kam der Zugriff von uns:

Betreiber: ACE Holdings GmbH, Vorderdeich 9, 21037 Hamburg, Deutschland.
Kontakt: [email protected]

Was er tut

KessyBot ruft öffentlich zugängliche Webseiten für Kessy ab, einen europäischen Suchdienst für KI-Anwendungen, der sich in Entwicklung befindet. Daraus erstellen wir einen Suchindex und Evaluierungsdatensätze für die Forschung zur Suchqualität. Wir trainieren damit keine KI-Modelle und veröffentlichen die Seiten nicht erneut. Suchergebnisse zeigen einen kurzen Auszug und einen Link auf Ihre Seite.

Wie er sich verhält

• Er gibt sich immer als KessyBot/<Version> (+https://kessy.ai/bot) zu erkennen. Er ruft nur von den Adressen in ips.json ab.
• Er befolgt die robots.txt (RFC 9309) samt Crawl-delay: Er folgt der Gruppe für KessyBot, falls es eine gibt, sonst der Gruppe für *. Antwortet die robots.txt mit 401/403, 429 oder einem Serverfehler, oder kommt keine Antwort, ruft er von der Website nichts ab. Fehlt sie (404), gibt es keine Einschränkung.
• Er befolgt Nutzungsvorbehalte für Text- und Data-Mining: W3C TDMRep (/.well-known/tdmrep.json), den HTTP-Header tdm-reservation und das Meta-Tag tdm-reservation. Seiten mit Vorbehalt speichert er nicht.
• Er befolgt noindex und nofollow im Robots-Meta-Tag.
• Er stellt pro Website nur eine Anfrage gleichzeitig, mit mindestens einer Sekunde Abstand, oder langsamer, wenn Ihre robots.txt das verlangt. Antwortet Ihr Server mit 429 oder 503 oder wird er langsamer, bremst er weiter ab.
• Er ruft Seiten mit bedingten Anfragen erneut ab (If-None-Match, If-Modified-Since), sodass eine unveränderte Seite Ihren Server kaum belastet.

So sperren Sie ihn

Ergänzen Sie Ihre robots.txt:

User-agent: KessyBot
Disallow: /

Oder erklären Sie einen TDM-Vorbehalt, oder schreiben Sie an [email protected]: Wir nehmen Ihre Website aus und löschen, was wir von ihr gespeichert haben. Wenn KessyBot Ihnen Probleme bereitet, schreiben Sie an dieselbe Adresse, wir beheben das.

Impressum

Angaben gemäß § 5 DDG

Anbieter

ACE Holdings GmbH

Anschrift

Vorderdeich 9, 21037 Hamburg, Deutschland

Vertreten durch

Andreas Altheimer, Clemens Ehrenreich (Geschäftsführer)

E-Mail

[email protected]

USt-IdNr.

DE366374533