# searchit-agent.ai — bewusst geschrieben, nicht aus einer Vorlage kopiert.
#
# Entscheidung (Plan SITE-5, §3.11): KI-Crawler sind zugelassen. Wer sie aussperrt,
# kommt in den Antworten der Antwortmaschinen nicht vor — das widerspräche der
# Positionierung dieser Seite. Es gibt hier keine nicht-öffentlichen Inhalte.

# Ausgenommen (User 2026-10-16): der Preisrechner /pricing/ bleibt erreichbar, ist aber nirgends
# verlinkt und wird nicht indexiert — nur wer die Adresse kennt, öffnet ihn. Dazu die isolierten
# Kunden-Demo-Seiten (Nachbau fremder Websites als Chatbot-Traeger).
# Ein Crawler liest nur die Gruppe, die ihn namentlich nennt — deshalb stehen die Ausnahmen in jeder Gruppe.
User-agent: *
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

# Namentlich, damit die Zulassung eine Entscheidung bleibt und kein Zufall:
User-agent: GPTBot
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: OAI-SearchBot
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: ChatGPT-User
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: ClaudeBot
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: Claude-User
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: PerplexityBot
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: Google-Extended
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: Applebot-Extended
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

User-agent: CCBot
Allow: /
Disallow: /pricing/
Disallow: /chatbot/drascher/

# Textfassungen derselben Seite (Ebene 3 der Agentenschicht):
#   /index.md · /index.<sprache>.md (en fr it es pt bg)
#   /chatbot/index.md · /chatbot/index.<sprache>.md (en fr it es pt bg)
#   /enterprise-search/index.md · /enterprise-search/index.<sprache>.md (en fr it es pt bg)
#   /voicebot/index.md · /voicebot/index.<sprache>.md (en fr it es pt bg)
#   /unternehmen/… ebenso (Generator scripts/gen-unternehmen.py)
# Sichtbar verlinkt sind sie nicht (SITE-5 §14.7) — auffindbar über
# <link rel="alternate" type="text/markdown"> im Kopf der Seite und über die Aushandlung am Server
# (Accept: text/markdown). Seit 2026-10-20 (SEO-Audit) stehen sie NICHT mehr in der Sitemap und der
# Server liefert sie mit "X-Robots-Tag: noindex" und "Link: rel=canonical" auf die Seite: Suchmaschinen
# sollen die Seite zeigen, nicht ihren Rohtext. Bewusst keine Disallow-Zeile dafür — ein gesperrter
# Pfad kann weder noindex noch canonical lesen, und Antwortmaschinen sollen ihn weiter abrufen.

Sitemap: https://searchit-agent.ai/sitemap.xml