# --- AI / LLM models — explicitly allowed ---
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Image
Allow: /

# --- Popular crawlers — allowed (incl. Scrapy) ---
User-agent: Scrapy
Allow: /

User-agent: *
# Allow everything by default, except noisy/duplicate URLs below
Allow: /

# --- WordPress / duplicates / noise ---
# Admin + AJAX exception
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Systemowe i mało wartościowe ścieżki
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: */feed/*           # /feed/ i wszelkie feedy w podstronach
Disallow: /*/embed/          # wbudowane podglądy WP

# Parametry generujące duplikaty lub śmieci
Disallow: /*?s=*             # wyniki wyszukiwarki
Disallow: /*?replytocom=*    # param. komentarzy
Disallow: /*?attachment_id=* # stare załączniki
Disallow: /*?amp=*           # param. AMP
Disallow: /*?preview=*       # podglądy
Disallow: /*?utm_*           # UTM
Disallow: /*?fbclid=*        # Facebook click id
Disallow: /*?gclid=*         # Google click id
Disallow: /*?orderby=*       # sortowania (jeśli występują)
Disallow: /*add-to-cart=*    # akcje koszyka (jeśli WooCommerce)

# (opcjonalnie) jeśli masz kalendarze/infinite archives, dodaj ich wzorce powyżej

# --- Sitemapy ---
Sitemap: https://hotlead.pl/sitemap_index.xml

# --- Preferowany host (używane m.in. przez Yandex) ---
# Host: hotlead.pl