Pouvez-vous détecter AI Crawler
Can websites detect AI crawlers?
Checking…
Simulates what a normal website can learn from your navigateur — not a stealth audit.
Mode d'emploi
- Ouvrez dans votre navigateur quotidien – attendez-vous à Non pour les visiteurs humains typiques.
- Si vous utilisez un robot d'exploration, chargez la page avec l'agent utilisateur officiel de ce bot pour vérifier la correspondance.
- Copiez la chaîne de l'agent utilisateur pour la journalisation ou les comparaisons robots.txt.
FAQ
Les sites Web peuvent-ils bloquer les robots d’exploration IA?
Oui. Les éditeurs font correspondre les jetons d'agent utilisateur, les listes d'adresses IP et les règles robots.txt. Cette page indique uniquement si votre chaîne UA actuelle correspond aux signatures courantes des robots d'exploration AI dans notre liste.
Pourquoi non lorsque j'utilise Chrome?
Les navigateurs grand public envoient des agents utilisateurs visiteurs humains, et non des jetons de style GPTBot. Les robots de formation à l'IA utilisent des chaînes de robots dédiées déclarées par leurs opérateurs.
Quels robots figurent dans votre liste?
Comprend GPTBot, ChatGPT-User, ClaudeBot, Claude-Web, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider et d'autres robots d'exploration d'IA/données largement cités – mis à jour à mesure que l'écosystème évolue.
Partiellement vs Oui?
Oui signifie qu'un jeton de robot d'exploration AI connu correspond. Signifie en partie les mots-clés génériques de bot dans UA sans correspondance de liste – pourrait être une araignée SEO, pas nécessairement un entraîneur d'IA.
Identique à Pouvez-vous détecter un robot?
[Can you detect bot](/tools/detect-bot) se concentre sur les indicateurs d'automatisation comme webdriver. Cette page se concentre sur les agents utilisateurs de robots d'exploration déclarés utilisés pour l'indexation et la formation à l'IA.
Est-ce que cela prouve qu'un site va me bloquer?
Non, il classe uniquement votre chaîne UA actuelle localement. Le blocage dépend également de l'adresse IP, de la politique relative aux robots et du choix de l'éditeur.
Introduction
Can You Detect AI Crawler indique si votre agent utilisateur actuel ressemble à un bot de formation ou de récupération d'IA connu — GPTBot, ClaudeBot, PerplexityBot, Google-Extended et d'autres éditeurs en discutent dans les débats robots.txt. Les navigateurs humains normaux devraient lire Non.
La vague des robots d’exploration de l’IA a rendu la transparence des agents utilisateurs essentielle: les propriétaires de sites veulent se désinscrire; les opérateurs de bot déclarent des chaînes identifiables. Cette page aide les deux parties à voir la même classification UA qu'une simple expression régulière côté serveur appliquerait.
Robots d'exploration reconnus par cette page
| Category | Examples |
|---|---|
| OpenAI | GPTBot, ChatGPT-Utilisateur |
| Anthropique | ClaudeBot, Claude-Web, anthropique-ai |
| Hybrides recherche/IA | PerplexityBot, Google étendu |
| Les robots d'exploration de la plateforme | Applebot-Extended, méta-agent externe |
| IA/données générales | CCBot, Bytespider, Diffbot, cohere-ai |
La liste n'est pas exhaustive. De nouveaux robots apparaissent fréquemment: traitez Non comme « aucune correspondance dans notre table » et non comme « autorisé partout ».
Oui vs Partiellement vs Non
- Oui — UA correspond à un jeton de robot d'exploration AI connu dans notre liste.
- Partiellement — mots-clés génériques de bot/crawl sans correspondance spécifique du robot d'exploration IA.
- Non — UA ressemble à une chaîne de visiteur de navigateur typique.
Les journaux du serveur utilisent également les plages IP, la vitesse d'analyse et la conformité des robots, ce qui n'est pas visible dans cette vérification par onglet uniquement.
Cas d'utilisation courants
- Éditeurs: vérifiez que votre regex de liste de blocage détecte GPTBot après les mises à jour de robots.txt.
- Opérateurs de robots: confirmez que le transfert envoie l'UA déclaré prévu.
- Juridique/Politique: indique quel agent définit les objectifs d'un examen de conformité.
- Développeurs — distinguez les UA de robots d'IA de l'automatisation Selenium (can you detect bot).
Meilleures pratiques
- Conservez robots.txt et les règles CDN: la correspondance UA à elle seule constitue une couche.
- Consigner l'intégralité des agents utilisateurs côté serveur; cette page reflète
navigator.userAgentvisible par le client. - Analysez les UA arbitraires avec user agent parser.
- Les outils de confidentialité humaine vous transforment rarement en un UA d’exploration d’IA – ils réduisent les empreintes digitales ailleurs.