SEO technique Proxy CORS Gratuit
Analyseur robots.txt & sitemap
Détectez les erreurs de crawl qui nuisent à votre référencement : blocages Googlebot, incohérences noindex, URL en erreur, XML invalide.
ℹ Pour les sites tiers, les fichiers sont récupérés via des proxies CORS publics (allorigins.win, codetabs.com). Votre propre site est analysé en accès direct. Aucune donnée n'est stockée par NordSite.
Initialisation…
Entrez l'URL de votre site pour analyser votre robots.txt et votre sitemap.xml.
Échantillon d'URLs du sitemap
| URL | Statut HTTP | Canonical | Robots | Problèmes |
|---|
Points à corriger
Questions fréquentes
- Pourquoi un
Disallow: /est-il critique ? Disallow: /pourUser-agent: *bloque TOUS les robots, y compris Googlebot. Votre site sera progressivement désindexé. Cette erreur survient souvent lors d'une mise en production depuis un environnement de staging.- robots.txt peut-il désindexer une page ?
- Non — c'est une confusion fréquente. Un
Disallowempêche Google de crawler la page, mais ne la retire pas de l'index si elle est déjà connue. Pour désindexer, utilisez<meta name="robots" content="noindex">ou l'en-tête HTTPX-Robots-Tag: noindex. - Une page peut-elle être dans le sitemap ET avoir noindex ?
- C'est une incohérence que Google signale dans la Search Console. Le sitemap dit "indexe cette page", la balise dit "ne l'indexe pas". Google suit généralement le noindex, mais cette contradiction ralentit le traitement.
- Quelle est la limite de taille d'un sitemap ?
- Google accepte jusqu'à 50 000 URLs et 50 Mo par sitemap. Au-delà, il faut un sitemap index pointant vers des sitemaps fils. La plupart des CMS (WordPress + Yoast, Shopify) génèrent automatiquement la bonne structure.
Votre site contient des blocages ou des URL non explorables ?