Pay Per Crawl de Cloudflare

Une nouvelle justice du Web

Il y a longtemps à l’époque du Far West du Web où presque tout était permis. J’ai assisté à des choses incroyables. C’était l’époque où l’on pouvait troquer sur Internet, par des échanges successifs, un trombone rouge pour une maison à l’autre bout du pays.  

C’est également à cette époque que les annuaires Web comme Yahoo ainsi que les moteurs de recherche AltaVista et AlltheWeb, proposèrent un certain modèle d’affaires tacite aux éditeurs de contenu.

En effet, les éditeurs pouvaient créer du contenu sur leur site, et les moteurs de recherche indexaient gratuitement leur contenu leur fournissant en échange du trafic, selon leur positionnement par mots-clés. Chacun y trouvait son compte. Les éditeurs ayant des visiteurs et les outils de recherche de la pertinence de contenu. Avec l’arrivée de Google, le modèle se perfectionna encore davantage avec des critères de qualité en plus, mais encore là, l’équilibre était maintenu dans l’échange.

Les années passent, les affaires roulent.

Puis arrive l’IA dans les moteurs de recherche…

Brusquement le trafic de plusieurs éditeurs chute drastiquement. Le travail de plusieurs mois, voire d’années de travail est pillé aux profits de moteurs IA qui ne donne pas de trafic (10 fois moins selon Cloudflare) mais qui apporte dans le meilleur des cas des ‘’impressions’’ L’équilibre est rompu car l’éditeur ne peut plus rentabiliser son travail.

Vous êtes-vous déjà demandé dans quel état d’esprit le propriétaire d’un blogue ou d’un site transactionnel pouvait se retrouver suite à ces changements ?

Le nouveau modèle économique de Cloudflare

Environ 20% du trafic Internet passe par Cloudflare. C’est le CDN favori par près de 80% des sites Web. C’est donc un acteur économique important de la Toile.

Voyant ainsi les règles du jeu changer au détriment des éditeurs, le président et co-fondateur de Cloudflare M. Mathew Prince eut l’idée de faire payer les moteurs IA comme ChatGPT, Perplexity, Claude, etc. à l’usage, c’est-à-dire à l’exploration des sites Web. Un montant étant donc payé à l’éditeur pour son travail contre l’autorisation de crawler le contenu du site. C’est du moins le pari que Cloudflare a fait. Or en date du 5 décembre 2025, le pari semble être en bonne voie d’être gagné.

En effet, Cloudflare a marqué des points puisque 416 milliards de requêtes de bots IA ont été bloquées depuis le 1^er juillet, le jour du ‘’Content Independance Day’’ déclaré patriotiquement par son président. Cloudflare veut ainsi garder le Web ouvert et empêcher la consolidation menant au monopole.

Comment fonctionne le Pay Per Crawl de Cloudflare ?

Le système est assez simple. Dans un premier temps vous devez utiliser Cloudflare comme CDN et vous inscrire sur leur site via ce lien : https://www.cloudflare.com/fr-fr/paypercrawl-signup/

Par la suite, à chaque requête d’un moteur IA, Cloudflare présente les règles d’accès déterminée par l’éditeur du site soit :

• Accès autorisé (HTTP 200)
• Accès payant (HTTP 402) avec le prix
• Accès refusé (HTTP 403)

De cette façon les créateurs de contenu peuvent avoir le contrôle sur l’extraction de leur contenu (et de leur travail) en étant rémunéré s’il le souhaite. Ce qui correspond à l’esprit du Web d’origine.

De plus, il semble que l’intérêt soit grand, car Cloudflare compte depuis le début de la mise en place de son système de Pay per Crawl, de grands éditeurs comme Time, The Atlantic, AP, BuzzFeed, Reddit, Pinterest et Quora. Et d’autres s’ajouteront sans aucun doute.

D’ailleurs cette façon de faire a eu des échos sur plusieurs site dont Wikipédia qui en novembre dernier demandait aux entreprises IA de cesser de ‘’scrapper’’ leur contenu et leur demandait d’utiliser son API payante.

Le Pay Per Crawl de Cloudflare affecte-t-il le SEO ?

La question suscite la controverse dans la communauté SEO. Certains qualifie de ‘’Paywall’’ ce nouveau système et d’une entrave importante à la liberté d’exploration de contenu sur le Web. D’autres pensent exactement le contraire.

Bien sûr, il y a la question des citations par les IA et elle est importante; surtout les Overviews de Google. Car pour une marque, le fait d’être souvent citée dans ChatGPT par exemple, est un avantage intéressant. Il y a donc un choix à faire, un équilibre à atteindre. Être cité ou ne pas être cité ? Voilà toute la question ! On peut en discourir longuement, mais à mon avis le vrai problème vient de Google.

Selon les déclarations de M. Mathew Prince de Cloudflare le 5 décembre 2025, l’IA de Google voyait 3,2 plus de pages qu’OpenAI, 4,6 fois plus que Microsoft et 4,8 fois plus qu’Anthropic ou Meta.

Dans un cas comme celui-ci peut-on se passer de Google ? Bien sûr que non ! Mais doit-on bloquer l’IA et risquer de disparaître de la recherche classique ? C’est un choix que beaucoup vont hésiter à faire. Tant que Google n’indiquera pas clairement que l’on peut faire l’un sans être impacter par l’autre, la discussion continuera.

Au final, je pense que le Pay Per Crawl va apporter un élément de plus à considérer dans une stratégie SEO. On devra en tenir compte en fonction des objectifs de référencement. Il y aura certainement des réactions de la part de moteurs IA comme ce fut le cas de Perplexity accusé par Cloudflare d’exploration furtive et de rotation d’adresses IP pour détourner le protocole, mais je crois que l’idée de base du Pay Per Crawl a le mérite de vouloir instaurer une nouvelle justice du Web.

L’année 2025 a peut-être vu le retour du Far West mais heureusement pour nous, un nouveau shérif est maintenant en ville…

Sources :

Cloudflare: https://www.cloudflare.com/fr-fr/

Wikipedia Foundation : In the AI era, Wikipedia has never been more valuable, 10 novembre 2025: https://wikimediafoundation.org/news/2025/11/10/in-the-ai-era-wikipedia-has-never-been-more-valuable/

Search Engine Journal : Cloudflare Delists And Blocks Perplexity From Crawling Websites, 4 août 2025 https://www.searchenginejournal.com/cloudflare-delists-and-blocks-perplexity-from-crawling-websites/552899/