Simon Willison's Weblog は2026年9月7日(現地時間)、悪質なウェブクローラーによるサーバーリソースの過剰消費が深刻化している現状を報じた。Linuxカーネルの公式Gitリポジトリであるgit.kernel.orgの運用担当者、コンスタンティン・リャビツェフ (Konstantin Ryabitsev) 氏がこの問題を指摘。正規のアクセスに比べて、クローラー向けのコンテンツレンダリングに費やされるCPUサイクルが著しく多い実態が明らかになった。
コンスタンティン・リャビツェフ氏は、git.kernel.orgの運用経験から、悪質なクローラーが発する「バックグラウンド放射」と称される問題が深刻になっていると述べた。同氏によると、スクレイパー（情報収集目的のクローラー）向けのコミット（変更履歴）レンダリングに消費されるCPUサイクルが、gitクローンを含む全ての正規アクセスに費やされるサイクルを上回る。具体的には、5つの地理的に分散されたノード全体で、常に14のCPUコアが悪質なクローラー向けにGitコミットをHTML形式でレンダリングするためだけに稼働しているという。
記事を執筆したサイモン・ウィリソン (Simon Willison) 氏自身も、この状況に対し懸念を示した。同氏のプロジェクトであるDatasetteは、多数のクローラブルなウェブページを提供しているため、悪質なクローラーによるリソース消費の問題が自身のサービスにも及ぶ可能性を指摘した。この事例は、ウェブサービス全般が直面しているクローリング問題の一端を示している。
参考: Simon Willison’s Weblog (アーカイブ) — 2026年9月8日 08:08 (JST)
原文ハイライト"we spend more CPU cycles rendering commits for scrapers"