余計なクローラーは止めましょう（撃沈しました）

2013年のXマス前後に、素行不良のクローラー襲来により撃沈されました…
（クローラーまで浮かれてるのか？）

Aboundexbot ／ SiteExplorer ／ WBSearchBot あたりです。

後手になりましたが、robots.txt に下記を追加です。
———————————————————————-
User-agent: Aboundexbot
Disallow: /

User-agent: SiteExplorer
Disallow: /

User-agent: WBSearchBot
Disallow: /
———————————————————————-

尚、WBSearchBot の方は、下記の画面から通知ができるようです。（少しは良心的？）
http://www.warebay.com/bot.html

  • 【キャンペーン中】お買い得な「ウイルス対策・セキュリティソフトストア」
  • 【キャンペーン中】お買い得な「ビジネス・オフィスソフトストア」