robots.txt で拒否することにしたクローラーの一覧です。
（robots.txt を読んでくれるらしいものだけ）
—————————————————-
User-agent: Aboundexbot
Disallow: /
User-agent: SiteExplorer
Disallow: /
User-agent: WBSearchBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: Ezooms
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: SiteBot
Disallow: /
User-agent: KaloogaBot
Disallow: /
User-agent: findlinks
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: Exabot-Images
Disallow: /
User-agent: AcoonBot
Disallow: /
User-agent: CamontSpider
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: Wotbox
Disallow: /
User-agent: baiduspider
Disallow: 3600
User-agent: baiduspider+
Disallow: 3600
User-agent: baiduimagespider
Disallow: 3600
—————————————————-
ここのところ酷いのは赤書きのもの。
baidu は時間調整で様子見です。（完全拒否でも支障ないとは思いますがね）
共有タイプのレンタルサーバーの場合、自分だけ対処しても不十分なんですが仕方なし。
