robots.txt の設定、softlayer.com、serverregal.de、fastwebserver.de などアクセス禁止
robots.txt の設定、softlayer.com、serverregal.de、fastwebserver.de などアクセス禁止 久しぶりにApacheのログを自作のプログラムで集計したところ softlayer.com というドメインが大量に見つかった。 どうやらボットのようだ。 ホスト名 37.58.100.92-static.reverse.softlayer.com など ユーザ…