最近のハマリもの。
ファミリーマートの季節限定
ホワイトバームクーヘン。
ほんのり甘くて、腹持ちもいいしおススメ～。
さて、簡単更新。
ヒトミンやのサーバー、方々から激重だという話は聞いていたのですが、
とうとう自分が記事を書いてる時もエラーが出るほどになってしまってました。
その犯人。
MSN系のbot、bingbot。
よーく見ると、30分の間に6回もアクセスして根こそぎデータを収集しているわけで
これが一日中、ひどいときには数十秒おきにワタシのサーバーに訪れて悪さをしていたわけですね。
なので、今回はこちらのサイト様を参考にさせてもらいました～。
基本的には、検索避けという観点において、
Google、Yahoo!、Bing(マイクロソフト社の検索エンジン)のクローラーのアクセスをできなくすることで、
ほぼ検索避けをしたといえるでしょう。.htaccessファイルの一例
SetEnvIf User-Agent “Googlebot” shutout
SetEnvIf User-Agent “Slurp” shutout
SetEnvIf User-Agent “bingbot” shutout
SetEnvIf User-Agent “Yeti” shutout
SetEnvIf User-Agent “Baiduspider” shutoutorder Allow,Deny
Allow from all
Deny from env=shutout（必ずここで改行）（中略）
※.htaccessの読み方について
SetEnvlf
ここでのSetEnvlfは、環境変数を定義（＝User Agentを指定）しています。最後に、shutoutと記述することで、Denyの対象を指定できます。
order
orderの英語での意味は「順序」です。
order allow,deny allow(=アクセス許可)が優先されます。
order deny,allow deny(=アクセス拒否)が優先されます。
allowallowの意味は「許可」です。
allow from all すべてのアクセスを許可。
allow from ホスト名 指定したホストからのアクセスを許可します。後方一致です。
例えば、Yahoo!BBからのアクセスを許可したい場合、「allow from .bbtec」のように記述します。
allow form IPアドレス 指定したIPアドレスからのアクセスを許可します。前方一致です。
最近は、「プライベートIPアドレス」といったエンドユーザーのIPアドレスを独自に振って、
インターネットに公開するIPアドレスをまとめるプロバイダもあるので、完全にユーザーのアクセス遮断などは難しいでしょう。
ちなみに、deny(=否定)と書きかえると、指定したものからアクセスの拒否ができます。ここでは、「Deny from env=shutout」とenv(難しいのでスルー)を使って、
上記の「Shutout」と指定したUser Agentからのアクセスを拒否します。
www直下に.htaccessを置いたのですが、最初自分で書いたものは、
設置したにも関わらずbingbotがやりたい放題だったのです。
なにかワタシが借りてるレンタルサーバーは特殊なのか？と思っていたところ
上記のサイトに行きあたり、
Deny from env=shutout（必ずここで改行）
の改行してなかったのでダダ漏れだったことが発覚。
おかげさまであんなにうるさかったbingbotの来訪がすっぱりなくなりました～ヽ（=⌒○⌒=）ノ
ここのブログは日本語が書いてないコメントは受け付けない設定にしてあるのですが、
最近は怪しい翻訳ソフトを使ったコーチ長財布のスパムコメントが大量に来ていて、
特定ワードをはじくよりは該当の業者をアクセスブロックした方がサーバーの負担も軽いと設定。
これで様子をご覧くださいませ～ペコリ(o_ _)ｏ))
エージェントがいっぱい。(>_<)
よく解りませ～ん。
修正できるなんてすごい。”改行”侮れません。
＞jinpeiさん
ホントによくわからない世界ですね〜。
どこが違うんだと突っ込みたくなることが多々ありますよ。
姉さんがパソコン凄い詳しいことがわかりました :26
＞しなちゃん
詳しかったらこんな初歩的なミスもありますまい？www
むかーしはブログなんて便利なものはなかったので
ホームページ作るには難解な暗号を書かなければならなくて、
そんとき必要に迫られてやったのですよw
env難しいのでスルーが笑えましたw
…とは言え、僕もwiki見たんですがw
UNIX系は、Linuxを少し触ったくらいかなぁf^_^;)
＞ほりりんさん
わたしなんざ〜webに落ちてるのそのまま使ってるだけですぜ。
りなくすナニソレおいしーの？www
これでトラフィックは軽減されるますね〜（たぶん。
あとクロールによる負荷はなくなりますね^^
ただ、HTTPのリクエスト自体はくると思うのでDoS攻撃をされると
また重くなってしまいます・・・。
しばらく様子見ですね。
ヒトミンさん、自宅でサーバ運営されては？（笑
電気代と騒音（Mac miniとかを使えば静かみたいです）との戦いに
なりますが^^;
＞takさん
おお〜！そうだ専門家がこんな近くにいたのだった！
こんなしつこいbot作ってみんなにブロックされちゃ〜
本来の情報収集という目的が達成できない気がしますがねえ。
自宅サーバー、一時期構築してましたよ〜w
でも自宅回線がADSLの貧弱回線だったのと、電気代に諦めましたw
技術は日々進化しててついてくのが大変ですねぇ。
takさんホント尊敬しますよ〜！
おー、たしかに軽くなってる
昔、掲示板運営してたときに業者を弾くのにＩＰでdenyしたりＮＧワード設定したりと四苦八苦しましたが、最近はbotさんの悪さが目立ちますにゃ
なにはともあれ問題解決おめっとさんです
＞王大人さん
bingbotがいなくなったら、今度は別のbotがハバをきかせてきて
いたちごっこだなあと思いましたw
もうちょっとサクサクいけるようにまたガンバリマス。
ひと昔前は掲示板ブームでしたもんね。
ワタシのサーバーにもいくつかまだ残ってますよ〜ww
bot対策、迷惑メール対策がうまくいったようで
よかったですね。
ブランドものの訳のわからないコメントはもの凄い勢いで来ますね。
コメント投稿の際に、隠れた文字入力で制限しようとしても
コマンドで直接書き込まれてしまいます。
まあ向こうも、1000件、1万件送って1件でもひっかかればいい訳なので
ランダムに送りつけてくるんでしょうね。
困ったもんです。
＞メカ好きおじさん
いや〜ほんとアジア圏のスパマーはすんごいですね〜。
あの手この手でほんとイタチごっこですもんね。
コーチの長財布なんか買えないしw
買うとしてもあんたんとこからは買わんわ〜wって突っ込みたくなりますね。
ワタクシのブログも最近重たいので、この記事参考にしてみようかと思います。
ヾ(・∀・*)
アクセス解析を見てみるとBingからの訪問ってあんまりないので、ブログが重くなるぐらいならオサラバしちゃった方がよいような…
ヒトミンさんのブログはページ数が多いので、botが暴れまわるとかなり負荷がかかっちゃうのかもしれませんね。
＞30bikerさん
30bikerのとこも時間帯でたまにスゴク重いことありますもんね。
そうなんですよ、MSNからの来訪者なんかいないし〜w
こんな闇雲な情報、検索しても得たい情報は得られないし〜。
何年も前のもはや誰もみてないような記事を引っ張り出してきて
ほんと迷惑きわまりないです〜( º言º)
是非是非！お試しくださいまし。
難しい事は分からん :15
すーげーよ！
スマホでアタフタしてる、おらからしたら・・・
良かったね！って事で。
バームクーヘン旨そう。
＞赤忍さん
えー！ワタシからすると、バイクをサクサクバラしちゃう
赤忍さんこそスゲいッスww。
最近ちょーしはいかがですか？
さむさに乗らないとまたヘソ曲げるかもよw