ページにBingのBingBotが大量にクロールして来た場合
☆ページにBingのBingBotが大量にクロールして来た場合
マイクロソフトさんが、運営するサーチエンジンのBingが
検索結果の表示の為に、ホームページを見に来る事をクロールとかいいますが、
それが私の管理する別のサイトに同じ日に数万件もクロールするという事がありました。
このクロールをしているプログラムの名前をボット(Bot)とかいうようです。
Bingの場合は、BingBotというのが来ます。
サーチエンジンの検索で、ページを表示してもらう為には大事な機能なんですが、
これが今回、問題になりました。
きっかけは、レンタルサーバーさんから負荷が酷いから調べてと連絡を受けました。
調べてみると、Bingからのアクセス。
どうやらこのBingBotが暴走して、何回も同じページをみたりして、
ページのあるサーバーに負荷をかけているようでした。
で、マイクロソフトさんにもログを提出し、確認してもらいました。
サーバーにあるrobot.txtというファイルに、ボットのクロールの間隔をかけるんですが、
これは書いていませんでした。
で、追加しようとしたんですが、どうやって書くかというと、
普通、
User-agent: ボット名
Crawl-delay: 間隔（秒）
だと思っていて、他のボットには、
Crawl-delay: 60
とか書いていたんですが、
BingBotの場合、問い合わせて聞いた結果、どうも値が違うようで
Crawl-delay は、最大30。
31以上は、正常に読めないとの事らしいです。
Crawl-delayは、ボットによって秒とは限らないようです。
今は、
User-agent: BingBot
Crawl-delay: 10
としておきました。
この数値の意味も聞いていたんですが、
どうも問い合わせの質問に対する答えをなかなか返して頂けないので、
疲れて言われた通りの値にしておきました。
英語のページとかみていたら、もしかして、これ？
1： Slow
5： Very slow
10： Extremely slow
あと、過去BingBotは、msnbot だったんですが、
User-agent: msnbot
Crawl-delay: なにか
の部分は、消しておいてととも言われました。
忘れない為にも、Bingさんのクローラが異常に来て困っている方の参考にも書いておきます。
また、時間が経てば仕様が変わるかも知れませんが。
どうもBingはまだ説明などの日本語対応が進んでいないようでちょっとわかりにくいです。
こういう所をまず良くしないと、Bingさんのサーチエンジンの日本でのシェアは増えないかも。
マイクロソフトさんの製品（Windowsとか）の説明書等の日本語もいつも難しいですね。
Bing Web マスター ツールという、サイト管理者用のWebツールも随分日本語化になって来ましたが、
このサイトは登録していませんでした。
ここでもクロール速度の設定が出来るのですが、数値を入力するのではないので、ちょっとハッキリしないです。
記載：2013年01月頃
マイクロソフトさんが、運営するサーチエンジンのBingが
検索結果の表示の為に、ホームページを見に来る事をクロールとかいいますが、
それが私の管理する別のサイトに同じ日に数万件もクロールするという事がありました。
このクロールをしているプログラムの名前をボット(Bot)とかいうようです。
Bingの場合は、BingBotというのが来ます。
サーチエンジンの検索で、ページを表示してもらう為には大事な機能なんですが、
これが今回、問題になりました。
きっかけは、レンタルサーバーさんから負荷が酷いから調べてと連絡を受けました。
調べてみると、Bingからのアクセス。
どうやらこのBingBotが暴走して、何回も同じページをみたりして、
ページのあるサーバーに負荷をかけているようでした。
で、マイクロソフトさんにもログを提出し、確認してもらいました。
サーバーにあるrobot.txtというファイルに、ボットのクロールの間隔をかけるんですが、
これは書いていませんでした。
で、追加しようとしたんですが、どうやって書くかというと、
普通、
User-agent: ボット名
Crawl-delay: 間隔（秒）
だと思っていて、他のボットには、
Crawl-delay: 60
とか書いていたんですが、
BingBotの場合、問い合わせて聞いた結果、どうも値が違うようで
Crawl-delay は、最大30。
31以上は、正常に読めないとの事らしいです。
Crawl-delayは、ボットによって秒とは限らないようです。
今は、
User-agent: BingBot
Crawl-delay: 10
としておきました。
この数値の意味も聞いていたんですが、
どうも問い合わせの質問に対する答えをなかなか返して頂けないので、
疲れて言われた通りの値にしておきました。
英語のページとかみていたら、もしかして、これ？
1： Slow
5： Very slow
10： Extremely slow
あと、過去BingBotは、msnbot だったんですが、
User-agent: msnbot
Crawl-delay: なにか
の部分は、消しておいてととも言われました。
忘れない為にも、Bingさんのクローラが異常に来て困っている方の参考にも書いておきます。
また、時間が経てば仕様が変わるかも知れませんが。
どうもBingはまだ説明などの日本語対応が進んでいないようでちょっとわかりにくいです。
こういう所をまず良くしないと、Bingさんのサーチエンジンの日本でのシェアは増えないかも。
マイクロソフトさんの製品（Windowsとか）の説明書等の日本語もいつも難しいですね。
Bing Web マスター ツールという、サイト管理者用のWebツールも随分日本語化になって来ましたが、
このサイトは登録していませんでした。
ここでもクロール速度の設定が出来るのですが、数値を入力するのではないので、ちょっとハッキリしないです。
記載：2013年01月頃
Twitter Facebook Google+ はてな Pocket LINE
管理人による書き込みの確認後、荒らし書き込みでない場合に表示させていただきます。
悪意ある書き込みや挑発的な書き込みと思われる内容は、表示させません。
その為、ちょっと書き込みから表示までに時間がかかってしまいます。ご了承下さい。
暑さの一番の原因はなんだと思いますか？
あなたの支持する政党はどの党ですか？
今のページの関連ページのリストへ
ザ・覚書のトップページに戻る
全ページのリストへ