忘れる前に覚書。優しい文章を目指します。
ザ・覚書 ザ・覚書
出来るだけ子供にも、わかりやすいように書いて行きたいと思います。

PCバージョンでサイトを表示しています。

【ザ・覚書 3クリックアンケート実施中】
暑さの一番の原因はなんだと思いますか?
あなたの支持する政党はどの党ですか?
ページを見て下さって、 ありがとうございます。この内容に関する情報があれば下の掲示板にでも書き込み下さい。

ページにBingのBingBotが大量にクロールして来た場合


  スポンサーリンク

☆ページにBingのBingBotが大量にクロールして来た場合
今のページの関連ページのリストへ
ザ・覚書のトップページに戻る

マイクロソフトさんが、運営するサーチエンジンのBingが
検索結果の表示の為に、ホームページを見に来る事をクロールとかいいますが、
それが私の管理する別のサイトに同じ日に数万件もクロールするという事がありました。

このクロールをしているプログラムの名前をボット(Bot)とかいうようです。

Bingの場合は、BingBotというのが来ます。

サーチエンジンの検索で、ページを表示してもらう為には大事な機能なんですが、
これが今回、問題になりました。

きっかけは、レンタルサーバーさんから負荷が酷いから調べてと連絡を受けました。
調べてみると、Bingからのアクセス。
どうやらこのBingBotが暴走して、何回も同じページをみたりして、
ページのあるサーバーに負荷をかけているようでした。
で、マイクロソフトさんにもログを提出し、確認してもらいました。

サーバーにあるrobot.txtというファイルに、ボットのクロールの間隔をかけるんですが、
これは書いていませんでした。

で、追加しようとしたんですが、どうやって書くかというと、
普通、



 User-agent: ボット名
 Crawl-delay: 間隔(秒)




だと思っていて、他のボットには、
 Crawl-delay: 60
とか書いていたんですが、

BingBotの場合、問い合わせて聞いた結果、どうも値が違うようで
Crawl-delay は、最大30。
31以上は、正常に読めないとの事らしいです。

Crawl-delayは、ボットによって秒とは限らないようです。

今は、


 User-agent: BingBot
 Crawl-delay: 10



としておきました。


この数値の意味も聞いていたんですが、
どうも問い合わせの質問に対する答えをなかなか返して頂けないので、
疲れて言われた通りの値にしておきました。

英語のページとかみていたら、もしかして、これ?
1: Slow
5: Very slow
10: Extremely slow

あと、過去BingBotは、msnbot だったんですが、
User-agent: msnbot
Crawl-delay: なにか
の部分は、消しておいてととも言われました。


忘れない為にも、Bingさんのクローラが異常に来て困っている方の参考にも書いておきます。

また、時間が経てば仕様が変わるかも知れませんが。


どうもBingはまだ説明などの日本語対応が進んでいないようでちょっとわかりにくいです。
こういう所をまず良くしないと、Bingさんのサーチエンジンの日本でのシェアは増えないかも。
マイクロソフトさんの製品(Windowsとか)の説明書等の日本語もいつも難しいですね。

Bing Web マスター ツールという、サイト管理者用のWebツールも随分日本語化になって来ましたが、
このサイトは登録していませんでした。
ここでもクロール速度の設定が出来るのですが、数値を入力するのではないので、ちょっとハッキリしないです。



記載:2013年01月頃

(一言掲示板は、下の方にあります。)

Twitter Facebook Google+ はてな Pocket LINE


  スポンサーリンク
ノートンモバイルセキュリティバナー


Amazonで『サーチエンジン』を検索
今のページの関連ページのリストへ
ザ・覚書のトップページに戻る
全ページのリストへ

マーケティング/検索エンジンに強くなる Google Search Consoleの教科書

サーチエンジン・システムクラッシュ (文春文庫)

Google誕生 —ガレージで生まれたサーチ・モンスター

サーチエンジン対策のカリスマが教える検索キーワード「超」起業

検索エンジン登録ソフト[最新2016年版] SEO対策サーチエンジン一括登録ツール

ヤフー―サーチエンジンのアクセス数を誇る
amazonで検索
商品更新日時:
2017/03/25 17:07:39

サーチエンジン対策のカリスマが教える検索キーワード「超」起業【電子書籍】[ 鈴木将司 ]

【中古】 サーチエンジン対策のカリスマが教える検索キーワード「超」起業術 クレジットカード1枚で始めて年商1億 / / [単行本(ソフトカバー)]【メール便送料無料】【あす楽対応】

【中古】 サーチエンジン・システムクラッシュ / 宮沢 章夫 / 文藝春秋 [単行本]【メール便送料無料】【あす楽対応】

【中古】 SEMサーチエンジン・マーケティング / Shari Thurow / エムディエヌコポレション [単行本]【メール便送料無料】【あす楽対応】

【中古】 サーチエンジン徹底活用術 / 原田 昌紀 / オーム社 [単行本]【メール便送料無料】【あす楽対応】

【新品】【本】検索キーワード「超」起業術 サーチエンジン対策のカリスマが教える クレジットカード1枚で始めて年商1億円! 鈴木将司/著
楽天ウェブサービスセンター
商品更新日時:
2017/03/26 08:35:47

一言掲示板です。なにかありましたら以下に書いて書き込みボタンを押して下さい。
管理人による書き込みの確認後、荒らし書き込みでない場合に表示させていただきます。
悪意ある書き込みや挑発的な書き込みと思われる内容は、表示させません。
その為、ちょっと書き込みから表示までに時間がかかってしまいます。ご了承下さい。

(新機能)URLの書き込みも可能にしましたが、内容と関係のないリンクの表示はしないと思います。
また自サイトへのリンクURL書き込みの場合、相互リンクもお願い致します。
お名前

コメント






本日、よく見られるページ
「ソ連って今のロシア」は間違い
政治とはなんですか?
家庭用の普通のコンセントは、何Wまで使えるのか?
UFOスペシャルの宇宙人の効果音「チャララ~ チャラチャララー。ボーン」
LED電球と普通の電球と蛍光灯の違い
仮面ライダーの時系列と世界の推測
木材の引き戸の滑りを良くする方法
IEから印刷プレビューや印刷が出来ない場合の対処例
無線(Wi-Fi)の2.4GHzと5GHzの違い
ぶんぶんゴマの回し方・コツみたいな事
  スポンサーリンク

今のページの関連ページのリストへ
ザ・覚書のトップページに戻る
全ページのリストへ