bingは9月に大幅設備増強でもしたのか?

9月に入ってからというもの、bingbotのクロールの仕方に変化が見られる。具体的には、後述のログのように、一秒間に10並列15並列余裕でした、みたいな感じになった。

bing_webmaster_20120921

いままでは右図のbingウェブマスターに見られるように、水色で囲ったような水準でday単位のクロールをしてきていたが、9月以降では赤の矢印のように急増の傾向が見られる。9/Bで半数、9/Mでさらに増強といった感じだ。

User-agent: bingbot
Crawl-delay: 10

キツイと感じるようなら、文句を言う前に上記のようなrobots.txtの記述でクロール間隔を指定しておくとか、bingウェブマスターのサイト設定でクロール速度をビジュアルに”遅く”に調整したりすればよいのだろうが、「これから本気出す」みたいなときはアナウンスが欲しいものだ。

参考までに、以下にディレイ調整前のログでも張っておく。下記は10パラだが、最高では15パラくらいのときもあり、なかなか激しい。

実はこの間ブログを集約したからプロセス当たりの実メモリが前より倍必要になっていたのにMaxの設定を変えていなかったから、上記の連続でプロセス数がMax時に到達したときに、メモリスワップを起こして表示が劇的に遅くなったので変化に気が付いたという顛末だった。

以前は設定してもクロールしてくれなかったのに、今後はbingbot先生には注意が必要になったらしいってことで、メモ程度に投稿しておこう。まあ、一時の気の迷いということもありえる。(ぉ


カテゴリー: ネット タグ: , パーマリンク

    コメントを残す

    メールアドレスが公開されることはありません。