2009年01月22日at 18:25 │by ピクシー

クローラー 巡回優先順位

こんばんは。

クローラー=スパイダー などと呼ばれる検索エンジンのプログラムは我々のWEBページをリンクを辿り巡回しています。

世界中には星の数ほどWEBサイトが存在しています。

そのWEBサイトの情報をクローリング(クローラーが情報収集する作業)していくときにいくらロボットとはいえ、効率よくクローリングするように考えられているそうです。

クローラーはリンクをたどりますが、単純にリンクをたどるだけだと相互リンクなで同じページを何度もループしてしまう可能性がありそのサイトのサーバーへの負荷も出てきて大変なことになります。

それで、クローラーは優先順位などのルールを決めて途中で巡回をやめたりする基準を用いて効率よくクローリングしています。

ページの移動回数を決めて、数回クローリングすると終了する方法と、披リンクをもとにする方法もあります。
披リンクはSEOにも良いとよく言われますが、披リンクの数が多いとそのページの重要性が高いと判断され、クローラーの訪れてくる優先順位も高いようです。

しかし、数だけで判断されることはないと思います。
やはりリンクの質=リンクポピュラリティが基準値としては高いのではないでしょうか?
今後もそうなることでしょう。



同じカテゴリー(検索エンジン クローラー)の記事

上の画像に書かれている文字を入力して下さい
 
<ご注意>
書き込まれた内容は公開され、ブログの持ち主だけが削除できます。