クローラーとは?

クローラーというのはインターネットという広大な海の中をくまなく巡回して、

星の数ほどもある様々なサイト(ホームページ)の内部情報を収集し、

分析するロボット(bot)のことです。

 

当サイトでもそうですが、クローラーのことについて言及しているサイトのほとんどは

Googleのクローラーのことを指していることが多いです。

 

ですが上記のような仕組みを持ったものがクローラーですので、

Googleのほかにもたくさんのクローラーがインターネット上を巡回しています。

 

たとえばmsn、InfoSeek、Yahoo! Slurp、Slurp

またトレンドマイクロなどのウィルス対策会社のクローラーも頻繁に巡回しています。

 

ホームページを作る上で検索順位を上げるためには、

Googleのクローラーとの良好な関係を構築することはとても重要なことと考えます。