検索エンジンの基本的なしくみを理解しよう

ディレクトリ型検索エンジンとロボット型検索エンジン

検索エンジンには大きく2つの種類がある。

1つは、2014年までに運営されていたYahoo!ディレクトリやDMOZなどに代表される「ディレクトリ型検索エンジン」であり、もう1つは、Googleやbingなどに代表される「ロボット型検索エンジン」である。

ディレクトリ型検索エンジンは、人間がWebサイトを審査して登録するため、表示されるWebサイトの質が高いというメリットがある。

ロボット型検索エンジンは、ディレクトリ型検索エンジンに比べて圧倒的に登録サイト数が多いのが特徴である。

クロールとインデックス

ロボット型検索エンジンでは、世界中のWebサイトをクローラーというロボットが自動的に巡回し、Webサイトを自動的に検索エンジンに登録する。

この巡回のことを「クロール」と呼び、クロールされたWebサイトが検索エンジンに登録されることを「インデックス」と呼ぶ。

検索エンジンにインデックスされなければ、検索結果ページにWebサイトが表示されることはない。そもそもクロールされなければ検索エンジンの検索結果ページにWebサイトが表示されることはないということである。

自動的にクロールとインデックスを行うロボット型検索エンジンとはいえ、まったく知らないURLをクロールすることはできない。
そのため検索エンジンはより多くのURLを見つけるための手段として即知のWebサイトに掲載されている「リンク」が重要である。

直接検索エンジンにWebサイトのURLの申請を行ったり、検索エンジン向けのサイトマップなどを申請したりすることで、確実にWebサイトがスクロールされ、インデックスされるように仕向けておくと効果的である。