Googleクローラーとは？クロール頻度やリクエスト方法を徹底解説

Webサイトを運営する中でSEO対策は最重要なポイントになりますが、そのSEOの根本的な部分となるGoogleクローラーについて理解することはさらに重要です。

とはいえ、Googleクローラーがどのようなものなのか分からないという方も多いのではないでしょうか。

そこで本記事では、Googleクローラーの概要やクロール頻度、リクエストの方法などを詳しく解説します。

大阪府のホームページ制作×SEO対策会社一覧はこちらから確認できます！費用や特徴掲載あり

Googleクローラーとは？

Googleクローラーとは、検索エンジンに更新されたWebコンテンツを認識してインデックスするために、Webコンテンツの内容を読み取るためのロボットのことを指します。

名前に”Google”が付いているため、Googleだけにインデックスされるかと思うかもしれませんが、YahooやSafariなどの検索エンジンでもGoogleクローラーの読み取りが基準となっているため、検索エンジンで表示されるWebコンテンツすべての情報を読み取るロボットであると認識しておくといいでしょう。

Google公式では、クローラーについて以下のように記載されています。

”クローラは、人間がウェブ上のコンテンツを閲覧する場合と同じように、一般公開されているウェブページにアクセスしてそのページのリンクをたどるという動作を、自動的に行います。ページ間を移動しながら、これらのページおよびその他の一般公開コンテンツで見つけた内容に関する情報を Google の検索インデックスに保管します。”（出典：Google「検索における情報の整理方法」）

Googleクローラーが読み込む情報

Googleクローラーは非常に優秀なロボットであるため、キーワードや文章などの人間の目で見たWebコンテンツの内容を読み取ることができるのはもちろん、以下のような内部的な情報についても読み込むことができます。

• PHPファイル
• Flash内やJavaScriptのリンク
• PDFファイル
• WordやPowerPointのファイル

このように、内部的な情報についても読み取ることができるため、インデックスしてもらいたいときやSEO対策をする場合は、このような内部的な情報も最適化する必要があるのです。

Googleクローラーによるクロールの頻度は？

Googleクローラーは常にWebサイトを循環していますが、自分のWebサイトをクロールしてくれるタイミングについては誰もわかりません。

とはいえ、一般的にはGoogleにWebコンテンツが更新されてから1日〜数日間の間にクロールされることが多く、クロールされたかどうかはGoogleサーチコンソールで更新したURLをチェックすることで確認できます。

また、ブログやホームページなどのWebサイトを立ち上げたばかりだと、Googleクローラーが認識しにくいため、クロールやインデックスに時間がかかることも多いです。

Googleにクロールをリクエストする方法

Googleクローラーからなかなかクロールしてもらえない場合は、自分でクロールをリクエストすることができます。

Googleにクロールをリクエストする手順は以下の通りです。

STEP①：Googleサーチコンソールにログイン

STEP②：対象のWebサイト（プロパティ）を選択

STEP③：サイト上部のURL検査入力に対象のURLを入力

STEP④：「公開URL」をクリックする

STEP⑤：インデックスされているかの検査結果を確認する

STEP⑥：「URLはGoogleに登録できます」と表示されたらリクエストを送信

上記の流れで簡単にWebサイトのクロールをリクエストすることができるため、新しくコンテンツを公開したらインデックスをリクエストするといいでしょう。

ただし、なかなかインデックスされないからといって、何度もリクエストを送信してしまうとスパム判定を受けてしまう可能性があるため、多くても1日1回程度に留めておきましょう。

Googleクローラーにクロールしてもらいやすくする方法

Googleクローラーにクロールしてもらいやすくする方法は以下の通りです。

• XMLサイトマップを作成し送信する
• コンテンツを充実させる
• 内部リンクを設置する

それぞれの方法について、以下で詳しく解説します。

1.XMLサイトマップを作成し送信する

Webサイトの全体像を把握することのできるサイトマップは、Googleクローラーにも読み取ってもらうことができるため、サイトマップを作成するだけでクロールしてもらえる可能性が高くなります。

また、サイトマップの中でもXML形式のファイルで構成される「XMLサイトマップ」を作成してGoogleに送信することで、よりGoogleクローラーに巡回してもらいやすくなるため必ず送信しましょう。

ここでは、WordPressの代表的なSEO対策プラグインである「All in One SEO Pack」からサイトマップをGoogleに送信する方法をご紹介します。

まずはWordPress内での作業を以下で解説します。

STEP①：「All in One SEO Pack」→「サイトマップ」の順に選択

STEP②：「RSSサイトマップ」を有効化する

STEP③：「変更を保存」を選択

STEP④：「一般的なサイトマップ」のページを選択

STEP⑤：「サイトマップを開く」を選択

STEP⑥：表示されたURLの「sitemap.xml」の部分をコピー

続いて、GoogleサーチコンソールからGoogleにサイトマップを送信する方法を以下で解説します。

STEP①：Googleサーチコンソールにログイン

STEP②：メニューにある「サイトマップ」を選択

STEP③：「新しいサイトマップを追加」に「sitemap.xml」をペースト

STEP④：「送信」を選択

STEP⑤：「送信されたサイトマップ」のステータスが「成功しました」になっていることを確認

以上の方法でGoogleにXMLサイトマップの送信が完了です。

2.コンテンツを充実させる

Googleクローラーは、コンテンツが充実しているWebサイトから優先的に巡回する傾向にあるため、コンテンツを充実させることで巡回してもらいやすくなります。

3.内部リンクを設置する

Googleクローラーは内部リンクにてコンテンツの充実性を把握するため、記事内に他の関連記事を埋め込んだり、パンくずリストやアーカイブを設置しましょう。

内部リンクを設置することで、訪問ユーザーの閲覧時間も増えるため、SEO対策としても効果的です。

まとめ

本記事では、Googleクローラーの概要やクロール頻度、リクエストの方法などを詳しく解説しました。

Googleにクロールをリクエストする方法を改めてまとめると以下の通りです。

STEP①：Googleサーチコンソールにログイン

STEP②：対象のWebサイト（プロパティ）を選択

STEP③：サイト上部のURL検査入力に対象のURLを入力

STEP④：「公開URL」をクリックする

STEP⑤：インデックスされているかの検査結果を確認する

STEP⑥：「URLはGoogleに登録できます」と表示されたらリクエストを送信

GoogleクローラーにWebサイトを読み取ってもらうことは、SEO対策の第一歩となるため、仕組みを理解して効果的な対策をしてみてください。

---

 この記事を監修した人