ペンギン男の生活@Web系ビジネススキルと、それを支えるボディケア

Web系ビジネス方面ではSEO・事業計画を中心に、ボディケア方面ではヨガ・ストレッチを中心に、ナレッジを積み上げていくブログ。

【検索の仕組み①(クロールとインデックス登録)】 Googleコア技術の基本的な仕組みの解説に加えて、サイトマップの有効性強調‼️

こんにちは、ペンギン男です🐧

検索エンジン最適化スターターガイドについては、ずっと読み続けていますが↓

そのスターターガイドの巻末にあったリンク↓をチェックしました。

なんとGoogle「検索の仕組み」という、ど真ん中のタイトル。過度な期待は控えるべきにせよ、一応、見ておくことに。ちなみに、次の四部構成。

  • クロールとインデックス登録
  • 検索アルゴリズム
  • 便利な検索サービス
  • 検索に関するGoogleの方針

ここでは、まずは、クロールとインデックス登録から。

 

————————————————————————

【目次】

————————————————————————

上記Google「検索の仕組み」のウェブページでの表記順、見出し順に(基本的に)見ていきます。

 

一般的なクエリのボリュームから

関連がありそうな情報を掲載しているウェブページは、数千件どころか、場合によっては、数百万件も存在します。

 Google botは原則、一度クロールしたらインデックス済みであり、二度とクロールしないとしても、こんなクエリか、たかたが百あれば

百クエリ ✖️  数百万件(ページ)  = 数億ページ

あることになりますね。これは、検索品質を上げるうえで、かなりの効率化をしないと、どうしようもないレベルに見えます。

 

ここからは「クロールとインデックス登録」のページに用意された内容をチェックしていきます。

 

 Google botの初期動作 

ユーザーが検索する前から、ウェブクローラは莫大な数のウェブページから情報を収集し、検索インデックスに登録して整理しています。

とはいえ、自動的にウェブクローラが見つけてくれなさそうなので、具体的には、どこから始まるかと言うと

クロールのプロセスは、過去のクロールから得られたウェブアドレスとウエブサイトの所有者から提供されたサイトマップで構成されるリストから始まります。

少なくともビギナーにとっては、過去のクロールは無関係なので、サイトマップしか Googleに認識してもらうアプローチはないということてすね。今となっては、当たり前のナレッジ化していますが、この事実はもっと周知されたほうが親切な気もしますが、あんまり大々的には宣伝されていないような印象あります。知ってて当たり前ということ?

 

サイトマップ

サイトマップがこれだけ重要なら、触れずにはいれません。

サイトマップとは

サイトマップとはサイト上のページや動画などのファイルについての情報や、各ファイルの関係を知らせるファイルです。

これをどう使うかと言えば

Googleなどの検索エンジンは、このファイルを読み込んで、より高度なクロールを行います。

「高度なクロール」?ビギナーに必要なものかと言えば

サイトマップはサイト内のどのファイルが重要かをクローラに伝えるだけでなく、ファイルについての貴重な情報(ページの最終更新日、ページの変更回数、すべての代替言語ページなど)も提供します。

ページの変更回数や代替言語ページについては、きちんと判断できるほど知識がありませんね。さらにどんなことが出来るかと言えば

  • サイトマップの動画エントリで、動画の再生時間、カテゴリ、年齢制限のレーティングなどを指定できます
  • サイトマップの画像エントリには、画像のテーマ、タイプ、ライセンスなどを指定できます

ここまでくると、サイトマップの緊急性がよく分からなくなってきましたが、そんな問いも少なくないのか、きちんと、次のような説明の用意もあります。

サイトマップが必要かどうか

必要性の高いケースとして次のようなものが挙がっています。

  • サイトのサイズが非常に大きいなぜなら、新しいページや更新したばかりのページはクローラ対象から漏れることもあるそうです。そんなことでいいの?という感じですが、一つのサイトだけに過剰に時間をとることな不公平性に配慮されたのかも。
  • サイトにどこからもリンクされていない、または適切にリンクされていないコンテンツページのアーカイブが大量にあるそもそもクローラに引っかからないケースですね。
  • サイトが新しく外部からのリンクが少ないまさにビギナー向け💦
  • サイトでリッチメディアコンテンツを使用している、サイトが Googleニュースに表示されている、または他のサイトマップ対応アノテーションを使用している

「サイトが新しく外部からのリンクが少ない」のであれば、サイトマップは必要なのは、言うまでもありませんでした💦

 

もちろん Google botによるクロールとおりに従う必要はなく、クロール方法を指定できることも

 Googleにより用意されているツールを使って、

  • 再クロールをリクエストしたり
  • robots.txtというファイルを使ってクローラを無効にしたりできます。

ツールの具体例は下記の投稿通りですが、 Googleとしても「ディベロッパーガイド」に掲載しているくらいなので、技術固有の内容であり、やや負担が大きいと判断。また、後日取り上げられれば、と。

検索について: デベロッパー ガイド  |  検索  |  Google Developers

 

最後に

今すぐ実務に大きな影響を与えるナレッジではないにせよ、いつかは触れておくべきナレッジであろう、クロールとインデックス登録。学習すべくして、学習している感じ💦

 

また、次回。

 

#Google検索の仕組み

#クロールとインデックス登録

#サイトマップ