“Google クローラ（「Googlebot」）がページにアクセスすると、Google により、ページのインデックス登録が行われ、コンテンツや意味が分析された後、ページが Google のインデックスに保存されます。インデックス ページは Google 検索結果に表示されます（Google のウェブマスター向けガイドライン（品質に関するガイドライン）に準拠している場合）。ほとんどのページでは、クロール後にインデックス登録が行われますが、Google ではコンテンツにアクセスすることなく、ページのインデックスを登録する場合もあります（たとえば、ページが robots.txt ディレクティブでブロックされている場合）。”