Googleが採用したインデックス作成の概念によると、結果を発行する際には、情報の完全性、客観性、および検索クエリへの準拠が考慮されます。違法なコンテンツを含むサイトがインデックスに登録されている場合、またはリソースがスパムを対象としている場合、そのようなサイトのページは一般的な検索エンジンデータベースでマークされません。検索結果に基づいてサーバーの結果からサイトを削除する方法を見つけることが重要です。
Googleゼロインデックスオプション
クローラーが収集プログラムになると新しいリソースに関する情報-サイトをページごとにクロールし、Googleの解析ポリシーの要件を満たしている場合は、インデックスに登録されます。ただし、robots.txt（インデックスであると同時に検索リミッター）を使用して、検索エンジンのサイトまたは個々のフラグメントを削除する方法についても説明します。
リソース全体を発行から除外するには、サイトが配置されているサーバーのルートフォルダーに、特定のテキストゾーン（前述のrobots.txt）が作成されます。このゾーンは検索エンジンによって処理され、読んだ指示に従って動作します。
グーグル検索エンジンはユーザーの表示アクセスが拒否された場合でも、ページにインデックスを付けます。ブラウザが401または403の「AccessInvalid」応答で応答する場合、これは訪問者のみに適用され、その検索エンジンのコレクタには適用されません。
検索インデックスからサイトを削除する方法を理解するには、テキストインデックスに次の行を入力する必要があります。
ユーザーエージェント：Googlebot
禁止：/
これは、サイトのコンテンツ全体をインデックスに登録しないことを検索エンジンクローラーに示します。検出されたリストにリソースがキャッシュされないように、Googleサイトを削除する方法は次のとおりです。
さまざまなプロトコルのスキャンオプション
個々の規格をリストする必要がある場合たとえば、ハイパーテキストプロトコルhttp / httpsに対して個別に、Googleインデックス作成に関する特別なルールを適用するリンクの場合、これも次の方法でrobots.txtに登録する必要があります（例）。
（http://yourserver.com/robots.txt）-サイトのドメイン名（任意）
ユーザーエージェント：*-任意の検索エンジン用
許可：/-完全なインデックス作成を許可
httpsプロトコルのSERPからサイトを完全に削除する方法
（https://yourserver.com/robots.txt）：
ユーザーエージェント： *
禁止：/インデックス作成の完全な禁止
Google検索結果からのリソースURLの緊急削除
インデックスの再作成を待ちたくない場合は、サイトはできるだけ早く非表示にする必要があります。サービスhttp://services.google.com/urlconsole/controllerを使用することをお勧めします。 Pre-robots.txtは、サイトサーバーのルートディレクトリに既に配置されている必要があります。対応する指示をその中に綴る必要があります。
何らかの理由でポインタが利用できない場合ルートディレクトリで編集するには、検索エンジンから非表示にするオブジェクトを含むフォルダにルートディレクトリを作成するだけで十分です。これを実行し、ハイパーテキストアドレスの自動削除についてサービスに連絡するとすぐに、robots.txtで削除するように指定されているフォルダーはGoogleによってクロールされません。
そのような不可視の期間は3ヶ月に設定されています。この期間が過ぎると、検索結果から削除されたカタログは、Googleサーバーによって再度処理されます。
〜する部分的にクロールするためにサイトを削除する方法
検索ボットがロボットのコンテンツを読み取るとき。txtの場合、その内容に基づいて特定の決定が行われます。 anatomという名前のディレクトリ全体を表示から除外するとします。これを行うには、次の手順を規定するだけで十分です。
ユーザーエージェント：Googlebot
禁止：/ anatom
または、たとえば、.gifタイプのすべての画像にインデックスを付けたくない場合があります。これを行うには、次のリストを追加します。
ユーザーエージェント：Googlebot
禁止：/ *。gif $
別の例を示します。動的に生成されたページに関する情報を解析から削除する必要がある場合でも、そのタイプのエントリをポインタに追加します。
ユーザーエージェント：Googlebot
許可しない：/ *？
これはおおよそのルールですサーチエンジン。もう1つは、これらすべてにMETAタグを使用する方がはるかに便利なことです。そして、ウェブマスターはしばしば検索エンジンの操作を規制するまさにそのような標準を使用します。ただし、これについては次の記事で説明します。
