WordPress

WP(WordPress)

WPではrobots.txtが自動生成されます

今回は、WordPressでサイトを構築した際に自動で生成される、
仮想robots.txtについての投稿です。

仮想robots.txtの生成

robots.txtとは?
ですが、
簡単に言えば、
検索ロボットが自分のサイトにクローリングしに来るのを制御するのに使用するファイルですね。

その為、使い方次第では、SEOにも関わってくる重要なファイルです。

それで、
WordPressでサイトを構築すると、robots.txtが自動で生成されます。
仮想robots.txtを作成するだけなので、リアルに「robots.txt」ファイルが作成される訳ではないですが。

試しに、
インストール後に、ブラウザから以下のURLにアクセスしてみて下さい。
http://sample.com/robots.txt

このような内容が表示されると思います。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

これにより、
インデックスさせる必要のない「wp-admin」へ、
検索ロボットがクローリングしに来るのを防いでくれます。

そもそも「wp-admin」が検索エンジンに引っ掛かってしまうと大ごとなので、
助かりますね!!

ただ、注意しないといけないのが、
仮想robots.txtを生成してくれない場合がある点です。

それについては、
以下で具体的に説明します。

仮想robots.txtが作成されない

WordPressをインストールしても仮想robots.txtが作成されない場合には、
以下の2パターンが考えられます。

パーマリンクの設定がデフォルトのままになっている場合

「パーマリンク」の設定が、
デフォルトの「http://sample.com/?p=123」のままになっていると、
仮想robots.txtは生成されません。

デフォルトのままで運用されている方はいないと思いますが、
念の為に注意してください。

サブディレクトリでサイトを公開している場合

サブディレクトリにWordPressをインストールしてサイトを公開している場合、
仮想robots.txtは作成されません。

例えば、
私のこのブログは「engineer」というサブディレクトリで公開しているので、
仮想robots.txtが生成されません。

実際に、「http://sample.com/サブディレクトリ/robots.txt」にアクセスしても404になるだけです。

これは当たり前で、
元々、Googleはドキュメントルートに置いてあるrobots.txtを見に来ます。

なので、
サブディレクトリにrobots.txtを置いていても意味はありません。

必要な場合には、
手動でrobots.txtを作成してドキュメントルートにアップしましょう。

因みにですが、
サブディレクトリにインストールしていても、
公開先をドキュメントルートと同じにしている場合には、
問題なく自動で生成されます。

簡単にですが、仮想robots.txtについてまとめてみました。

それでは、最後にですが、
robots.txtの編集についてです。

一応、サイトマップのURLもrobots.txtに追加しておきましょう!
という話です。
↓↓

robots.txtにサイトマップを追加

robots.txtは下手に触ると問題が発生した時怖いです。
その為、私は原則修正を行いません。

ただし、サイトマップのURLは追加しておいてもいいと思います。

具体的には、
以下をファイルの一番下でいいので追記するだけです。
Sitemap: http://example.com/sitemap.xml

こうしておけば、検索エンジンにサイトマップの場所を伝えてくれるので、
クローリングがスムーズに行われるようになります。

簡単にですが、
ここまでrobots.txtについてまとめてみました。

ただ、私は普段、サイトマップの追加以外でrobots.txtをいじることはあまり無いので、
詳しくは説明できないですが、
SEOにも関係してきます。

興味のある方は、
多くの方がrobots.txtの書き方についても説明してくれているので、
一度検索してみて下さい。

関連記事

  1. WordPress

    WP(WordPress)

    プラグイン「WP Basic Auth」で公開ページにベーシック認証を設定

    個人のメモ書き用にインストールしているWordPressがあるのですが…

  2. WordPress

    WP(WordPress)

    WP プラグイン「Post Type Switcher」で記事の投稿タイプを移動

    最近はWordPressをCMSで利用することも多いので、カスタム…

  3. WordPress

    WP(WordPress)

    WP プラグイン「Delete Custom Fields」で不要なカスタムフィールドを削除

    開発当初の設計ミスであったり、後になっての大幅な仕様変更など、…

  4. Apache

    WP(WordPress)

    DirectoryIndexに「index.php」を追加

    新しく構築したサーバにWPをインストールしたので、早速テスト投稿を…

  5. WordPress
  6. Multi Device Switcher

最近の記事

  1. PHP
  2. 丹波の栗
  3. ブログ アイキャッチ
  4. SSL(HTTPS通信)
PAGE TOP