robots.txtを書く
検索エンジンのロボットが巡回する際に、「robots.txt」というファイルを見ます。
このファイルは普通のテキストデータなのですが、
特定の書式に則って書いてサーバーにアップしておけば、
クローリングやインデックスして欲しくないディレクトリやページを知らせることができます。
（全てのロボットが見るとは限りませんが。）
私のrobots.txtは以下のようにしています。
User-agent: *
Disallow: /クローリングされたくないディレクトリ/
Sitemap: http://example.com/sitemap.xml
「Sitemap: 」以下にサイトマップのURLを書いています。
＜参考＞
検索エンジンロボットを制御する
ロボットが見なくても人が見るかも… Robots.txtで秘密がバレる！？ - ［ホームページ作成］All About
このエントリーのトラックバックURL
http://xn----eeudet7q9c3hy337ao6r.com/mt/mt-tb.cgi/21
