2004年01月05日
robots.txt
2週間ぐらい前のことでしょうか。robots.txtっていうファイルを置いたんです。これは、Googleなどに代表される検索サイトがWebページの内容をさらってデータベースに登録するのを防ぐように指示したりするものです。つまり検索サイトから検索してこられないように仕掛けてみたということになります。
すべての検索サイトのエージェント（GoogleではGooglebotというものになります。ほかのところではクローラーとか呼ばれています）を拒否するように以下のような内容をrobots.txtファイルに記述して、トップのindex.htmlファイルと同じ場所に置いただけです。
User-agent: * Disallow: /
実際にはrobots.txtを置いたからといって、すぐにその内容が反映されるわけじゃないんです。そのうちしばらくするとだんだんと反映されるというような感じですかね。エージェントが収集したデータがその日のうちに有効にならないのは、エージェントが毎日やってくるわけではないこと、検索サイトのデータベースの整合性の問題で一気に反映するのが難しいことなどがあると思うのですが、実際にいきなりGoogleから当サイトがいきなり引っかからなくなるなんてことはないんです。それでもrobots.txtを置いたのは以下の理由から。
- 各種コンテンツがごくごく狭い範囲で読まれるものであって欲しいから。所詮万人向けの読み物ではないので、僕のことがちょっとだけ気になるとか、暇つぶしには気に障らなくて読みつづけられるとか、そういった人向けに書いているつもりです。逆にあんまり有名になっては困ります。
- 思いのほか、婚約・結婚指輪エピソードや伊勢丹写真室エピソードなんてコンテンツに検索サイトからやってくる人が多いんですね。個人的には、これだけ読んでいなくなってしまわれるのもちょっと寂しい気がします。
- どっちかといえば、一方的に思ったことを書くようなサイトでなくて、掲示板などのお互いの情報交換というか、感想などから新たなネタを見つけるというか、インスピレーションを与えてくれる読者とインスピレーションを受けて書く僕といったような、構図が個人的には欲しいと思ってます。一読してサイナラ-って言うのは、自分自身もよくやるだけに咎める気はさらさらありませんが、そういった方々でアクセスログを埋め尽くされるのもどうかなーという気がしたまでです。
と、思ってrobtos.txtを置いて一種の「一見さん、お断り」な状態にしてみたのですが、すぐには検索サイトからの来訪が減るわけでもないし、検索している情報でちょっとでも役に立つのであればこれを見せないと言うのもなんだか自分自身気分が悪くなったので、今日、このrobots.txtを削除することにしました。
一番気になったのは、ペンション フレージェでスタッフの方から聞いた、「『千葉の方で、ミルフィーユを大絶賛している人がいましたが...』なんて話を聞いて、ごんちゃんのところの情報？なんて思っちった」なんていうのを聞くと、そういう情報を見せなくするものもったいないと言う気がずっとしていたんですよね。一生懸命、ペンションフレージェの素晴らしい食事のこと、イルレガーロの素晴らしい食事のこと、推敲が足りなく自分自身納得しきってない状態でアップロードしていますが、それでもこれらのテキストを見かけて実際に試してもらって、「ああよかった」と思ってくれる人が増えれば、そしてそういったお話を回りまわって聞いたりすれば、それこそ毎日書き続ける動機のひとつにもなるわけです。だから帰ってrobots.txtを設定する状態はよろしくないと思ったんですね。
そんなわけで、いつもどおりにがんばって行きたいと思います。
投稿者 GonGon : 2004年01月05日 23:43
トラックバック
このエントリーのトラックバックURL:
http://www.gongon.info/mt/mt-tb.cgi/525