【 ＨＰ作成質問箱 】

【ＨＰ作成質問箱/詳細】　一覧 / 詳細

　 No.9066　robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/15 (木) 19:31

初めまして。
ずっと探していて、こちらのサイトに辿り着きました。
下記の件で困っているので、アドバイスをよろしくお願いいたします。

私はロリポップでHPを公開しています。
商用サイトのため、yahooでの検索結果も重要なのですが、
昨年気がついただけも4回、検索から消えてしまうという現象があり、
先日ロリポップに問い合わせたところ、

>そこで、現時点で考えられる原因と対策につきまして、
Yahoo!様よりご連絡戴けている内容と併せてご連絡させて戴きます。

検索エンジン関係のファイルであるrobots.txtを設置されて
いない場合には、弊社サーバとクローラーの仕様により、
一部正常に処理が終了しない場合があるとの事です。

その為、クローラーがより安定して動作するように、
robots.txtという名前で空ファイルを設置する事をお勧めいたします。

という回答が来ました。

でも、どうやってビルダー10でそのファイルを作り、
どうやってルートディレクトリに設定したらいいのかわからず、
とりあえずindexのページに

<META name="GENERATOR" content="IBM WebSphere Studio Homepage Builder Version 10.0.0.0 for Windows">
<META name="ROBOTS" content="index,follow">

のタグを入れ、再度ロリポップに「METAタグでの対応ではダメか」を問い合わせたところ、

>今回ご連絡を頂戴いたしました件につきましては「METAタグ」ではなく、
「robots.txt」という名前での空ファイルを設置する事をお勧めいたしております。

という返事がきました。

一度、自分で調べ、思いつくままrobots.txtをやってみました。
ビルダーで作りましたが、保存形式はテキストファイル（メモ帳）となっていました。

無料のrobots.txt検索で調べたところ、
最後の行が空行になってない、と出てしまい、
ファイルを削除したのですが、
確認でrobot.txt検索してみたところ、
消えていないのか、また同じメッセージが出てしまいました。

どうしたらいいのか、まるでわからなくなってしまったので、
どうしたら良いかアドバイスをお願いします。

自分でわからないまま作ったrobots.txtがどうなっているのかも心配ですし、ロリポップ側が言うようにMETAタグでの対応ではダメであれば、robots.txtのビルダーでの設置方法を具体的に教えていただければと思います。

もしお手数でなかったら、HPのURLを添付しますので、
ご確認いただけたら本当に幸いです。

▼

▼

▼

　 No.9067　Re:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/15 (木) 19:52

難しく考えすぎです。
robots.txtはビルダーで作成しないほうが無難です。
作成できなくはないですが、初心者には逆に説明がややこしくなるからです。

で、作成方法ですが、Windowsのメモ帳を開き、そのまま「ファイル」－「名前をつけて保存」でファイル名を「robots.txt」で保存します。

これで作成できました。
後はサーバーにアップするだけです。

ちなみにそちらが作っている現在のファイルは空ではなくいらない記述がいろいろ入ってますよ。

▼

▼

▼

　 No.9068　Re^2:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/15 (木) 20:17

atomさん、早速のお返事をありがとうございます！
とても嬉しいです

>名前をつけて保存」でファイル名を「robots.txt」で保存します。
ここまでできました。

私はメモ帳からサーバーへアップしたことがないのですが、
どうやったらサーバーへ送れるのでしょうか。
本当に申し訳ないのですが、教えてください。


> ちなみにそちらが作っている現在のファイルは空ではなくいらない記述がいろいろ入ってますよ。
↑え！そうなんですか！このファイルというのは私がビルダーで作ったrobots.txtのことですよね？どうしたら消えますか？今メモ帳でつくったものをサーバー転送したら、↑のファイルは消えますか？

度々申し訳ありませんが、ロリポップも教えてくれなかったので、
どうぞよろしくお願いします！

▼

▼

▼

　 No.9069　Re^3:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/16 (金) 16:03

サーバー側にアップすれば同名のファイルは上書きされ、入れ替わります。

サーバーへのアップ方法は、ビルダーにも簡易FTPが付いてますが、
できれば専用のFTPソフトを使い慣れたほうがいいと思います。

FTPソフトについては、ここのサイトの「HP作成の予備知識」－「5.作ったＨＰをサーバーにアップ（転送）したい！」で解説しています。
一度ご覧なったほうがいいでしょうね。

▼

▼

▼

　 No.9075　Re^4:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/17 (土) 17:12

ありがとうございました。
先ほど、ビルダーのFTPからのアップが完了しました。

こちらでご紹介されているFTPについても確認しました。

教えていただいたらとても簡単なことだったのに、
自分ではどうしたらいいのかわからず困ってしまいました。
もっと勉強したいと思います。

迅速な対応をしていただき、とても助かりました！
本当にありがとうございました。

▼

▼

▼

　 No.9076　Re^5:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/17 (土) 18:22

今そちらのrobots.txtを確認しましたが、まだ記述が入ってますね。
これはサーバーが勝手に挿入してるのかなぁ．．

▼

▼

▼

　 No.9077　Re^6:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/18 (日) 22:02

> 今そちらのrobots.txtを確認しましたが、まだ記述が入ってますね。
> これはサーバーが勝手に挿入してるのかなぁ．．

えぇっ！そうなんですか！どうしてでしょう・・・。
どうやったらrobots.txtのページを確認できますか。
自分のHPのURLの後ろにrobots.txtをつけてページを表示させたら、
User-agent: *
Disallow:
しか表示されませんでしたが・・・。見方が違うのでしょうか。

確認してみて、ダメそうでしたら、
前回お知らせいただいたFTPでの転送を試してみたいです。

▼

▼

▼

　 No.9078　Re^7:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/18 (日) 22:07

> どうやったらrobots.txtのページを確認できますか。
> 自分のHPのURLの後ろにrobots.txtをつけてページを表示させたら、

そう、それでいいんです。


> User-agent: *
> Disallow:
> しか表示されませんでしたが・・・。見方が違うのでしょうか。

でしょ？
文字が出てくるじゃないですか？！

「空のファイル」というんだから、文字が表示されるはずないんですけどね。

たとえば私のサイトはこうなります。
次をクリックしてみてください。
http://beginners.atompro.net/robots.txt

▼

▼

▼

　 No.9079　Re^8:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/19 (月) 15:33

こんにちは。いつもありがとうございます。

> 「空のファイル」というんだから、文字が表示されるはずないんですけどね。
>
> たとえば私のサイトはこうなります。
> 次をクリックしてみてください。
> http://beginners.atompro.net/robots.txt

本当ですね～、私のサイトはどうして指示した言葉が表示されるんでしょう。表示されてしまっては意味がないのですよね？

今からまだ仕事なので、夜に違うFTPを使っての転送を試してみます。

▼

▼

▼

　 No.9080　Re^9:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/19 (月) 15:36

> 本当ですね～、私のサイトはどうして指示した言葉が表示されるんでしょう。表示されてしまっては意味がないのですよね？

ですです。

なんでしたら、この掲示板にそちらが作成されたrobots.txtを添付してみてください。
こちらで確認してみますよ。

▼

▼

▼

　 No.9081　Re^10:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/19 (月) 16:10

ご親切をありがとうございます。
お言葉に甘えて、確認をお願いいたします。

作ったのはメモ帳によるテキストファイルで
「User-agent: *
Disallow: 」
のみ記載しました（全ページロボットに巡回してもらいたい）。
ファイルを開き、名前を「robots.txt」で保存し、
ビルダーのFTPから転送しました。
念のため、ファイルを添付いたします。

お手数をおかけしますが、どうぞよろしくお願いします。

▼

▼

▼

　 No.9082　Re^11:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/19 (月) 16:13

あれ？
添付されてませんよ。

私が作ったrobots,txtはこの記事に添付しました。

添付は記事投稿のときの参照ボタンをクリックして行います。

▼

▼

▼

　 No.9083　Re^12:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/19 (月) 16:15

ごめんなさい！
今添付しなおしたものを↑に修正UPしました。
心配なので、もう一度添付してみます。

どうぞよろしくお願いします。

▼

▼

▼

　 No.9084　Re^13:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/19 (月) 16:20

やっぱり空ファイルではないですよ。

このファイル．．あなたが持っているファイルをダブルクリックして開いてみてください。
すべての文字列を削除して保存しましょう。

それで出来上がりです。

▼

▼

▼

　 No.9085　Re^14:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/19 (月) 20:24

ファイルを開き、入っていた文字を削除し保存⇒サーバーへ転送しました。確認してみたら文字が消えた空ファイルになっていました。
お手数ですが、これでOKか確認していただけませんでしょうか。

今回、robots.txtについて調べていたら、
User-agent: *
Disallow:
という記述（全部のファイルを巡回）が必要なように感じましたが、
何も記述しない空ファイルをアップすれば、
robots.txtになったのでしょうか。

同じようにロリポップ使用中の友人にrobots.txtの設置を教えてあげたいので、教えてください。

どうぞよろしくお願いいたします。

▼

▼

▼

　 No.9088　Re^15:robots.txtの設置方法について

[atom] [ブラウザ]　 07/02/20 (火) 15:31

aromaさんの一番最初の質問に次のような記述があります。

> その為、クローラーがより安定して動作するように、
> robots.txtという名前で空ファイルを設置する事をお勧めいたします。

ここに「空ファイル」と記述されてるわけですから、どんな文字列も必要ありません。

> User-agent: *

これはすべてのものを許可するという意味です。

> Disallow:

こちらも拒否するものは何もないという意味です。

どの道、拒否するものがないのであればこれらを記述しようがしまいが関係ありませんね。

▼

▼

▼

　 No.9092　Re^16:robots.txtの設置方法について

[aroma] [ブラウザ]　 07/02/28 (水) 15:01

随分間があいてしまい申し訳ありませんでした。

空ファイルの件、ありがとうございました。

また、何かあったらご相談させていただきたいと思います。
どうぞよろしくお願いいたします。

▼

▼

▼

　一覧 / 詳細