あなたのブログには、robots.txtファイルを追加

場合には、すでにあなたのため、このファイルを行ったwordpress.comやのBlogSpotなどの無料ホスティング、この操作を実行する必要はないのです。

しかし、もし上でホスティングが支払われる場合はrobots.txtファイルを確認する必要があります。

何このrobots.txtファイルを何ですか？

このように私にウィキペディア何robots.txtの定義できるように聞かせについての私が限られた知識。

ロボットの除外基準も、Robots Exclusion Protocolに、またはrobots.txtプロトコルとして知られて全部または一部のウェブサイトが、そうでなければ、公開されますへのアクセスからWebスパイダーと、他のWebロボットの協調を防止するための規則です。 ロボットは頻繁に検索エンジンで、アーカイブのWebサイトを分類したり、ウェブマスターのソースコードを校正するために使用されます。 （ 出典 ）

この重要ですか？

はい。 検索エンジンでサイトをクロールするロボットを使用します。 すなわち、それはあなたのホストでファイルを参照するということです。 このロボットはあなたのサイトに、公開鍵と秘密ファイルをすべて一緒にすべてのビットをクロールします。 は、機密データは、ロボットにより利用可能な検索エンジンに置くことが行われるので、あなたのために大きなセキュリティリスクが生じます。 あなたのパスワードファイルをGoogleの検索で見つけることができます想像しなさい！

多くのウェブページを介してお客様のウェブサイトをご覧ください。 彼らは何を見ているが解析されているHTMLコードの結果/お使いのブラウザによって処理されます。 ロボットのブラウザのように単に1つのファイルを1つのクロールがありません。 あなたのファイルへのアクセスを制限する必要があります。 ロボットのみのファイルは、それらをクロールできるように制限される必要があります。

それでは、これらのロボットを制限するのですか？ robots.txtファイルを作成する。

方法robots.txtファイルを作成する？

• 場合、どのようにコードを知っているあなたは、自分のファイルrobots.txtの内容を書き込むことができます。
• あなたは、うちはあなたのためのコンテンツが生成されますがこれらのウェブサイトをチェックすることができます。
  • http://www.mcanerin.com/EN/search-engine/robots-txt.asp
  • http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm
• ファイルを作成する外部プログラムを使用する
  • http://www.softsland.com/oven_fresh_robots_txt_maker.html
• もしあなたのブログにワードプレスを使用して、これらの記事、有用性があります。
  • WordpressのRobots.txtのSEOの最適化
  • wordpressのためのベストのRobots.txt
  • ワードプレスのrobots.txtを作成するソを改善する

robots.txt私は使用しているファイルを私enblogopediaから何がコピーされます。 http://www.enblogopedia.com/robots.txt

関連アイテム：