ロボットというと機械のロボットを連想されるでしょうが、
全文検索型サーチエンジンのデータ収集ロボットです。

巡回するように依頼しなくても勝手にアクセス
しにきます。

ウェッブサーバー内に見ては困るような情報を
おいておいた場合には、ロボットに持っていかれる
ような場合があります。

User-Agent:*
Disallow:/

と記載したrobots.txtのファイルを\public_htmlの
ディレクトリに置けばロボットの検索は避けることが
できます。

またはMETAタグで、ロボット検索をいろいろ指示する
ことができます。

＜HTML＞
＜HEAD＞＜META NAME="robots" CONTENT="index,follow"＞
＜META NAME="description" ページの説明文80字〜100字"＞
＜META NAME="keywords" CONTENT="キーワード1,キーワード2,キーワード3"＞
＜TITLE＞ここにタイトル＜/TITLE＞
＜/HEAD＞
＜BODY＞

例1
＜meta name="robots" content="index,follow"＞
ロボットが現在訪れているページをインデックスし
さらにそこにあるリンク先のページもインデックスする。
設定しない場合、この設定になります。

例2
＜meta name="robots" content="noindex,follow"＞
ロボットが現在訪れているページをインデックスせずに
リンク先のページをインデックスする。

例3
＜meta name="robots" content="index,nofollow"＞
ロボットが現在訪れているページのみをインデックスする。
リンクは追わない。

例4
＜meta name="robots" content="noindex,nofollow"＞
ロボットが現在訪れているページもインデックスせずリンクも追わない。

その他下記ウェッブサイトでも詳しく記載されております。

http://dokodemo.rankuappu.com/syono5.html