Web sayfası için robot.txt dosyası

<meta name="robots" content="index,follow" />  yazıp
ana sayfada head kısmında meta ların arasına ekleyin.


not defterini açıp içine


User-agent: *
allow: /


yazıp  index.txt diye kaydedip hosta atın.