Зачем нам нужен Robots.txt

Robots.txt — создать, заполнить, запретить

Яндекс создал мультипликационный видеоурок о файле robots.txt яндекс. Из этого ролика мы узнаем, что такое robots.txt, составим простейший файл в режиме реального времени, посмотрим как работает robot и как он охраняет от посторонних наши личные данные. Узнаем мы и то, где должен находиться файл robots.txt .
Короче говоря, - смотрим ☟





Buffer

Автор: Unknown на понедельник, августа 08, 2011
Ярлыки: , , , , , , , ,

Комментариев нет :

Отправить комментарий

Лицензия Creative Commons Материалы блога «Spoooman», созданные автором Владимиром Стариковым, публикуются на условиях лицензии Creative Commons «Attribution-ShareAlike» («Атрибуция — На тех же условиях») 3.0 Непортированная.

AddThis