А нужен ли файл robots.txt?

А нужен ли файл robots.txt?

Кто скажет мне зачем нужен файл robots.txt , да ещё и в корневом каталоге сайта? Просьба не спешить с ответом. Те, кто считает наивно полагает, что robots.txt определяет порядок доступа поисковых машин (считай алгоритмов яндекс Гугль и им подобных), ошибается.

Ну как вы можете им определять порядок доступа к разделам Вашего сайта, если они сами пишут и определяют правила этого самого robots.txt ??? Не бред ли? Я понимаю так.. если если алгоритмы доступа пишут на яндексе, или на гугле, то проигнорировать СВОИ ЖЕ инструкции в robots.txt сами понимаете… Тому примером могут служить несколько недавних скандалов на крупных порталах, таких как Мегафон и других, где боты яндекса, игнорировав запрет в файле robots.txt, индексировали закрытую информацию!

Я тоже экспериментировал когда-то с robots.txt, где закрывал доступ поисковым машинам, и что вы думаете? Через полгода-год, не смотря на запрет в файле robots.txt, яндекс проиндексировал сайт.

Так что…  думайте сами и решайте сами. Нужен ли Вам robots.txt?

Комментирование и размещение ссылок запрещено.

Комментарии закрыты.


Автор блога "D2craft" | Шаблон "TechHosting 2.0" Переработанный

Главные тематики блога:
СЕО, SEO, блог, d2craft, отзыв, отзывы, отчет, отчеты, сайт, о сайте, комментарий, комментарии, биржа, о бирже, ресурс, оптимизация, монетизация, поисковой, яндекс, гугль, системы, лохотрон, кидалово, направление, описание, ТИЦ, ЖЖ, апдейт, АП, определение, FAQ, каталог, белый, чёрный, сайтов, блогов, прогон, прогоны, robots.txt, сайтостроения, теория, веб-мастер, вэб-мастер, вэбмастер, вебмастер, оптимизатор, форуме, форум, поисковая, система, ГС, говносайт, ГБ, говноблог, школоло, интернет, заработок, баннер, баннеры, мнение, шаблон, юзабилити, терминология, псевдо-гуру, псевдо, гуру, ссылки, бэки, бэк-линки, URL, позиции, ТОП, выдача, выдачи, верстка, движок, CMS, дизайн, соц. медиа, соц. закладки, ПР, PR