Индексация сайта не всегда проста и приятна. К тому же, часто на веб-страничке попадается информация, которая дублируется. Да и вообще, бывают странички, которые вообще от индексации надо закрыть. Тут на помощь приходит файл robots.txt, который регулирует поведение поисковых роботов на сайте.

robots.txt можно создать в любом текстовом редакторе, после чего расположить в корневом каталоге Вашего сайта (название должно обязательно быть написано в нижнем регистре). Таким образом robots.txt постоянно доступен по линку http://ourwebsite.com/robots.txt Также,Вы можете посмотреть и сравнить robots.txt и на любом другом сайте. Единственное, помните, что для разнообразных движков robots.txt будут кардинально отличаться.

Создавая сайт, мы, конечно же, хотим видеть его в топе поисковой выдачи. Мы даже тратим очень много денег на поисковую оптимизацию. Вот только пользователи почему-то не особо спешат на ресурс. А если и посещают его, то без особых результатов. Так почему же все происходит именно так? Мы постараемся ответить на этот вопрос. Итак:

Вы оптимизируете сайт по запросу с высокой конкуренцией

Если у Вас есть узкопрофильный сайт, скажем, по бижутерии, то его продвижение по ключевому слову «бижутерия» станет провалом. Почему? 1) Поданному запросу будет конкурировать множество других более продвинутых страничек. 2) Запрос «бижутерия» - слишком общий. Попробуйте подобрать что-то более конкретное. Например, если Вы продаете гавайские побрякушки, продвигайте с