Единая поддержка сервиса
http://support.getbb.ru/

Robots.txt
http://support.getbb.ru/viewtopic.php?f=20&t=3565
Страница 1 из 1

Автор:  El Dios [ 19 фев 2010, 12:17 ]
Заголовок сообщения:  Robots.txt

Господа Админы, вопрос простой.
Есть ли возможность редактировать этот файл ? Зачем это надо, думаю, объяснять не нужно. :beer:

Заранее спасибо!

Автор:  DeDGimly [ 19 фев 2010, 17:38 ]
Заголовок сообщения:  Re: Robots.txt

нет, он специально УЖЕ оптимизирован под поисковики

Автор:  Святослав [ 07 сен 2010, 15:00 ]
Заголовок сообщения:  Re: Robots.txt

У меня есть вопрос по содержанию robots.txt моего форума http://frauflora.ru Не одно и то же, подчёркнутое красным цветом, запрещено дважды в robots.txt? Если запрещено одно и то же для поисковых систем, то почему два раза? Или просто вышла случайная ошибка?
Изображение

Автор:  DeDGimly [ 07 сен 2010, 15:16 ]
Заголовок сообщения:  Re: Robots.txt

"Святослав" писал(а):
Если запрещено одно и то же для поисковых систем, то почему два раза? Или просто вышла случайная ошибка?

Видимо закралась ошибка
Но для поисковиков она не принципиальна

Автор:  Святослав [ 07 сен 2010, 15:40 ]
Заголовок сообщения:  Re: Robots.txt

Можно попросить, чтобы Beholder (или кто-то другой) исправил эту ошибку в robots.txt? Или она не может быть исправлена?

Автор:  DeDGimly [ 07 сен 2010, 16:09 ]
Заголовок сообщения:  Re: Robots.txt

"Святослав" писал(а):
Или она не может быть исправлена?

будет исправлено не волнуйтесь :)

Автор:  Святослав [ 28 сен 2010, 16:57 ]
Заголовок сообщения:  Re: Robots.txt

Вижу, что в robots.txt форума есть замечательные и очень полезные изменения. В частности, запрещены к индексированию "лишние" адреса страничек тем: next, previous и &start=0$. Мне очень понравилось! Спасибо огромное тому, кто так подредактировал robots.txt. Надеюсь, в проиндексированных страничках поисковиков будет меньше одинаковых страничек одной и той же темы.
Есть вопрос. Напишите, пожалуйста, что значит эта запись:
"Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php" ?

Автор:  Beholder [ 29 сен 2010, 02:55 ]
Заголовок сообщения:  Re: Robots.txt

Святослав
http://lmgtfy.com/?q=clean-param%3A
:wink:

перестраховка на случай если кто-то решит удалить бота Яндекса из списка ботов...

Автор:  Merlin [ 05 сен 2014, 00:26 ]
Заголовок сообщения:  Re: Robots.txt

В выдачу Яндекса попадают дубли страниц

Пример
Вложение:
.JPG


Добавлено спустя 10 часов 56 минут 11 секунд

Еще в выдаче стали появляться копии страниц с такими ссылками
Вложение:
.JPG

Автор:  Merlin [ 02 окт 2014, 15:41 ]
Заголовок сообщения:  Re: Robots.txt

В выдаче яндекса полно страниц с такими url

например

viewtopic.php?t=5&p=1
viewtopic.php?t=5&p=2
viewtopic.php?t=5&p=3
viewtopic.php?t=5&p=15
viewtopic.php?t=5&p=8


и т.п.

Добавлено спустя 37 минут 56 секунд

Вложение:
.JPG

Автор:  Merlin [ 19 окт 2014, 23:44 ]
Заголовок сообщения:  Re: Robots.txt

В данный момент имеет такой вид
Код:
User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /posting.php
Disallow: /viewonline.php
Disallow: /reputation.php
Disallow: /cron.php
Disallow: /admin.php
Disallow: /report.php
Disallow: /loc.php
Disallow: /thanks.php
Disallow: /viewreputation.php
Disallow: /portal.php?m=
Disallow: /portal.php?np=
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 5
Host: форум

Просьба добавить 2 строки
Код:
Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php?f=*&t=*&p=*

Автор:  Beholder [ 21 окт 2014, 22:39 ]
Заголовок сообщения:  Re: Robots.txt

Merlin
Отправил пожелание в разработку.

В качестве дополнительного совета - проверьте, описан ли у вас в списке ботов (и включен ли) бот Яндекса.

Автор:  alen-ka86 [ 08 ноя 2014, 09:58 ]
Заголовок сообщения:  Re: Robots.txt

Добрый день. Я совсем новичок-чайник. Поэтому заранее прошу прощения за тупой вопрос) Я создала форум, но ни гугл, ни яндекс абсолютно его не видит. Файл robots я найти не могу. Все руководства к созданию и тд для меня мало понятны. Можете помочь с поиском инфо по этой теме? Заранее спасибо.

Автор:  Beholder [ 08 ноя 2014, 10:23 ]
Заголовок сообщения:  Re: Robots.txt

"alen-ka86" писал(а):
Добрый день. Я совсем новичок-чайник. Поэтому заранее прошу прощения за тупой вопрос) Я создала форум, но ни гугл, ни яндекс абсолютно его не видит. Файл robots я найти не могу. Все руководства к созданию и тд для меня мало понятны. Можете помочь с поиском инфо по этой теме? Заранее спасибо.

Формы добавления сайта:
гугл: https://www.google.com/webmasters/tools/submit-url
яндекс: https://webmaster.yandex.com/addurl.xml
после добавления ждете одну-две-три недели, после этого сайт обычно появляется в индексе.

Вопросами robots.txt не озадачивайтесь. Уверяю вас - это вам не нужно. На этом этапе (да и вообще).

Автор:  Merlin [ 05 мар 2015, 03:29 ]
Заголовок сообщения:  Re: Robots.txt

В google появляются страницы адрес-форума/feed.php

Автор:  Merlin [ 06 мар 2015, 09:17 ]
Заголовок сообщения:  Re: Robots.txt

Вложение:
.JPG

Автор:  Merlin [ 04 сен 2016, 00:28 ]
Заголовок сообщения:  Re: Robots.txt

В Яндексе появляются страницы такого вида:
адрес_форума/?f=10
адрес_форума/?p=4
адрес_форума/?p=9
и др.

Страницы можно найти в Яндекс.Вебмастере в разделе "Страницы в поиске"

Вложение:
.JPG

Автор:  Merlin [ 07 фев 2017, 02:11 ]
Заголовок сообщения:  Re: Robots.txt

Яндекс периодически добавляет в поиск такие страницы
Код:
/?
/?/
/?r/
/?f=11
/?f=2
/?f=2&t=7
/?f=21
/?f=3&t=3
/?p=14
/?p=4
/?mode=group&g=5
все ссылки ведут в "список форумов"

Страница 1 из 1 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/