Единая поддержка сервиса http://support.getbb.ru/ |
|
Robots.txt http://support.getbb.ru/viewtopic.php?f=20&t=3565 |
Страница 1 из 1 |
Автор: | El Dios [ 19 фев 2010, 12:17 ] |
Заголовок сообщения: | Robots.txt |
Господа Админы, вопрос простой. Есть ли возможность редактировать этот файл ? Зачем это надо, думаю, объяснять не нужно. Заранее спасибо! |
Автор: | DeDGimly [ 19 фев 2010, 17:38 ] |
Заголовок сообщения: | Re: Robots.txt |
нет, он специально УЖЕ оптимизирован под поисковики |
Автор: | Святослав [ 07 сен 2010, 15:00 ] |
Заголовок сообщения: | Re: Robots.txt |
У меня есть вопрос по содержанию robots.txt моего форума http://frauflora.ru Не одно и то же, подчёркнутое красным цветом, запрещено дважды в robots.txt? Если запрещено одно и то же для поисковых систем, то почему два раза? Или просто вышла случайная ошибка? |
Автор: | DeDGimly [ 07 сен 2010, 15:16 ] | ||
Заголовок сообщения: | Re: Robots.txt | ||
Видимо закралась ошибка Но для поисковиков она не принципиальна |
Автор: | Святослав [ 07 сен 2010, 15:40 ] |
Заголовок сообщения: | Re: Robots.txt |
Можно попросить, чтобы Beholder (или кто-то другой) исправил эту ошибку в robots.txt? Или она не может быть исправлена? |
Автор: | DeDGimly [ 07 сен 2010, 16:09 ] | ||
Заголовок сообщения: | Re: Robots.txt | ||
будет исправлено не волнуйтесь |
Автор: | Святослав [ 28 сен 2010, 16:57 ] |
Заголовок сообщения: | Re: Robots.txt |
Вижу, что в robots.txt форума есть замечательные и очень полезные изменения. В частности, запрещены к индексированию "лишние" адреса страничек тем: next, previous и &start=0$. Мне очень понравилось! Спасибо огромное тому, кто так подредактировал robots.txt. Надеюсь, в проиндексированных страничках поисковиков будет меньше одинаковых страничек одной и той же темы. Есть вопрос. Напишите, пожалуйста, что значит эта запись: "Clean-param: sid /index.php Clean-param: sid /viewforum.php Clean-param: sid /viewtopic.php" ? |
Автор: | Beholder [ 29 сен 2010, 02:55 ] |
Заголовок сообщения: | Re: Robots.txt |
Святослав http://lmgtfy.com/?q=clean-param%3A перестраховка на случай если кто-то решит удалить бота Яндекса из списка ботов... |
Автор: | Merlin [ 05 сен 2014, 00:26 ] |
Заголовок сообщения: | Re: Robots.txt |
В выдачу Яндекса попадают дубли страниц Пример Вложение: .JPG Добавлено спустя 10 часов 56 минут 11 секунд Еще в выдаче стали появляться копии страниц с такими ссылками Вложение: .JPG
|
Автор: | Merlin [ 02 окт 2014, 15:41 ] |
Заголовок сообщения: | Re: Robots.txt |
В выдаче яндекса полно страниц с такими url например viewtopic.php?t=5&p=1 viewtopic.php?t=5&p=2 viewtopic.php?t=5&p=3 viewtopic.php?t=5&p=15 viewtopic.php?t=5&p=8 и т.п. Добавлено спустя 37 минут 56 секунд Вложение: .JPG
|
Автор: | Merlin [ 19 окт 2014, 23:44 ] |
Заголовок сообщения: | Re: Robots.txt |
В данный момент имеет такой вид Код: User-agent: Mediapartners-Google* Disallow: User-agent: * Disallow: /search.php Disallow: /memberlist.php Disallow: /ucp.php Disallow: /faq.php Disallow: /posting.php Disallow: /viewonline.php Disallow: /reputation.php Disallow: /cron.php Disallow: /admin.php Disallow: /report.php Disallow: /loc.php Disallow: /thanks.php Disallow: /viewreputation.php Disallow: /portal.php?m= Disallow: /portal.php?np= Disallow: /viewtopic.php?p=* Disallow: /viewtopic.php?f=*&p=* Disallow: /viewtopic.php?t=*&p=* Disallow: /viewtopic.php?t=*&start=0$ Disallow: /viewtopic.php?f=*&t=*&view=next Disallow: /viewtopic.php?f=*&t=*&view=previous Clean-param: sid /index.php Clean-param: sid /viewforum.php Clean-param: sid /viewtopic.php Crawl-delay: 5 Host: форум Просьба добавить 2 строки Код: Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php?f=*&t=*&p=* |
Автор: | Beholder [ 21 окт 2014, 22:39 ] |
Заголовок сообщения: | Re: Robots.txt |
Merlin Отправил пожелание в разработку. В качестве дополнительного совета - проверьте, описан ли у вас в списке ботов (и включен ли) бот Яндекса. |
Автор: | alen-ka86 [ 08 ноя 2014, 09:58 ] |
Заголовок сообщения: | Re: Robots.txt |
Добрый день. Я совсем новичок-чайник. Поэтому заранее прошу прощения за тупой вопрос) Я создала форум, но ни гугл, ни яндекс абсолютно его не видит. Файл robots я найти не могу. Все руководства к созданию и тд для меня мало понятны. Можете помочь с поиском инфо по этой теме? Заранее спасибо. |
Автор: | Beholder [ 08 ноя 2014, 10:23 ] | ||
Заголовок сообщения: | Re: Robots.txt | ||
Формы добавления сайта: гугл: https://www.google.com/webmasters/tools/submit-url яндекс: https://webmaster.yandex.com/addurl.xml после добавления ждете одну-две-три недели, после этого сайт обычно появляется в индексе. Вопросами robots.txt не озадачивайтесь. Уверяю вас - это вам не нужно. На этом этапе (да и вообще). |
Автор: | Merlin [ 05 мар 2015, 03:29 ] |
Заголовок сообщения: | Re: Robots.txt |
В google появляются страницы адрес-форума/feed.php |
Автор: | Merlin [ 06 мар 2015, 09:17 ] |
Заголовок сообщения: | Re: Robots.txt |
Вложение: .JPG
|
Автор: | Merlin [ 04 сен 2016, 00:28 ] |
Заголовок сообщения: | Re: Robots.txt |
В Яндексе появляются страницы такого вида: адрес_форума/?f=10 адрес_форума/?p=4 адрес_форума/?p=9 и др. Страницы можно найти в Яндекс.Вебмастере в разделе "Страницы в поиске" Вложение: .JPG
|
Автор: | Merlin [ 07 фев 2017, 02:11 ] |
Заголовок сообщения: | Re: Robots.txt |
Яндекс периодически добавляет в поиск такие страницы Код: /?
/?/ /?r/ /?f=11 /?f=2 /?f=2&t=7 /?f=21 /?f=3&t=3 /?p=14 /?p=4 /?mode=group&g=5 все ссылки ведут в "список форумов" |
Страница 1 из 1 | Часовой пояс: UTC + 3 часа [ Летнее время ] |
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |