Текущее время: 19 авг 2017, 11:14


 

Часовой пояс: UTC + 3 часа [ Летнее время ]


Правила форума


На форуме запрещено давать рефферальные ссылки.



Начать новую тему Ответить на тему  [ Сообщений: 18 ] 
Автор Сообщение
 Заголовок сообщения: Robots.txt
СообщениеДобавлено: 19 фев 2010, 13:17 
Новичок
Аватара пользователя

Зарегистрирован: 06 апр 2009, 16:37
Сообщений: 10
Очков репутации: 2

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Господа Админы, вопрос простой.
Есть ли возможность редактировать этот файл ? Зачем это надо, думаю, объяснять не нужно. :beer:

Заранее спасибо!

_________________
Орден "Дети Илуватара"


Не в сети
 Профиль Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 19 фев 2010, 18:38 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 09 фев 2009, 16:55
Сообщений: 1730
Очков репутации: 57

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
нет, он специально УЖЕ оптимизирован под поисковики


Не в сети
 Профиль Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 07 сен 2010, 16:00 
Продвинутый
Аватара пользователя

Зарегистрирован: 01 май 2009, 10:33
Сообщений: 82
Откуда: Белая Церковь, Украина
Очков репутации: 7

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
У меня есть вопрос по содержанию robots.txt моего форума http://frauflora.ru Не одно и то же, подчёркнутое красным цветом, запрещено дважды в robots.txt? Если запрещено одно и то же для поисковых систем, то почему два раза? Или просто вышла случайная ошибка?
Изображение


Не в сети
 Профиль WWW Cпасибо сказано  
 
За это сообщение пользователю Святослав "Спасибо" сказали:
DeDGimly
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 07 сен 2010, 16:16 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 09 фев 2009, 16:55
Сообщений: 1730
Очков репутации: 57

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
"Святослав" писал(а):
Если запрещено одно и то же для поисковых систем, то почему два раза? Или просто вышла случайная ошибка?

Видимо закралась ошибка
Но для поисковиков она не принципиальна


Не в сети
 Профиль Cпасибо сказано  
 
За это сообщение пользователю DeDGimly "Спасибо" сказали:
Святослав
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 07 сен 2010, 16:40 
Продвинутый
Аватара пользователя

Зарегистрирован: 01 май 2009, 10:33
Сообщений: 82
Откуда: Белая Церковь, Украина
Очков репутации: 7

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
Можно попросить, чтобы Beholder (или кто-то другой) исправил эту ошибку в robots.txt? Или она не может быть исправлена?


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 07 сен 2010, 17:09 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 09 фев 2009, 16:55
Сообщений: 1730
Очков репутации: 57

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
"Святослав" писал(а):
Или она не может быть исправлена?

будет исправлено не волнуйтесь :)


Не в сети
 Профиль Cпасибо сказано  
 
За это сообщение пользователю DeDGimly "Спасибо" сказали:
Святослав
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 28 сен 2010, 17:57 
Продвинутый
Аватара пользователя

Зарегистрирован: 01 май 2009, 10:33
Сообщений: 82
Откуда: Белая Церковь, Украина
Очков репутации: 7

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
Вижу, что в robots.txt форума есть замечательные и очень полезные изменения. В частности, запрещены к индексированию "лишние" адреса страничек тем: next, previous и &start=0$. Мне очень понравилось! Спасибо огромное тому, кто так подредактировал robots.txt. Надеюсь, в проиндексированных страничках поисковиков будет меньше одинаковых страничек одной и той же темы.
Есть вопрос. Напишите, пожалуйста, что значит эта запись:
"Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php" ?


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 29 сен 2010, 03:55 
Администратор
Аватара пользователя

Зарегистрирован: 14 сен 2007, 11:15
Сообщений: 5272
Очков репутации: 270

Добавить очки репутацииУменьшить очки репутации
Медали: 1
Медаль вручена форумчанами! :) (1)
Пол: Мужской
Святослав
http://lmgtfy.com/?q=clean-param%3A
:wink:

перестраховка на случай если кто-то решит удалить бота Яндекса из списка ботов...

_________________
Поддержка GetBB.Ru
Бесплатный хостинг форумов PHPBB3
Бесплатные форумы на движке SMF

Ваши собственные домены с привязкой к форуму:
.ru - 200 руб./год , .рф - 250 руб./год. (кирилический домен)
in.ua - 7$/год. , .com,org,net - 12$/год.


Не в сети
 Профиль WWW Cпасибо сказано  
 
За это сообщение пользователю Beholder "Спасибо" сказали:
Святослав
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 05 сен 2014, 01:26 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
В выдачу Яндекса попадают дубли страниц

Пример
Вложение:
.JPG


Добавлено спустя 10 часов 56 минут 11 секунд

Еще в выдаче стали появляться копии страниц с такими ссылками
Вложение:
.JPG


У вас нет доступа для просмотра вложений в этом сообщении.

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 02 окт 2014, 16:41 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
В выдаче яндекса полно страниц с такими url

например

viewtopic.php?t=5&p=1
viewtopic.php?t=5&p=2
viewtopic.php?t=5&p=3
viewtopic.php?t=5&p=15
viewtopic.php?t=5&p=8


и т.п.

Добавлено спустя 37 минут 56 секунд

Вложение:
.JPG


У вас нет доступа для просмотра вложений в этом сообщении.

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 20 окт 2014, 00:44 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
В данный момент имеет такой вид
Код:
User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /posting.php
Disallow: /viewonline.php
Disallow: /reputation.php
Disallow: /cron.php
Disallow: /admin.php
Disallow: /report.php
Disallow: /loc.php
Disallow: /thanks.php
Disallow: /viewreputation.php
Disallow: /portal.php?m=
Disallow: /portal.php?np=
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 5
Host: форум

Просьба добавить 2 строки
Код:
Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php?f=*&t=*&p=*

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 21 окт 2014, 23:39 
Администратор
Аватара пользователя

Зарегистрирован: 14 сен 2007, 11:15
Сообщений: 5272
Очков репутации: 270

Добавить очки репутацииУменьшить очки репутации
Медали: 1
Медаль вручена форумчанами! :) (1)
Пол: Мужской
Merlin
Отправил пожелание в разработку.

В качестве дополнительного совета - проверьте, описан ли у вас в списке ботов (и включен ли) бот Яндекса.

_________________
Поддержка GetBB.Ru
Бесплатный хостинг форумов PHPBB3
Бесплатные форумы на движке SMF

Ваши собственные домены с привязкой к форуму:
.ru - 200 руб./год , .рф - 250 руб./год. (кирилический домен)
in.ua - 7$/год. , .com,org,net - 12$/год.


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 08 ноя 2014, 10:58 
Забыл про аватар :)

Зарегистрирован: 06 ноя 2014, 11:08
Сообщений: 1
Очков репутации: 0

Добавить очки репутацииУменьшить очки репутации
Номер мобильного телефона: 0
Добрый день. Я совсем новичок-чайник. Поэтому заранее прошу прощения за тупой вопрос) Я создала форум, но ни гугл, ни яндекс абсолютно его не видит. Файл robots я найти не могу. Все руководства к созданию и тд для меня мало понятны. Можете помочь с поиском инфо по этой теме? Заранее спасибо.


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 08 ноя 2014, 11:23 
Администратор
Аватара пользователя

Зарегистрирован: 14 сен 2007, 11:15
Сообщений: 5272
Очков репутации: 270

Добавить очки репутацииУменьшить очки репутации
Медали: 1
Медаль вручена форумчанами! :) (1)
Пол: Мужской
"alen-ka86" писал(а):
Добрый день. Я совсем новичок-чайник. Поэтому заранее прошу прощения за тупой вопрос) Я создала форум, но ни гугл, ни яндекс абсолютно его не видит. Файл robots я найти не могу. Все руководства к созданию и тд для меня мало понятны. Можете помочь с поиском инфо по этой теме? Заранее спасибо.

Формы добавления сайта:
гугл: https://www.google.com/webmasters/tools/submit-url
яндекс: https://webmaster.yandex.com/addurl.xml
после добавления ждете одну-две-три недели, после этого сайт обычно появляется в индексе.

Вопросами robots.txt не озадачивайтесь. Уверяю вас - это вам не нужно. На этом этапе (да и вообще).

_________________
Поддержка GetBB.Ru
Бесплатный хостинг форумов PHPBB3
Бесплатные форумы на движке SMF

Ваши собственные домены с привязкой к форуму:
.ru - 200 руб./год , .рф - 250 руб./год. (кирилический домен)
in.ua - 7$/год. , .com,org,net - 12$/год.


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 05 мар 2015, 04:29 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
В google появляются страницы адрес-форума/feed.php

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 06 мар 2015, 10:17 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
Вложение:
.JPG


У вас нет доступа для просмотра вложений в этом сообщении.

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
За это сообщение пользователю Merlin "Спасибо" сказали:
Beholder
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 04 сен 2016, 01:28 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
В Яндексе появляются страницы такого вида:
адрес_форума/?f=10
адрес_форума/?p=4
адрес_форума/?p=9
и др.

Страницы можно найти в Яндекс.Вебмастере в разделе "Страницы в поиске"

Вложение:
.JPG


У вас нет доступа для просмотра вложений в этом сообщении.

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
 Заголовок сообщения: Re: Robots.txt
СообщениеДобавлено: 07 фев 2017, 03:11 
Универсальный Гений
Аватара пользователя

Зарегистрирован: 05 фев 2012, 02:48
Сообщений: 1168
Очков репутации: 104

Добавить очки репутацииУменьшить очки репутации
Пол: Мужской
Номер мобильного телефона: 0
Яндекс периодически добавляет в поиск такие страницы
Код:
/?
/?/
/?r/
/?f=11
/?f=2
/?f=2&t=7
/?f=21
/?f=3&t=3
/?p=14
/?p=4
/?mode=group&g=5
все ссылки ведут в "список форумов"

_________________
Forum Gta


Не в сети
 Профиль WWW Cпасибо сказано  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 18 ] 

 

Часовой пояс: UTC + 3 часа [ Летнее время ]



 Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

 
cron