Цитата:
А при чем здесь роботс? Стучаться-то они будут несмотря на роботс..
Вы, видимо, не совсем в теме, про что я..
Начнем с того, что директиву Crawl-delay понимают не все боты - это один, а два - xpymepу и прочим прогам-спамерам-стучалкам глубоко плевать что вы там указали в роботс.
Цитата:
от-же SolomonoBot вполне себе полезная штука, сам пользуюсь иногда этим сайтом
Вы пользуетесь, а я нет.
Данный код не панацея от вашей проблемы, а лишь пример что можно снизить нагрузку ограничивая доступ некоторым ботам напрягающим ваш сайт.
|
Объясняю еще раз. Все поисковые боты понимают директиву Crawl-delay. Все указанные вами кроме xpymep естественно тоже её понимают.
Нагрузка на форум возникла не из-за этих ботов, соответственно ограничение доступа для них проблемы не решает.
Цитата:
Там кстати айпишек одинаковых вообще нет
Скажите еще что юзерагент у каждого запроса разный...
|
Да не разный там юзер агент, обычный как из разных браузеров идет
Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:42.0) Gecko/20100101 Firefox/42.0
Когда вы заходите из своего браузера на форум, вы ничем не отличаетесь от того бота, кроме айпи конечно
Заблокировать ботов по юзерагенту это бред, боты могут хоть под яндекса, хоть под гугла маскироваться,
Но нашем случае они просто ставят случайную версию браузера и ОС.
Цитата:
Конечно виднее, ибо я лишен некоторых ваших предрассудков и делаю выводы исходя из цифр.
А они таковы:
На сайте у вас сейчас:
11 пользователей, и 82 гостя.
Следовательно, одновременно у вас не бывает больше 200 уников.
|
Ну раз вы так на цифры ориентируетесь посмотрите внизу форума есть статистика присутствующих (Кто на форуме),
обратите внимание, что пока не упал сервер, форум зафиксировал
Код HTML:
Рекорд одновременного пребывания 12,964, это было 24.11.2015 в 14:27.
в данном случае не 200 уников, а почти 13000
Остальные ваши размышления по поводу того, что нам нужно оставьте при себе.