Бот яндекса

В скором времени, с началом лета боты Яндекса предстанут перед нами в новой «одежке».

А именно они сменят вид своего представления в User-Agent. Компания Яндекс хочет добиться этим того, что все роботы будут приведены к одному виду представления, что позволит сделать значения User-Agent в логах более развернутым и информативным.

Исходя из этого, можно будет с легкостью понимать какой именно бот прошелся по страницам вашего сайта и какой именно бот помог загнать страницу в топ или наоборот, помочь странице оттуда выпасть. Читать далее »

Яндекс - чудит!

Яндекс, Яндекс, Яндекс….. Как он уже «дорог», наш «дорогой», «любимый», русскоязычный и близкий нам по менталитету поисковик. Не то, что буржуйский Google. Читать далее »

Береги здоровье!

За полночь. В смартфоне слышен звук пришедшей СМС. Она от Промопарка . Открываю, очередной текст «Изменение поисковой выдачи Яндекса. Желаем удачного Апдейта!». На серче уже как пару часов видел тему про апдейт. На сеобуджете, так же предсказывали его в этот день. Но я не верил…

В конце дня наблюдал как бот Яндекса под именем I нещадно жрал страницы дорвеев, одну за одной. Как прокаженный или оголодавший, после чумы…. И вот он наступил, долгожданный АП! Тот АП, который я ждал с грасными глазами…. В тот, который я верил и надеялся….

Подвижки есть, но не большие, один из доров заскочил в индекс на ~800 паг. Второй на ~350. В индексацию пошел еще один. Два из пяти все еще только по мордам в индексе.

Предугадываю что там медленно из-за того. Что не использовал всемогущего быстробота.

Бот просто напросто не успевает сожрать все страницы к индексу. Но это часть эксперимента. Траф тоже немного прет и исключительно по релевантным запросам и из ПС Yandex.

Приоткрывая занавес таинственной тематики, хочу сказать, что конверта нету. Из-за того, что партнерка основана на проценте от продаж товара. Но еще не вечер. Жду еще одного Апа, думаю он должен прояснить картину.

Пару дней уже размышляю по поводу поднятия сетки саттелитов и заработка на них. Но это еще только домыслы и раздумья.

P.S. я не пил и не курил, просто настроение такое

UPD: К утру выдача изменилась, но только в плюс. Один дор почти полностью в индексе, второй до ~750 страниц догнал, остальные по ~35 страниц. Траф есть.

Жду Апа

Итак, “ПослеАпье”. Я не успел соорудить свои мега доры до Апа, который был 22 числа и пришлось ждать очередного. И вот он случился сегодня ночью).  Яндекс конечно радует с одной стороны скоростью индексирования, скоро как гугл будет. Разместил пагу, через пару часов она в индексе) но пока наверное до этого еще далеко, хотя где-то читал что Яндекс признан одной из быстроразвивающихся ПС. Ну конечно, все идеи крадутся прямиком у гугла.

Что-то я отвлекся. Так вот Значит подоспели доры только к Апу, который был сегодня ночью. Из пяти штук, были схаваны 2 дора, по разному кол-ву страниц и на них уже есть малый траф. До этого яндексовский бот I жрал страницы именно этих двух доров. А остальными почему-то брезговал, только гугл кушал их. Но сегодня полазил по логам и вижу, что и Яндекс посмотрев на «Отца Гугла» решил полакомиться остальными и кушает их до сих пор. Что бы не спугнуть.

Так что пока судить не о чем не могу, жду еще Апов.

Выбирай направление

Я довольно долго думал перед написанием поста, о его будущем содержании и вообще по теме. Решил, что пост будет разбит на несколько частей, в которых будут оговорены близкие по смыслу и тематики, но в то же время отдаленные темы.

Итак начнем. После того как прошел Апдейт выдачи Яндекса 14 августа, из индекса выпала вся пачка доров в количестве пяти штук, общим объемом (в индексе) около 4 000 страниц. Это было довольно неожиданно, так как выпали они не сразу, а как то странно попозже. Изначально они влетели и дали траф. Продержались они 4 Ап'а от начала попадания морды в индекс. Это я считаю не очень плохо, так как себя окупили и принесли даже больше. Такие события надвинули на мою голову думы, которые породили идеи, уже воплощенные в жизнь.

Продолжаем. Очередная пачка доров из 5 штук, на рушных доменах, на собственной VPS создана и залита 15 числа этого месяца. В итоге сегодня я обнаружил что морды всех пяти уже в индексе Яндекса. Пройдясь по логам сервера обнаружил вот такую картину:

87.250.241.68 - - [15/Aug/2009:13:17:54 +0400] "HEAD / HTTP/1.1" 200 - "-" "Yandex/1.03.003 (compatible; Win16; D)"

Сразу же пришел бот по команде «Аддурилки». 16 числа никто не приходил.

77.88.22.224 - - [17/Aug/2009:23:13:27 +0400] "GET / HTTP/1.1" 200 1397 "-" "Yandex/1.01.001 (compatible; Win16; I)"

И вуаля 17 числа бот индексатор наведался на главную страницу. И потом еще заглянул очень много раз 18 числа

77.88.22.224 - - [18/Aug/2009:12:58:23 +0400] "GET / HTTP/1.1" 200 1397 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Когда точно произошло попадание в индекс, судить не могу, но факт, что прошло совсем немного времени, около 2-3 суток, не может не радовать. Сразу скажу, дополнительных привлечений быстробота не было. Сейчас самым главным остается то. На сколько долго просидит морда в индексе. Либо она доживет и переживет АП, либо она выпадет до АП'а.

Недавно на серче наткнулся на тему «Куда девать домены после бана (выпадение из индекса) Яндексом». Ответа три:

1 – использовать по Гугл и другие ПС

2 – выкинуть и забыть

3 – можно попытаться использовать их еще раз.

Остановлюсь на последнем варианте. Когда я был на конференции Яндекса, то одна очень милая девушка рассказала о том, как происходит «амнистия» сайта после бана. Все довольно просто, домену дается лишь один шанс вылезти из бана. Для этого нужно обновить контент или «исправиться» в зависимости от того, за что вас посадили в бан.

Так вот как это относится к дорвеям. А очень просто, решение довольно простое, нудное и возможно лишнее. После бана, проверяем, при добавлении в аддурилка добавляется домен или она ругается. Далее сносим весь дор, вешаем на домен заглушку, можно натолкать ее уникальным контентом. И ждем пару Апов. Далее опять проверяем добавляется ли домен в аддурилку, если да то можно заново вешать назад дор, только совершенно иного содержания, а не тот же самый и далее все как обычно. Возможно кропотливо и лишне, но если кому жалко отдавать домен после первого бана, могут попробовать на досуге так поизвращаться.

P.S. Тема – если Вы сидите в пустой комнате и рядом никого нету, то это еще не значит что Вы один и за Вами никто не следит!