ММПД50. День 13-15. Маскируем доры от поисковиков.

Занимался в основном доделыванием генератора. В целом почти закончил. Единственное, что-то под конец дня, sputnik видимо, решил мой IP забанить :-) Так что наверное придется потратить, как минимум еще один день для того чтобы нарастить количество парсеров контента до 5-6, и подключить прокси сервера (хотя бы 10-ок, на своих IP, для теста).

Мини итог, за 13 -15 день:

  • упростил шаблоны, убрал на 80% дублирование информации там, упростил их кастомизацию (еще вывод страниц довести до ума, плюс пару мелочей);
  • +1 шаблон (первый делается дольше всего, вылезают разные нюансы, на которые не обращал внимание), по времени ушло часа ~4, следующий думаю сделаю за 2, потом время уменьшиться до 30-40 мин на шаблон, как руку набью;
  • подключил в шаблоны/генерацию keywords/description.
  • подключил в шаблоны рекламу централизованную (вынес как заготовку, по факту доделаю);
  • полный ЧПУ для маскировки доргена от ПП (в конфигурационном файле задаешь прификсы (/ _ ~ ну и т.д. что можно) /окончания (html, php, asp, htm,  и т.д.), признаки страниц, категорий, профилей — получаешь URL: /page/igri-strategii-ne-onlajn-skachat-besplatno.php или /page/igri-strategii-ne-onlajn-skachat-besplatno.html или /page/igri-strategii-ne-onlajn-skachat-besplatno или /info/igri-strategii-ne-onlajn-skachat-besplatno ну  и т.д.). Служебные страницы — так же настраиваются. Можно маскироваться под Word press, можно под DLE, можно под магаз какой-нибдуь… Все работает, все «проверенно» ;-) ;
  • скрытие папки картинок/аватарок от ПП (случайная папка), чтобы не было все 200-250 доргенов с аватаркой в папке photo или avatars;

Мини план до запуска:

  • учитывая негативную реакцию спутника, добавить случайный выбор парсера снипетов из 4-5, видео из 2-3х + поддержка прокси с равномерной нагрузкой (простенький скрипт), нужно чтобы при нагрузке 200-250 доров, в день создавалось минимум 4-5К страниц, ~1000 запросов на парсер контента, если будет хотя бы стабильных 10-20 прокси, 100-200 запросов на IP — должно хватить;
  • добавить еще 4 шаблона, и можно пробовать разворачивать первых 10-20 штучек, для отладки их уже на сервере.
  • там на ходу уже доработаю откатку/слив трафа по рекламе.

И так возвращаясь к теме доров. Как маскировать их от ПП?

Сильно расписывать не буду, скажу следующее, представьте как работают «Антивирусы». У них есть БД сигнатур — фактически признаков того или иного вируса. Они бывают полиморфные, бывают обычные, пофиг, все равно у них всех есть свои признаки. Как только какой-то вирус заражает N-ое количество компьютеров, он с какой-то вероятностью попадает на стол к сотрудника антивирусной компании, где анализируется, ну и соответственно — потом под него добавляется сигнатура.

Есть вероятность того, что под сигнатуру попадет нормальная программа — тогда ее владелец пишет  слезные письма с просьбой сделать так что бы допустим Касперский не верещал на его мега софт. Сотрудники антивирусной кампании вносят «фикс» в сигнатуру — ну собственно на этом и все.

Ну так вот, вангую, что в поисковых системах уже использует похожий принцип фильтрации нежелательных сайтов. Для того чтобы отфильтровать какую-то новую версию доргена, которая достаточно расплодилась, достаточно найти 4-5 признаков, по которым туда попадет 99% этого «добра». Иногда это легко, иногда нет… Но после того как выпускают эту «сигнатуру», в течении 3-7 дней все ложится, что попало под нее. Да, могут попасть и Ваши милые сайты, особенно если дорвейщики взяли Ваш шаблон для генерации доров… Ну тут уж — «се ля ви», пишите слезные письма Платону Щукину :-)

Не верите мне? Ну давайте пример любого дорвея или белого УГ сайта для поисковиков, а я попробую найти этих 4-5 признаков, чтобы спалить всю сетку/способ :-)

Учтите, что признаки могут быть не явными… Например, одинаковая структура информационных страниц, абзацев, количество картинок, количество видео, размер текста в приделах 8-10К символов, нет favicon, одинаковый robots.txt, одинаковая битая ссылка какая-нибудь или не верно указанный canonical урл для страницы… и т.д. и т.п. У поисковиков много возможностей для анализа, не только ссылок, не только контента, но мелочей, на которые Вы не обращаете внимание. Но просто они допустим встречаются у 95% плохих сайтов, по результатам теста той же ТОЛОКИ :-)

Возможно у них уже давно есть простой инструмент, который по ручной выборке дорвеев, автоматом подбирает признаки, которые почти не встречаются в нормальных сайтах. Я бы на их месте такое давно бы написал.

Но повторю еще раз свою мысль , ПП заинтересованы в дорах на много больше чем дорвейщики! :-)

PS. А что делать?

  1. Брать массовые движки и маскироваться под них и только под них: WordPress, DLE, Drupal ну и т.д.
  2. Случайный формат ЧПУ.
  3. Уникальный favicon/название папок шаблонов и т.д.
  4. Чистые шаблоны (без битых ссылок),  не оставлять «чужого кода» в шаблонах.
  5. Отправку трафика маскировать (TDS в идеале должна быть на  том же домене откуда Вы шлете траф).

И тогда Ваши доры буду жить достаточно долго и счастливо, хотя это противоречит их природе! :-)

ЗЫ… Открываем глаза….  doorwaymoney.ru

ММПД50. День 9-12. Начинаю делать шаблоны и плодиться :-)

В связи с праздниками, не получилось работать каждый день, но сейчас они закончились — можно налечь, и так…

Мини итог, за 9 -12 день:

  • зарегистрировал суммарно 50 доменов;
  • зарегистрировал счетчики (спасибо скрипту Санчо/Панчо, у меня встроенная поломалась);
  • раскидал с заглушками домены по IP;
  • закончил свой парсер контента, получилась комба, что-то среднее между WmsnDorgen2 и WmsnDorgen6, со своими фишками, единственное под WmsnDorgen2 все это дело интегрировано, так что будут у меня блого/доры.

Была небольшая проблема с rush-analytics.ru, я там со своими проектами залез в минус 2.5 рубля по балансу (вылез из бонуса). По факту после этого блокируются все проекты и фиг что можно скачать у них пока не пополнишь баланс. Ну думаю, ладно, пополню на 3 рубля, что жалко что ли? И фиг, минимальная сумма 500р. Написал в суппорт, обнулили мне баланс, все свои ключи собранные скачал, так что ребята там адекватные :-) Кто еще не успел получить бонус на 200р и напарсить кеев себе под доры с Yandex Wordstat — рекомендую, бонус могут и убрать. Я лично 140-150К собрал ключиков под 6 тематик  :-)

Доработка своего генератора, будет как-то так (версия WmsnDorgen — 2):

Черновой вариант:

Шаблон будет генерироваться случайно, для каждого поста или дора — отдельно (почти по пузату). Чтобы все статьи не носили одинаковую структуру, там разные h1-h2-h3, кол-во видео, картинок и прочее.

Результат:

Базовый блоговый шаблон:

Главная:

Страница случайная:

Тут текст на 8-10 кило:

А потом еще 7-20 комментов от людей которые читают блог:

Изменения которые внес:

  1. По умолчанию, если для сайта не задан конфиг — показываем заглушку со счетчиком.
  2. Разбил конфиг (основной и конкретный под дор) + добавил свои параметры.
  3. Почистил БД синонимов.
  4. Ввел вероятность замены, плюс не много изменил логику замены, скорость генерации упала, уникальность стало получше. Уникальность текста, зависит от этой опции. Ставишь 50%, получаешь 50%, ставишь 100%, получаешь 85-97%, ставишь 0%, получаешь 5-20%.

Мини план до запуска:

  1. Упростить шаблоны, так как создавать одинаковые под главную/странцы/пользователь/категории и т.д. — «гимморой» еще тот. Один файл — шаблон страницы, а остальное вставляем только данные.
  2. Подключить в шаблоны/генерацию keywords/description.
  3. Добавить опцию в шаблон — реклама (смысл общий такой, будет 10-15 шаблонов, на 200-250 доменов, под разные тематики, в конфиге тупо задаю тип, допустим: магазин Nike, и в дор вставляются автоматом промо материалы по Nike, не зависимо от шаблона). Редиректы не люблю ;-) Мы же по Пузату делаем. Так проще будет что-то глобально изменить, допустим переключить юристов с Ледии на конкурентов. Ну или  тупо встроить кликандер только для юристов, на лендинг юристов.
  4. 10-15 шаблонов.
  5. Сделать тестовых 5-10 штук на сабах, протестировать процесс.

PS. Решил сделать не 50, а сразу 200-250, на сабах. Цель хотя бы с 1-го дора получить 300р. И если норм, потом масштабировать на пару К доменов. А так общую цель не меняю пока что, пусть остается 15К :-)

ЗЫ… Крадемя к цели….  doorwaymoney.ru

ММПД50. День 7-8. Вышла новая версия WMSN.Dorgen.

Мини итог, за 7 -8 день:

  • зарегистрировал суммарно 45 доменов (еще 5ть и план выполнен);
  • добавил к теме №1 прямых ключей (типа купить [keyword], скида на [keywords]), пришлось парсить сайт и выдирать от туда данные;
  • вышла новая версия Wmsn.dorgen, поставил — поигрался, по мне так — сыровато, но вроде траф дает, с понедельника до изучаю и начну делать первые доры;
  • не много допили свой парсер контента.

Тут еще осталось около 100р бонусных за регистрацию, нужно потратить за 5 дней, заранее нужно заготовить еще пару тем.

Пример того какой контент делает новый WMSN.Dorgen.

Идея обычная — берем текст/видео/картинки из различных источников, прогоняем синонимайзер, берем уникальные строки нужной длинны, компонуем новый текст — получаем уникальность по копискейп ~90%.

По заявлению автора — не плохо дают трафика, там что-то около 1.5К уник за неделю. Вопрос в какой теме, и на сколько долго продержится. Если исходить что на тизерках с 1К получается допустим 50р, то окупаемость дора 1-го это 3-4К трафа на мусорном трафике. Не хочу загадывать, будет видно что и как.

На данный момент это первая версия, с 1-им шаблоном, думаю через недельку автор выставит какой-то набор шаблонов, пофиксит мелкие баги, которые там то же есть я уверен — и можно будет плотнее использовать.

Доработка своего генератора:

Черновой вариант:

Вариант 1

 

Вариант 2

Вариант 3

!!! — разделители.

Потом не много поколдую, и избавлюсь от дублей и левого контента. Но вроде общая идея не спеша обретает смысл.

Уникальность текста: ~8090%. LOL… WTF? Это без !!!.

ЗЫ… Ползем-ползем-ползем….  doorwaymoney.ru