Мой «говно код»…

Закончил бету 2-го мини сервиса, выкинул в Интернет, сказал гугл/яндексу что он есть и забыл про него на 1-3 месяца. Посмотрим что даст… Или не даст…

Но пост не об этом. Есть у меня своя система под витрины. Я когда-то писал давно про нее.

В первой версии в ручном режиме приходилось брать XML-ки с admitad, заливать их на витрину. Обновлений потом никаких не было: цен, наличия, новых позиций и т.д. Понятно, что витрина «стреляла», а через месяца 3-6-12 сходила на нет. Так как да же не смотря на сотни тысяч страниц товаров, они теряли свою актуальность. Траф сползал, но все рано народ шел. Где-то через 1 год, половина залитых оферов были уже «мертвы» (магазины то же закрываются). Но проблема была в другом, многие начали требовать актуальной информации (цена, наличие), чтобы не вводить пользователей в заблуждение. Если ты не можешь этого — «досвидос».  Меня эта тенденция тогда испугала…

Сейчас это еще не так актуально, но до поры до времени — это я Вангую, потом гайки закрутят.

И понятно что масштабировать такое было нельзя.

Тогда появилась вторая версия, где была возможность:

а) в ручном режиме добавлять новые выгрузки в текущий проект, нажатием 2-х кнопок;

б) в ручном режиме обновлять уже загруженные XML выгрузки — нажал кнопку, подождал… Нажал другую — подождал…

Это упростило жизнь, и позволило делать актуальные витрины 10-ми.

Когда их стало больше 30, тыкать кнопки для их обновления раз в месяц мне надоело и появилась 3-ия, текущая версия, которая по крону, сама загружает XML-ки актуальные, и обновляет их на текущих витринах.

Тыкать в кнопки уже не нужно, но система громоздкая, код у меня оставляет желать лучшего, периодически что-то начинает тормозить, не работать и т.д. и т.п.

Это позволило держать ~100-ню витрин, не беспокоясь о том, что они будут не работать или информация на них будет не актуальна. Да первичная настройка все еще занимает какое-то время, но дальше — «залил и забыл». Крон запускается раз в час. В среднем, за неделю, обновляются все активные оферы.

Система относительна стабильна, ну то есть год я ее не трогал. Смотрел там логи обновления иногда, что-то подкручивал совсем по мелочи…

Чтобы Вы представляли, за неделю загружается что-то около 250 XML файлов размером от 200кб и до 250 мб, которые  в дальнейшем обновляются, в среднем каждый 10-12 раз (на разных витринах, отдельные БД).

Но рано или поздно, наступает время «Хэ»,когда все перестает работать как нужно  (не может обновить 1-ин файл скажем 10-12 запусков крона, накапливается очередь, сервер начал дико тормозить, я его перегрузил, он не поднялся… короче, первый звоночек, что нужно что-то сделать).

Пришлось залезть в свой «гавно код»…

Ну а дальше как всегда… Для 1-ой таблицы, 1-го поля  не было индекса… Но это замедляло процесс обновления, но не являлось для него фатальным.

Фатальным, оказалась процедура расчета текущего количества товаров в категориях при обновлениях, если у офера было скажем 3-20К категорий. Не знаю зачем я это делал года  2 назад, но я считал что на странице, категории, допустим «Ноутбук (150)», круче чем просто «Ноутбук» (150 это кол-во товаров там).

Смотрю значит я свой код, почти 2-х летней давности и не понимаю, как я мог тогда это написать, почему оно вообще работает (а работает оно верно) ну  и т.д.

В результате, убрал 50% кода (он вообще там был не нужен, то есть по факту ничего не делал), добавил в обход дерева категорий обратный индекс родителей (до этого был цикл «Карл»…, ну то есть от 1 до N, а есть ли у этой категории ребенок, если нет, значит это низ дерева, и можно зафиксировать результат, плюс добавить «папе» тек. кол-во и исключить под-категорию из дальнейшего расчета).

Вместо цикла, а я напоминаю, что при 10К категорий, цикл бежит в среднем до 5К, чтобы проверить 1-ну категорию, стало одно условие, один жалкий if.

Результат, это кусок делался локально за 300 сек, сейчас тот же кусок делается 5 сек на тех же данных, с тем же результатом. Добавил чистку пустых категорий.

Короче, нужно навести в своем сарае не много порядка и наверное расширится еще на ~50 доменов в этом направлении. Тем более за последних 0.5 года, добавилось очень много оферов. Думаю по многим пока еще нет конкуренции и можно что-то отжать.

PS. Взять и переписать всю систему заново, чтобы все было хорошо, с учетом полученного опыта и прочее? А зачем, если она и так работает? Был бы супер доход -нужно было бы и можно было бы сделать…А так…

Так что плодимся дальше. А следующий сервис, все таки будет по товарке я думаю. Есть 2-3 идеи.

По(л)ныл и опять работать :-)

Кто-то выпускает мега-доргены, скруджи садят репку, кто-то продает/покупает сайты, я занимаюсь чем? Правильно, х…ней :-)

В начале начал загибаться 1-ин сервер от нагрузки, пришлось потратить 1.5-2 дня на оптимизацию и быстро патч витрин под слона. Как говорится, нужно было сразу делать для людей. Но по факту, узкие моменты вылезают когда сервер находится на приделе. Придел сформировал озверевший бот яндекса, который начал бешено кушать витрины + доры. Сервер начал падать. Причина была в коде витрин — не оптимизированные запросы в  ЧПУ, не оптимизирован подбор похожих терминов.

Поиск по строке в MYSQL фиксированного размера varchar(32), где лежит md5 строки, работает в разы быстрее чем поиск по строке varchar(255), где лежит эта строка. Подбор терминов был «ресурсоемким», пришлось кэшировать результат в БД, чтобы снизить нагрузку за последующих 5-10 дней до нормальной. Но это все лирика…

Потом вылетел 2-ой сервер, с 30 витринами под admitad. Закончилось место и посыпались все БД. Я контролировал этот процесс, но думал что у меня есть еще 7-10 дней и я спокойно смогу решить этот вопрос после развертывания +1 сервиса. Как обычно, не хватило не много времени. Сам дурак. Нужно лучше планировать время. Еще минус 2 дня прошлая проблема.

Ну а так, лето, в плане витрин — худший месяц. В плане доров — худший месяц. Все уезжают отдыхать, мало тратят на покупки.

Прошел вроде бы от автор24 какой-то заказ, плюс еще что-то по мелочи, но  это марафон доров не спасает. Цель выполнена на 20% — а это смех :-)

Для того чтобы закончить сервис, нужно полных 2-3 дня. Заканчиваю и запускаю.

Нужно что-то полезное написать в статье…

Хмм… Сравнил эффективность витрин под слона (на основе их выдачи API) и моих витрин под admitad (на основе их XML файлов), прикинул эффективность и т.д. и т.п. 2-ые побеждают на +30%.

На витринах, на текущих технологиях, ничего не светит. Да же если еще нарастить количество на +100-200-300-… штук, с небольшой оптимизацией, существовать за эти деньги не получится :-)

Анализировал я свое г…но, анализировал выдачу. У меня пока не все так плохо, но в среднем по больнице такие сайты собирают 5-7 уников на домен (чужие сетки по 50-100 доменов).

Анализ форумов, закрытых тусовок и т.д.  предполагает что сейчас income составляет на этом  где-то 0.1-0.5 р. с уника ( тенденция -50% за год).

Вложения на витрину: 150р на домен + 100-300р на хостинг (за год, смотря у кого какая технология), будут окупаться долго и могут не окупиться.

Считаем, 365*(5-7) = 1825-2555 уников с домена за год.  Теоретическое бабло: (1825-2555) * (0.1-0.5) = 180-255 до 900-1250 р с домена, на большой выборке.

То есть за год получается в лучшем случае можно получить 1000р с домена, в худшем потерять 270р с домена. Возьмем средний показатель, +375р с 1-ой витрины.

Делаете 100 штук, зарабатываете ~+$600 за год в лучшем случае (при стартовых инвестициях ~$500, $200-домены, $300 — хостинг на год).

Вроде да, +120% годовых, круто. Но сколько времени уйдет на эту 100-ку витрин? Ну пусть 7 дней. Тогда цена 1-го рабочего дня составит ~80-90 баксов ну или 10 баксов в час. Это в идеале.

Для того чтобы это жило долго — нужна хотя бы шаблонная «уникализация», какие-то тексты, картинки, иконки. То есть, если да же «схалтурить» на 1-2ой сотни, все равно потом придется что-то менять, а это время. А главное нет гарантий.

Не верю я в то, что это может сработать… А это сильно удручает :-)

 

 

Мысли в слух: Роскомнадзор, Биткоин, Цель жизни and etc…

Роскомнадзор

Многие в ридере минусуют жестко посты про:

С 1 июля 2017 Роскомнадзор начнет штрафовать за нарушения закона ФЗ 152. Штрафы могут достигнуть 300 000 рублей. Расскажем как избежать опасности, и как Perezvoni исправило проблему.

а зря….

Пару дней потратил на то, чтобы убрать признаки того, что мои сайты могут собирать персональные данные (куки не ставлю, e-mail и прочее не собираю, регистрации нет). Осталось решить судьбу блога да и пары доров, чтобы забыть об этой проблеме/вопросе, до того момента, пока он не проясниться.

Если бы мне в начале года не пришла абуза на один сайт от Роскомнадзор-а (отделался блокировкой сервера на 4-5ч и потерей сайта — пох… давно хотел от него избавится, карму портит), я бы проигнорировал эту новость. Если бы я жил за границей, я бы то же проигнорировал бы эту новость… Если бы домены были только под доры, оформленными на дядю Федю — проигнорировал бы… Но не все из этого — так.

Так что пришлось сделать «масс» update всех витрин, да бы конкуренты не могли натравить наш любимый Роскомнадзор на них и выбить те остатки былой роскоши что осталось или загнать в минус.

Остался блог…  ХЗ как тут поступить… Вырубить комменты… Поставить плагины какие-то (чтобы можно было комментировать без e-mail/Имя) ? )

Как это будет использоваться?

Ну во возьмем ридеры… Все популярные кроме bablo.click (и то не факт) — нарушают… Можно смело давать «штрафа» и закрывать/блочить :-)

Ваш сайт находится на сервере не в РФ, там есть регистрация, комментарии — штраф/блокировка. Ни сразу, а например по стуку или по жалобе.

Возьмем скруджа с его империей досок для «прости-господи». Как он выкрутиться интересно? ) Это же нужно как-то оформить… А то любой конкурент навешает штрафов на каждую доску столько, что платить придется очень долго… А регистрацию отключить нельзя…. Видимо для этого ему и нужна серая фирма. Вангую, что будет замес тут не хилый!

Все сайты с формой обратной связи, с комментариями (где есть e-mail, имя и т.д.), все сайты которые ставят куку и ее потом используют — попадают под закон…

Теоретически, возьмем ситуацию, что Вы решили подарить другу какую-нибудь прикольную игрушку, купленную в секс шопе. Так, по приколу, без задней или передней мысли. Значит зашли Вы на секс шоп, пощелкали там, ничего не выбрали, забили на эту идею, пошли в ларек под домом, взяли коньяка и пошли поздравлять. Потом, завтра, полезли на свой любимый сайт/форум, а там в блоках аденсе/директа крутятся одни вибраторы и резиновые бабы. В явном виде нарушение Ваши прав. Секс шоп слил Ваш IP/куку яндекс директу или аденсу, те в свою очередь начали показывать Вам на других сайтах любимую рекламу (не думаю что Вы давали разрешение на обработку Ваших предпочтений). Кого и как накажут, если Вы накатаете жалобу, что у Вас на всех сайтах вибраторы хотят Вам продать? Не думаю что на всех сайтах, где крутиться аденс/директ, стоит сообщение о принятии кук и согласие на обработку персональных данных (IP, браузер, местоположение и прочее).

Теоретически, Вы зарегистрированы на форуме каком-то. Регистрировались давно, и Вам по старой регистрации на почту идет рассылка. На форуме том, Вы уже давно не были. Значит, если в момент регистрации Вы не нажимали галочку (об согласии на обработку персональны данных), любая рассылка для Вас — не законна. Форум хранит Ваши данные не в РФ — нарушение. И т.д. и т.п. Пишите жалобу, форум — останавливает рассылку пока Вы не нажмете флажок, форум получает штрафа, возможно форум блочится.

Повесил на сайт форму от ледии, право, каких-нибудь рефератов, регистрация билетов, регистрация на семинар 9seo и т.д., и при этом не добавил галочку о принятии + где-то там (Роскомнадзор) не зарегался + не повесил правила обработки персональных данных + не повесил соглашение на обработку кук + сервер не в РФ — и получил бан, штраф, административку.

И любой такой сайт улетит в бан по первой жалобе любого кретина. На сколько шустро будут работать ребята — ХЗ. У меня опыт был, от принятие решения, суда какого-нибудь Хабаровского района, до письма хостеру проходит ~7 дней. И привет, ромашки :-)

Себя я на 90% обезопасил, беру попкорн, буду смотреть драму. Надеюсь люди поделятся в ридере историями! ;-)

Биткоин

Биткоин по сути —  полная лажа. Сразу на ум приходят Камни Раи.

Ценность биткоина заключается в том, что он условно анонимен. Ну и наверное все. Да он начинает признаваться в ряде стран мира, ну и типа расширяется не спеша. Но это пузырь, как и Камни Раи (ну для туземцев это реальная валюта, а для нас — нет).

И вы реально думаете что его сделают мировой валютой, например США, не имея контроля над ним? Не смешите меня.

Ценность в виде — сложности вычислений, цифровой, и прочее — бред.

Бессмысленные вычисления, бессмысленные формулы, которые не несут ни какой реальной ценности.

Ну да, есть вакуум на рынке платежей, который занял биткоин. Как только его кто-то не много подвинет — про него забудут. Основная проблема почему это не происходит — законодательная (а не техническая, или организационная). Как только она начнет решаться, биткоин и все последователи — испарятся.

PS. Ну а так, рассуждая логически, единственный кому выгодна криптовалюта сейчас, — производители видео карточек. Только они рубят настоящее бабло на этом! Создают на постоянно падающем рынке электроники, не оправдано высокий спрос на свою продукцию.

Цель жизни

Прочел на днях книжку Майкла Ньютона «Путешествие души».

Наткнулся на него в одном ролике, про «реальные» реинкарнации людей (там было упоминание исследователей, которые изучали данный феномен). Прочитал быстро, за дня 3, сижу сейчас перевариваю.

Мужик занимался регрессивным гипнозом, отправлял Ваш мозг в момент Вашей предыдущей смерти, исследуя что и как происходило — если по простому.

Много с чем не согласен, ряд идей вероятно всего взяты им с разных источников (будизм, веды, исследования пограничных состояний и прочее). С одной стороны,  много с чем согласен и готов поверить этому дядьке, с другой стороны, что-то останавливает и не много отталкивает. Что-то пока в голове не сходится.

Разделяю концепцию, что если и существует душа она в явном виде паразитирует над телом, но при этом попадает в ловушку его желаний и таким образом — деградирует.

Разделяю концепцию того, что основа души (если она есть), представляет из себя белый шарик, наделенный неограниченным любопытством.

Разделяю концепцию, если и есть жизнь после смерти, то связаться с живыми можно ограниченным способом, через животных или маленьких детей.

Разделяю концепцию предопределенности судьбы (есть ключевые точки, события, которые происходят на 100%). То есть сам факт того, что что-то случится через какое-то время, причем рассчитать это не возможно заранее (речь идет не об очевидном, бросили стакан, он разбился).

Я  много чего разделяю, основываясь на личных переживаниях и опыте, но есть вещи, на которые согласится очень сложно и они меня смущают,  да же наверное пугают.

В любом случае, это не отменяет тот факт, что скорее всего мы живем в подобии «матрицы». Да же эта книжка частично это подтверждает. Это было бы логично. Илон Маск прав? )

А ну так цель жизни…

Если в это поверить — то душевный рост, личностное совершенствование… И никаких левых тем :-)

Если нет — максимум благ, максимум удобства, максимум потомства, жить сегодня, брать все, плевать на всех. И да, привет Скрудж с его темой про стариков! :-)

PS… Может блог/социалку создать про это все?  Будем спасать души? Подписался на блог, +10 кармы, а если еще и бабла блогу отправил — так вообще сразу билет в «рай» на первый ряд (по факту смерти конечно) Золотая и вечная тема! ;-)