Ух :-) Добавили беков по сравнению с пятницой в 5 раз. В ближайшее время как и обещал будет еще в 20 раз увеличен объемчик. Пустили живой трафик на свой движок с тулбаров со всего мира :) Процесс пошел, скоро покажем какие страны/города и что у нас ищут в реалтайме всем желающим :) Очень интересно повтыкать :)
Как я и думал летом. В итоге произойдет то, что произошло с кучей поисковых машин в америке и европе и порталов. Доля Рамблера на рынке поиска будет еще сильнее падать и в итоге опустится ниже 2%. Уйдут те, кто пользуется рамблером как поисковиком (это самые прибыльные юзера, как вы понимаете). Жалко Рамблер конечно :(
offtopic. Игорь, не могли бы вернуть мой поисковичок (Янга) в ваш анализатор. Очень хочется порубиться с монстрами. Писал Вашей сотруднице по ПР, но она мне не смогла помочь :( Одна надежда на Вас :) По теме могу сказать что спечекер хороший очень сложный продукт сам по себе. Я на базе купленных в ОРФО словорей собрал морфологию и спечекер, который умеет делать расклейку слов для поиска. У меня получается что довольно не просто выставить коэфф на пороги IDF/часты запроса/кол-ва результатов, чтобы исключить ложные срабатывания. Подумываю написать автоматический настройщик и после каждого большого апдейта его прогонять. Но мне похоже сильно проще, тк данных для принятия решений больше, чем в обычном текстовом редакторе.
Ситуация на самом деле не очень простая. Попробую объяснить с начала, если кому-то интересен ход мыслей. Три года назад (25 августа было ровно три года с момента регистрации вебальты), я решил что мне всего двадцать три года и надо попробовать сделать что-то крутое в своей жизни. На тот момент у меня было несколько проектов, которые давали достаточно стабильное бабло и было огромное желание трудиться. Поисковик в тот момент мне казалось наиболее сложной темой в интернете. Решение было принято быстро, я был готов потратить на это свое время, деньги и силы, даже если ничего бы не получилось. Хуже было бы если я просто прожигал свою жизнь, а в 40 лет понял бы что свой шанс я упустил. Это была главная движущая сила. В тот момент у меня не было ни программистов, ни опыта, мало того, не было даже представления о том как устроен поисковик и с чего начинать :-) Примерно полгода ушло на поиск разработчиков, заказ книжек с амазона и их штудирование, покупку первых серверов и тд. В марте 2006 года мы смогли дать первый ответ на первый запрос. Примерно тогда же было закуплено 16 серверов и пачка рейд массивов для того чтобы попробовать выйти на объем. Все лето процесс сильно буксовал, тк компания Тринити Солюшенс — поставщик серверов продала глючное железо и менять его отказалась. Можете представить, когда у вас кластер из десятка серверов и куча инфы живет в памяти и работает как единое целое один сервер виснет… Ну в общем кончилось все тем что на этом гавне ничего не получилось, в софт были добавлены записи чекпоинтов и были закуплены новые сервера. В октябре 2006 был построен первый индекс в ~ миллиард страниц. В тот момент очень многие вещи о том как делать поиск релевантным были не понятны, было не понятно многое по реализации, по производительности и тд. Весь следующий год прошел в стиле uni labs :-) Было переписано 80% всего движка, переработаны полностью почти все алгоритмы и пришло понимание того как и что надо делать. К лету 2007 года стало понятно, что поисковик никогда не будет расти на ТВ рекламе, на радио рекламе, а так же на любой другой рекламе вне интернета. В сентябре 2007 года по счастливой случайности, у тех проектов на деньги которых, все время кормилась разработка, большой офис, а так же еще куча административного персонала начались проблемы. Любой кризис — это хорошая проверка на прочность. В первую очередь это проверка людей которые вас окружают. У нас прошли проверку далеко не все. В этот сложный момент от меня ушел мой партнер, что в некотором роде вынудило меня отказаться от бренда «Вебальта». К этому моменту мы написали собственную распределенную файловую систему, а так же кроссоверную систему пересекания списоков между серверами, бекварды (сорри что не успели в тот момент это нормально анонсировать — было не до этого) и много много другого. Фактически это означало отказ от рейдов и переход на самые дешевые 1U сервера, увеличение производительности в десятки раз ну и тд. И старая архитектура под это не подходила. Нужны были деньги на новый тестовый кластер, но их нехватало реально даже на зарплаты и закрытие долгов по офису и тд. Тут хочется сказать ОГРОМНОЕ спасибо Герману Клименко (Liveinternet.ru) — который в общем-то толком меня не зная, просто взял и купил мне 30 серваков, со словами что будут деньги — отдашь. К этому моменту все схемы по раскрутке поисковика были уже успешно протестированы и на некоторых тестах мы за несколько недель дошли до 500тыс поисков в день. Это то, что люди приходили и искали у нас сами, тоесть не баннеры, не ссылки с каких-то сайтов. Тестировали на гугл кастумер сеарч программе. Весь мир, все страны. Все было понятно что нужно сделать и зачем. В общем-то в самый тяжелый момент ко мне пришла DST, долго встречалась, долго думали. Пока они думали мы успешно развернули новые проекты и справились без них. Они предпочли вложить деньги в Нигму, идея стартовать с тулбарного поискового трафика и уже дальше разбираться куда плыть им видимо не очень понравилась. Насколько мне известно деньги Нигма потратила, но по сути ничего не поменялось вообще. (мета вроде туда же). К весне мы вырулили, закупили сотни новых серверов, чтобы запускать поиск по всему миру и начали качать весь мир. На новом объеме полезли новые баги и недоработки. Прикрутили быстрый индекс, начали писать ссылки в индекс с резидентом страны и тд. В итоге летом запустили уже на свой движок первый трафик. Цифры сначала совсем не большие — порядка 50-70тыс поисков/день. Переделали и кое что еще переделываем в движке контекстной рекламы, взяли первых адвертов, запустили новый форум, зарегали новое юр лицо и сейчас ждем активации мерчанта для приема карточек. Рому из Артфона я знаю уже лет 5 минимум. У него действительно большие возможности по ру-трафику сейчас. Мы неплохо друг друга понимаем и будем двигаться в разных направлениях под разными брендами. Сумму сделки, а так же ее условия я не могу вам сообщить, сорри :) Очень-очень скоро большой старт по трафику. Реально последние штришки и донастройки. Итог для тех кто осилил: 1. Работы по движку не останавливались ни один день, а так же тестирование и обкатка. 2. Перепродавать Вебальту без минимальных хотя бы пары лямов поисков в сутки, а так же цену меньше 100 лимонов никто не будет :-) Поживем увидим, но я в них верю. 3. Конечно если бы не приходилось бы разрываться между тем, что нужно зарабатывать деньги и параллельно строить этот бизнес — было бы все сильно быстрее и проще, но не факт что лучше. Но в общем так оно сложилось, что мы сейчас мы, пожалуй, единственная команда в мире, кто без всяческих инвесторов/ангелов/поддержки правительства и тд тянет такой проект. Как только мы выйдем на самоокупаемость (пока нехватает), то сможем выдохнуть :))) И главное — хочется сказать ОГРОМНОЕ спасибо тем, кто работает над этим проектом со мной. Я это очень-очень ценю. Вот такая вот сказка на ночь :) Надеюсь вопросов больше не будет.
Я тебе не тыкаю. Я тебе предлагаю нормально решить вопрос. Тебя напрягает мой бот — напиши, я сразу же его отключу для твоего сайта. А так хвалится, что мол я вас забанил хтакссом мягко говоря не профессионально, тк нагрузка все равно будет идти на твой сайт, боты все равно будут пытаться проиндексировать его и если у тебя там миллион сабдоменов, то это вообще бесмысленное занятие.
khibinite, позвольте поинтересоваться, с каких это ИП к вам сделали 1,5млн запросов за несколько часов да еще и забили на robots.txt? Насколько мне известно, бот вебальты выключен сейчас, тоесть получить от него запрос вы не можете. Кроме того, сейчас в базе кластера о котором потенциально может идти речь — более 33млн доменов на индексацию, рунет из них составляет менее 3%. Текущие мощность не позволяют индексировать примерно на уровне в 500млн страниц/сутки. Ну и лимиты там есть. Правда буквально на прошлой неделе могла быть сиутация, что если домен популярный (на нем прилично трафика, дмозы/етс) и навешенно дофига сабдоменов (например блог хостинг ЖЖ и тд), то действительно могли довольно активно выкачивать морды этих сабдоменов, тк лимиты на индексацию таких сайтов были повышены. Но опять же повторюсь, что ваш сайт это такая капля в море, что даже в таком состоянии врядли вы получили 1,5 млн запросов за несколько часов.
>Так вам надо антиDDOS хостинг предлагать. Крупные сайты без своих ДЦ сразу соберете У нас нет вообще проблем с клиентами, мало того крупные сайты (типа мейла, вконтакте, депозитфайлс, укоз и тд) частично размещены у нас. антиДДОСом пусть занимаются хостеры. Это их прямая задача. Я просто привел пример, что в текущих реалиях ДДОСят реально очень часто и даже малозначительные сайты, однако минимальные деньги решают их проблемы и ваше я написал только потому, что считаю, что КП просто таким способом привлекает к себе внимание. errmark, ты можешь мне верить, можешь не верить — все это личный опыт. Времени спорить нет :)
eermakk, за каждое слово готов ответить :) Мои проекты отлично жили и под 3гигабитами ДДОСа, правда ГолденТелеком очень сильно ахреневал от такого. Сейчас мы даже оказываем услуги и защищаем клиентов своего датацентра от ДДОСов. Стоит это $100-$150 в сутки если не очень много трафика. Реально каждую неделю кого-то ддосят, это нормальная рабочая обстановка. По поводу мощности сервера — мощность погоды не играет никакой, вполне достаточно 4гига чтобы с запасом влезали все ИП в память и если запросов очень много, то апдейтится сетевуха на хороший Интел (~$200), после чего сервер легко работает с 10-25тыс коннектами. Вторым концом пихаете его в ваш сервер и любой средний ДДОС (до 1гигабита вам не страшен). OC — FreeBSD.
Честно говоря меня реально убивают вопли крупных сайтов/проектов/издательств когда они вместо того, чтобы потратить один раз штуку баксов и купить самый простой сервер для FW + заплатить немного тем, кто его вам правильно отстроит и забыть навсегда про любые DDOSы, начинают искать «IP адреса DDOSеров» :) По сути вопроса — обычно если ддосят «правильным» флудингом (читай неправильными пакетами с кривыми заголовками), то обычный веб-сервер просто не в состоянии понять какие реальные IP адреса шлют пакеты и сделать с этим ничего не может. В итоге даже 200-300 зомби машин может завалить вам любой по мощности сервер. Возможно они не умеют просто правильно настраивать FW и ищут IP адреса DDOSеров именно этих самых машин с которых идет флуд. Иначе я просто не понимаю что они имею ввиду :) IP адреса ботов с FW видно сразу же, IP адрес управляющего сервера — его может в принципе не быть (бывают P2P ботнеты), IP адрес заказчика? Ж) В общем «непонятно…» :) (Камеди Клаб) PS. А вообще мне например постоянно DDOSят разные проекты, если сайт не ложится, то атаку довольно быстро снимают. Если все настроено верно — то атаку замечаешь только в мртг спустя некоторое время. В общем страшного ничего нет с этим довольно легко можно бороться, если конечно позволяют каналы.
Сейчас в Москве сразу несколько крупных европейских хостинговых центров ведут переговоры о постройке Датацентров мощностью по 10-20 мегаватт, тоесть порядки 1500-3000 стоек. Так что в обозримом будущем весь этот бизнес размещения серверов уже не будет таким кустарным как это происходит сейчас, когда переделывают старые помещения не предназначенные для этих целей со всеми вытекающими последствиями. Так что нужно просто немного подождать :-)
Ты заставил меня потестить еще раз свой поиск и найти там ошибку :) Пасиб конечно :) Но максимум что я встретил — это упоминание тут от Игоря Ашманова про фонд нигма, где он сам говорит что не уверен. Я слышал из достоверных источников совсем другую инфу, ну сути моего сообщения это не меняет.
Возможно они рассчитывают на учесть Вити Лавренко, который умудрился за миллионы продать скрипт написанный на коленке и несколько десятков тысяч юзеров аудитории фонду DST :-) Ну только теперь не DST, а Рамблер и денег наверное поменьше дадут :-) Прошу прощения за сарказм конечно, но объективно тут шансов нет никаких.
Я с ним не знаком, но слышал истории что у него довольно крутой папа в МГУ на журналистке факультете. Чуть ли не самый главный. А так вот кому интересно: Профессиональная карьера: 1989—1991 Репортер, парламентский корреспондент и редактор информационного агентства «Студинформо». 1991—1993 Репортер и обозреватель в «Независимой Газете». 1994—1995 Редактор отдела экономики в «Независимой Газете». 1995 Руководитель предвыборной кампании Губернатора Нижегородской области Бориса Немцова. 1996—1997 Координатор по развитию «Общей газеты». 1997—1998 Советник первого Вице-премьера России Бориса Немцова. 1999 Руководитель пресс-службы фестиваля искусств «Неофициальная Москва». 1999 Менеджер проектов в рамках предвыборной кампании Союза Правых Сил. 1998—2000 Младший научный сотрудник факультета Журналистики МГУ. 1998—2000 Журналист free-lance, публикуется в печатных изданиях и электронных СМИ, выходит первая книга. 2000 (сентябрь-декабрь) Со-директор Российско-Американского центра Университета штата Нью-Йорк. Лекционный тур по Восточному побережью США (MIT, Harvard, Columbia, GWU, World Bank, SUNY). 2001 Лаборатория Медиакультуры и Коммуникации Лаборатории факультета Журналистики МГУ, директор 2001 Заместитель Генерального директора Интернет Холдинга Rambler 2003 Президент Фонда исследований и социальных инициатив Rambler 2004 Генеральный продюсер конкурса «Мисс Вселенная, Россия»
Могу Вас заверить, что научить поисковый движок понимать русские домены и правильно их отображать — дело 1ого дня. Просто это никому не нужно, потому что я например не знаю ни одного приличного сайта, который бы хотелось проиндексировать на таком домене.
Как по мне, так Миха Кузьмин полный неадекват из общений на форуме с ним :-) А по сути вопроса — обращайтесь в wahome.ru к Леше Тарасову, он вам любой DDOS отобъет за гораздо меньшие деньги чем 250К рублей.
Нет, очень удобно отлаживаться по нему. Кроме того я просил сделать такие же штуки для других стран и языков (очень хотелось бы). Ты меня не правильно понял, я имел ввиду что сидим мы тихо, никого не трогаем, в новости не рвемся :)
Ашманов парсит бекенд (адрес отличный от Yanga.*) где стоит кластер. Тк кластер один у Янги физически один и на нем постоянно ведутся работы, то иногда он отключается (перезагружается движок или падает — все случается), в такие моменты по фронтенд (где крутится Yanga.*) автоматом подключает следующий кластер, но тк второго у нас пока нет. А так мы имеем соглашение с Яху, о трансляции их выдачи в такие моменты. Со временем появится второй-третий кластер в разных ДЦ и тогда таких проблем не будет. PS. Вообще очень хотелось бы чтобы нас оставили в покое. Работать в РФ мы собираемся вообще в ближайшее время.
Дискуссии пользователя
150 плюс, 150 минус… Вы думаете их реально кто-то считает? :-)))) Думаю в гугле индекс скачет миллиардом минимум :)
Это было понятно с самого начала.
Ух :-) Добавили беков по сравнению с пятницой в 5 раз. В ближайшее время как и обещал будет еще в 20 раз увеличен объемчик. Пустили живой трафик на свой движок с тулбаров со всего мира :) Процесс пошел, скоро покажем какие страны/города и что у нас ищут в реалтайме всем желающим :) Очень интересно повтыкать :)
Количество беков будет увеличено в ближайшую неделю в 100 раз.
DST молодцы :)
Все верно, так многие и делают крупняки. Но только на территории РФ сейчас это зачем — я так и не понял.
Ром, ну ка расскажи что за сервера более 100К? и как эту проблему решит CDN? :)
Мне не понравилось
Да файлстораджи вообще тут особо не причем. CDN дает экономию на трафике.
А зачем это нужно в РФ?
Вам думаю больше никто ничего не расскажет Ж)))
Напишите на форуме, я вам отвечу в деталях. Правда сил следить за кучей топиков в разных местах нет.
Тормоза к концу недели исправим все, сейчас просто опять приходится отвлекаться на заработки :)
Немного проспамлюсь :) Вот сюда приглашаю потрещать http://www.fishker.com/forumdisplay.php?f=13 всем кому интересно по деталям проекта Gigabase (Yanga) Там реально вся инфа есть и я вам с удовольствием отвечу. Ну а вообще мы выкачиваем более 30млн доменов второго уровня. http://www.yanga.net.ru/search?q=site.jp http://www.yanga.net.ru/search?q=site.cn http://www.yanga.net.ru/search?q=site.de http://www.yanga.net.ru/search?q=site.ca http://www.yanga.net.ru/search?q=site.ua http://www.yanga.net.ru/search?q=site.nz http://www.yanga.net.ru/search?q=site.nl http://www.yanga.net.ru/search?q=site.ru http://www.yanga.net.ru/search?q=site.it http://www.yanga.net.ru/search?q=site.pl ну и тд
ну ты почитай внимательно что я написал и к чему это было.
Это поиск по всему миру?
А кто еще делает подобное за собственные деньги?
Как я и думал летом. В итоге произойдет то, что произошло с кучей поисковых машин в америке и европе и порталов. Доля Рамблера на рынке поиска будет еще сильнее падать и в итоге опустится ниже 2%. Уйдут те, кто пользуется рамблером как поисковиком (это самые прибыльные юзера, как вы понимаете). Жалко Рамблер конечно :(
Аська есть в профиле на РОЕМе.
Конечно я имел ввиду поиск в Интернете.
offtopic. Игорь, не могли бы вернуть мой поисковичок (Янга) в ваш анализатор. Очень хочется порубиться с монстрами. Писал Вашей сотруднице по ПР, но она мне не смогла помочь :( Одна надежда на Вас :) По теме могу сказать что спечекер хороший очень сложный продукт сам по себе. Я на базе купленных в ОРФО словорей собрал морфологию и спечекер, который умеет делать расклейку слов для поиска. У меня получается что довольно не просто выставить коэфф на пороги IDF/часты запроса/кол-ва результатов, чтобы исключить ложные срабатывания. Подумываю написать автоматический настройщик и после каждого большого апдейта его прогонять. Но мне похоже сильно проще, тк данных для принятия решений больше, чем в обычном текстовом редакторе.
Ситуация на самом деле не очень простая. Попробую объяснить с начала, если кому-то интересен ход мыслей. Три года назад (25 августа было ровно три года с момента регистрации вебальты), я решил что мне всего двадцать три года и надо попробовать сделать что-то крутое в своей жизни. На тот момент у меня было несколько проектов, которые давали достаточно стабильное бабло и было огромное желание трудиться. Поисковик в тот момент мне казалось наиболее сложной темой в интернете. Решение было принято быстро, я был готов потратить на это свое время, деньги и силы, даже если ничего бы не получилось. Хуже было бы если я просто прожигал свою жизнь, а в 40 лет понял бы что свой шанс я упустил. Это была главная движущая сила. В тот момент у меня не было ни программистов, ни опыта, мало того, не было даже представления о том как устроен поисковик и с чего начинать :-) Примерно полгода ушло на поиск разработчиков, заказ книжек с амазона и их штудирование, покупку первых серверов и тд. В марте 2006 года мы смогли дать первый ответ на первый запрос. Примерно тогда же было закуплено 16 серверов и пачка рейд массивов для того чтобы попробовать выйти на объем. Все лето процесс сильно буксовал, тк компания Тринити Солюшенс — поставщик серверов продала глючное железо и менять его отказалась. Можете представить, когда у вас кластер из десятка серверов и куча инфы живет в памяти и работает как единое целое один сервер виснет… Ну в общем кончилось все тем что на этом гавне ничего не получилось, в софт были добавлены записи чекпоинтов и были закуплены новые сервера. В октябре 2006 был построен первый индекс в ~ миллиард страниц. В тот момент очень многие вещи о том как делать поиск релевантным были не понятны, было не понятно многое по реализации, по производительности и тд. Весь следующий год прошел в стиле uni labs :-) Было переписано 80% всего движка, переработаны полностью почти все алгоритмы и пришло понимание того как и что надо делать. К лету 2007 года стало понятно, что поисковик никогда не будет расти на ТВ рекламе, на радио рекламе, а так же на любой другой рекламе вне интернета. В сентябре 2007 года по счастливой случайности, у тех проектов на деньги которых, все время кормилась разработка, большой офис, а так же еще куча административного персонала начались проблемы. Любой кризис — это хорошая проверка на прочность. В первую очередь это проверка людей которые вас окружают. У нас прошли проверку далеко не все. В этот сложный момент от меня ушел мой партнер, что в некотором роде вынудило меня отказаться от бренда «Вебальта». К этому моменту мы написали собственную распределенную файловую систему, а так же кроссоверную систему пересекания списоков между серверами, бекварды (сорри что не успели в тот момент это нормально анонсировать — было не до этого) и много много другого. Фактически это означало отказ от рейдов и переход на самые дешевые 1U сервера, увеличение производительности в десятки раз ну и тд. И старая архитектура под это не подходила. Нужны были деньги на новый тестовый кластер, но их нехватало реально даже на зарплаты и закрытие долгов по офису и тд. Тут хочется сказать ОГРОМНОЕ спасибо Герману Клименко (Liveinternet.ru) — который в общем-то толком меня не зная, просто взял и купил мне 30 серваков, со словами что будут деньги — отдашь. К этому моменту все схемы по раскрутке поисковика были уже успешно протестированы и на некоторых тестах мы за несколько недель дошли до 500тыс поисков в день. Это то, что люди приходили и искали у нас сами, тоесть не баннеры, не ссылки с каких-то сайтов. Тестировали на гугл кастумер сеарч программе. Весь мир, все страны. Все было понятно что нужно сделать и зачем. В общем-то в самый тяжелый момент ко мне пришла DST, долго встречалась, долго думали. Пока они думали мы успешно развернули новые проекты и справились без них. Они предпочли вложить деньги в Нигму, идея стартовать с тулбарного поискового трафика и уже дальше разбираться куда плыть им видимо не очень понравилась. Насколько мне известно деньги Нигма потратила, но по сути ничего не поменялось вообще. (мета вроде туда же). К весне мы вырулили, закупили сотни новых серверов, чтобы запускать поиск по всему миру и начали качать весь мир. На новом объеме полезли новые баги и недоработки. Прикрутили быстрый индекс, начали писать ссылки в индекс с резидентом страны и тд. В итоге летом запустили уже на свой движок первый трафик. Цифры сначала совсем не большие — порядка 50-70тыс поисков/день. Переделали и кое что еще переделываем в движке контекстной рекламы, взяли первых адвертов, запустили новый форум, зарегали новое юр лицо и сейчас ждем активации мерчанта для приема карточек. Рому из Артфона я знаю уже лет 5 минимум. У него действительно большие возможности по ру-трафику сейчас. Мы неплохо друг друга понимаем и будем двигаться в разных направлениях под разными брендами. Сумму сделки, а так же ее условия я не могу вам сообщить, сорри :) Очень-очень скоро большой старт по трафику. Реально последние штришки и донастройки. Итог для тех кто осилил: 1. Работы по движку не останавливались ни один день, а так же тестирование и обкатка. 2. Перепродавать Вебальту без минимальных хотя бы пары лямов поисков в сутки, а так же цену меньше 100 лимонов никто не будет :-) Поживем увидим, но я в них верю. 3. Конечно если бы не приходилось бы разрываться между тем, что нужно зарабатывать деньги и параллельно строить этот бизнес — было бы все сильно быстрее и проще, но не факт что лучше. Но в общем так оно сложилось, что мы сейчас мы, пожалуй, единственная команда в мире, кто без всяческих инвесторов/ангелов/поддержки правительства и тд тянет такой проект. Как только мы выйдем на самоокупаемость (пока нехватает), то сможем выдохнуть :))) И главное — хочется сказать ОГРОМНОЕ спасибо тем, кто работает над этим проектом со мной. Я это очень-очень ценю. Вот такая вот сказка на ночь :) Надеюсь вопросов больше не будет.
Все под Linux работает конечно :)
Я тебе не тыкаю. Я тебе предлагаю нормально решить вопрос. Тебя напрягает мой бот — напиши, я сразу же его отключу для твоего сайта. А так хвалится, что мол я вас забанил хтакссом мягко говоря не профессионально, тк нагрузка все равно будет идти на твой сайт, боты все равно будут пытаться проиндексировать его и если у тебя там миллион сабдоменов, то это вообще бесмысленное занятие.
khibinite напиши свой адрес (можно в личку), я его забаню чтобы тоже время на твой сайт не терять при индексации
Субдоменов наверное много )
khibinite, позвольте поинтересоваться, с каких это ИП к вам сделали 1,5млн запросов за несколько часов да еще и забили на robots.txt? Насколько мне известно, бот вебальты выключен сейчас, тоесть получить от него запрос вы не можете. Кроме того, сейчас в базе кластера о котором потенциально может идти речь — более 33млн доменов на индексацию, рунет из них составляет менее 3%. Текущие мощность не позволяют индексировать примерно на уровне в 500млн страниц/сутки. Ну и лимиты там есть. Правда буквально на прошлой неделе могла быть сиутация, что если домен популярный (на нем прилично трафика, дмозы/етс) и навешенно дофига сабдоменов (например блог хостинг ЖЖ и тд), то действительно могли довольно активно выкачивать морды этих сабдоменов, тк лимиты на индексацию таких сайтов были повышены. Но опять же повторюсь, что ваш сайт это такая капля в море, что даже в таком состоянии врядли вы получили 1,5 млн запросов за несколько часов.
> Именно поэтому я говорю, что поисковик — история эксплуатации, а не технологии. Золотые слова :)
>Так вам надо антиDDOS хостинг предлагать. Крупные сайты без своих ДЦ сразу соберете У нас нет вообще проблем с клиентами, мало того крупные сайты (типа мейла, вконтакте, депозитфайлс, укоз и тд) частично размещены у нас. антиДДОСом пусть занимаются хостеры. Это их прямая задача. Я просто привел пример, что в текущих реалиях ДДОСят реально очень часто и даже малозначительные сайты, однако минимальные деньги решают их проблемы и ваше я написал только потому, что считаю, что КП просто таким способом привлекает к себе внимание. errmark, ты можешь мне верить, можешь не верить — все это личный опыт. Времени спорить нет :)
Короче руки нужны правильные иначе никакая железка тебя не спасет :)
eermakk, за каждое слово готов ответить :) Мои проекты отлично жили и под 3гигабитами ДДОСа, правда ГолденТелеком очень сильно ахреневал от такого. Сейчас мы даже оказываем услуги и защищаем клиентов своего датацентра от ДДОСов. Стоит это $100-$150 в сутки если не очень много трафика. Реально каждую неделю кого-то ддосят, это нормальная рабочая обстановка. По поводу мощности сервера — мощность погоды не играет никакой, вполне достаточно 4гига чтобы с запасом влезали все ИП в память и если запросов очень много, то апдейтится сетевуха на хороший Интел (~$200), после чего сервер легко работает с 10-25тыс коннектами. Вторым концом пихаете его в ваш сервер и любой средний ДДОС (до 1гигабита вам не страшен). OC — FreeBSD.
Кстати сайт у меня открывается без проблем их.
Честно говоря меня реально убивают вопли крупных сайтов/проектов/издательств когда они вместо того, чтобы потратить один раз штуку баксов и купить самый простой сервер для FW + заплатить немного тем, кто его вам правильно отстроит и забыть навсегда про любые DDOSы, начинают искать «IP адреса DDOSеров» :) По сути вопроса — обычно если ддосят «правильным» флудингом (читай неправильными пакетами с кривыми заголовками), то обычный веб-сервер просто не в состоянии понять какие реальные IP адреса шлют пакеты и сделать с этим ничего не может. В итоге даже 200-300 зомби машин может завалить вам любой по мощности сервер. Возможно они не умеют просто правильно настраивать FW и ищут IP адреса DDOSеров именно этих самых машин с которых идет флуд. Иначе я просто не понимаю что они имею ввиду :) IP адреса ботов с FW видно сразу же, IP адрес управляющего сервера — его может в принципе не быть (бывают P2P ботнеты), IP адрес заказчика? Ж) В общем «непонятно…» :) (Камеди Клаб) PS. А вообще мне например постоянно DDOSят разные проекты, если сайт не ложится, то атаку довольно быстро снимают. Если все настроено верно — то атаку замечаешь только в мртг спустя некоторое время. В общем страшного ничего нет с этим довольно легко можно бороться, если конечно позволяют каналы.
Leaseweb? :)
Я там работаю как Эрик Шмидт в корпорации Apple, т.е. вхожу в правление. Мания величия это просто ерунда. Тфу на тебя Антон :)
Активность повышается, народ работать начинает :)
А мне нравится внизу контекст. Правда я не уверен насколько он будет качественный и осознанный такой клик.
Я честно говоря не знаю что у Мастерхвоста :) Знаю про других.
Сейчас в Москве сразу несколько крупных европейских хостинговых центров ведут переговоры о постройке Датацентров мощностью по 10-20 мегаватт, тоесть порядки 1500-3000 стоек. Так что в обозримом будущем весь этот бизнес размещения серверов уже не будет таким кустарным как это происходит сейчас, когда переделывают старые помещения не предназначенные для этих целей со всеми вытекающими последствиями. Так что нужно просто немного подождать :-)
Ты заставил меня потестить еще раз свой поиск и найти там ошибку :) Пасиб конечно :) Но максимум что я встретил — это упоминание тут от Игоря Ашманова про фонд нигма, где он сам говорит что не уверен. Я слышал из достоверных источников совсем другую инфу, ну сути моего сообщения это не меняет.
Возможно они рассчитывают на учесть Вити Лавренко, который умудрился за миллионы продать скрипт написанный на коленке и несколько десятков тысяч юзеров аудитории фонду DST :-) Ну только теперь не DST, а Рамблер и денег наверное поменьше дадут :-) Прошу прощения за сарказм конечно, но объективно тут шансов нет никаких.
Я с ним не знаком, но слышал истории что у него довольно крутой папа в МГУ на журналистке факультете. Чуть ли не самый главный. А так вот кому интересно: Профессиональная карьера: 1989—1991 Репортер, парламентский корреспондент и редактор информационного агентства «Студинформо». 1991—1993 Репортер и обозреватель в «Независимой Газете». 1994—1995 Редактор отдела экономики в «Независимой Газете». 1995 Руководитель предвыборной кампании Губернатора Нижегородской области Бориса Немцова. 1996—1997 Координатор по развитию «Общей газеты». 1997—1998 Советник первого Вице-премьера России Бориса Немцова. 1999 Руководитель пресс-службы фестиваля искусств «Неофициальная Москва». 1999 Менеджер проектов в рамках предвыборной кампании Союза Правых Сил. 1998—2000 Младший научный сотрудник факультета Журналистики МГУ. 1998—2000 Журналист free-lance, публикуется в печатных изданиях и электронных СМИ, выходит первая книга. 2000 (сентябрь-декабрь) Со-директор Российско-Американского центра Университета штата Нью-Йорк. Лекционный тур по Восточному побережью США (MIT, Harvard, Columbia, GWU, World Bank, SUNY). 2001 Лаборатория Медиакультуры и Коммуникации Лаборатории факультета Журналистики МГУ, директор 2001 Заместитель Генерального директора Интернет Холдинга Rambler 2003 Президент Фонда исследований и социальных инициатив Rambler 2004 Генеральный продюсер конкурса «Мисс Вселенная, Россия»
ИМХО правильное решение
Продано уже все
Могу Вас заверить, что научить поисковый движок понимать русские домены и правильно их отображать — дело 1ого дня. Просто это никому не нужно, потому что я например не знаю ни одного приличного сайта, который бы хотелось проиндексировать на таком домене.
Как по мне, так Миха Кузьмин полный неадекват из общений на форуме с ним :-) А по сути вопроса — обращайтесь в wahome.ru к Леше Тарасову, он вам любой DDOS отобъет за гораздо меньшие деньги чем 250К рублей.
Нет, очень удобно отлаживаться по нему. Кроме того я просил сделать такие же штуки для других стран и языков (очень хотелось бы). Ты меня не правильно понял, я имел ввиду что сидим мы тихо, никого не трогаем, в новости не рвемся :)
Плохо что нельзя исправить сообщение :(
Ашманов парсит бекенд (адрес отличный от Yanga.*) где стоит кластер. Тк кластер один у Янги физически один и на нем постоянно ведутся работы, то иногда он отключается (перезагружается движок или падает — все случается), в такие моменты по фронтенд (где крутится Yanga.*) автоматом подключает следующий кластер, но тк второго у нас пока нет. А так мы имеем соглашение с Яху, о трансляции их выдачи в такие моменты. Со временем появится второй-третий кластер в разных ДЦ и тогда таких проблем не будет. PS. Вообще очень хотелось бы чтобы нас оставили в покое. Работать в РФ мы собираемся вообще в ближайшее время.