HighLoad-2007

Я буду.

Пока могу сказать, что конференция вполне оправдывает свое название. Натоящее практическое занятие по высоким нагрузкам. Жесткий входящий трафик пользователей на регистрацию с переполнением входящего буфера. Безумно длинное время отклика при работе с сервисами туалет, кофе, обед. Настолько длинное, что на последним сервисе отвалился по таймауту. Даже посадочных ресурсов в пространствах залов не хватает. Смайлики по вкусу.

По существу, дай бог, будет отчет позже.

Блин, обед это святое. Какая конференция, нафиг, без обеда?
А каков трафик в абсолютных цифрах?

В общем поел, подобрел. Теперь эксклюзивный репортаж для pyha.ru

Сначала, отвечаю на вопросы, про количество участников. Одно слово – много. Два зала один мест на 300-400, другой на 600-700 забиты под завязку. Так что народу не меньше тысячи человек. Общее впечатление (как впрочем и ожидалось) практической пользы от таких конференций мало, но за казенный счет чего не походить, умных людей не послушать?

Первым делом заслушал доклад “Техники масштабирования баз данных для Web приложений”. В основном упоминали mysql, чему был несказанно рад. Ничего принципиально нового не вынес. Да можно разнести базу данных на несколько серверов, да можно ручками разбить на логические части, да индекс по немереной таблице работает долго и можно ее разбить на две. Ну и все проблемы с выборками, с этим связанные, перечислены. Можно воспользоваться штатным решением – репликацией Master-Slave и зачастую это неплохо, но если слишком много обновлений данных по всему коду, то и кода переписывать много. А можно в 5-ой версии построить полноценный кластер. Но! Вот тут ценная информация – кластер в мускуле еще пока сырой и выборки могут работать медленно. Т.е. кластеры пока в сад. Афтар доклада всеми признанный mysql-гуру так что поверим ему безоговорочно и не будем экспериментировать. Еще упоминалось некое mysql-proxy, но что это такое подробно объяснено не было.

Дальше должны были базарить по Оракл, и так как он мне в ближайшее время не светит, я переместился в другой зал. Там в самом разгаре была беседа про XML обмен, веб сервисы и поисковый спам. Так как я ввалился к шапочному разбору и долго протискивался сквозь толпу, ища хотя бы стоячее место у стеночки, ничего осознать не успел. Запомнил только, что докладчик ругал производителей железок, за то что делают процессоры с 3d функциями для малолетних геймеров, но не удосужатся сделать аппаратный ускорители парсинга XML для серьезных людей.

Далее была лекция про конфигурации PHP от Битрикса (С этой неповоротливой системой мне рассказывают про производительность? Гммм …). Но в целом рассказ полезный. Тем не менее опять-таки ничего нового. Но тут повторенье-мать ученья.
- Выделяйте отдельно статический контент.
- Ставьте PHP прекомпилеры – Zend, XCache и.т.д. и.т.п (Ага, а какой выбрать и чем один лучше другого?).
- Делите приложение на фронт-енд и бэк-енд. Не забывайте про кэширующий прокси. Для фронт-енда используйте быстрый nginx, а не медленный апач. (Вообще самый популярный слайд в презентациях с двумя кружочками фронт-енд и бэк-енд)
- Зарезайте на бэк-енде MaxClients!
- InnoDB для серьезный приложений с большими запросами быстрее, чем MyISAM т.к. в последнем блокировка на уровне таблиц сводит на нет всю его скорость (Я знал! Я знал! А мне не верили!).
- Тщательно настраивайте параметры мускула вообще и innodb в частности (Я тоже знал, знать бы теперь еще как их правильно наcтраивать).
Ну и что-то еще такое же банальное.

Потом была лекция какие и сколько железок использует Яндекс и как они между собой взаимодействуют. Познавательно, интересно, но для практической работы мало полезно. Хотя Яндекс, конечно, молодцы.

Потом мужик из группы компаний Стек рассказывал теорию поиска в вебе, как начинался гугл и.т.д. и.т.п. Большое тебе спасибо дядя! Сердце посетила теплая ностальгия по уже давно забытой студенческой скамье, т.к. доклад изобиловал словами: транспонированная матрица, направленный граф связей, сходимость ряда, нормировочный коэффициент и.т.д. и.т.п. Моего математического образования хватило, чтоб все понять, но людям без оного не завидую. Тем не менее, единственный доклад, от которого действительно получил удовольствие.

Далее я успешного проспал две лекции по нагрузочному тестированию и жалобы на то, что настоящих специалистов в этой области кот наплакал. Общая мысль – ребята не забивайте на это дело и не откладывайте на потом. Вполне справедливо.

Далее была секция посвященная хостингу. Чел из мастер-хоста долго рассказывал, что никакие оптимизации про которые говорят во всех остальных выступлениях для виртуального хостинга неприменимы, ибо там каждый клиент как хочет так и дрочит, а бедный хостер даже закешировать ничего не может, так как юзверь будет орать, что его сраная хоумпага медленно обновляется. Были рассуждения о том, что можно поднаебать юзеров выделив им в сумме меньше дискового пространства, чем прописано в договоре ибо все-равно все вместе не занимаю всего отведенного. Страшного я в этом не усмотрел. Ну меньше и меньше, только причем здесь производительность? На вопрос из зала: “Что Вы не можете мы поняли, скажите что вы можете?”, внятного ответа не последовало.

Потом вылез какой-то урод, которого не было в программе (нахрена организаторы его вклинили?), с рекламой своих услуг и чел. из мастер-хоста высказал ему общее фе, чем, считаю, полностью реабилитировался за их бездарный доклад. Респект.

А потом, в следующем выступлении, докладчик из Peter-host таки ответил на вопрос от том, что же делать бедному хостеру с разнородными ресурсами. Ответ как все гениальное прост: “Перекрыть юзеру кислород везде где только можно и где даже нельзя”. Потом рассуждали как бороться с c DoS атаками. Наряду со словами “смени IP” звучало даже слово “прокуратура”. Но меж строк читалось: “А никак! Лучший способ найти гада и начистить репу”.

Ну и завершило все выступление Газеты.Ру. Сначала было немного пафоса, что мол интернет-СМИ это вам не просто сайт новостей. Потом рассказали, что все страницы лежат исключительно в статике, а на вопрос: “а если завтра понадобится сделать регистрацию, и приветствовать на главной странице пользователя по имени?” ответили что-то типа: “Ну там не совсем статика, там SSI”. Причем тут SSI я не понял, но выяснять не стал – уже сильно хотелось домой.

Ну вот и все по сегодняшнему дню. Если интересно – скажите, попробую завтра продолжить.

Были рассуждения о том, что можно поднаебать юзеров выделив им в сумме меньше дискового пространства, чем прописано в договоре ибо все-равно все вместе не занимаю всего отведенного.

хм… это также относится и к оперативке, выделяемой на VPS.
Если сосед по VPS хавает меньше оперативки, то его свободная часть переходит к тебе. Так у нас сайт на VPS с 256 оперы хавает 350 мб.

для общей информации — интересно, тоже с радостью бы поехал, но обстоятельства..

попробую завтра продолжить

конечно!

Продолжаем разговор, как говорил Карлсон. Второй день HightLoad-2007. Народу, как это обычно бывает, чуть меньше, так что пообедать удалось! Вот что значит опыт! Регистрироваться было не нужно, да и сумка с увесистыми материалами не мешала. В общем стало казаться, что все не так уж и плохо.

Слава Аллаху, я пришел к самому началу и занял удобное место во втором ряду на докладе Петра Зайцева “Сравнение Транзакционных систем хранения для MySQL (Innodb, Falcon, PBXT, SolidDB)” … а ведь так хотелось проспать утренние лекции. Доклад был исключительно интересным, не в пример вчерашнему. Ну то, что чел mysql-гуру я уже вчера упоминал, но одно дело слышать от других, а другое самим увидеть и пообщаться! Чел знает про мускул все и даже чуть больше. Себя чувствуешь законченным ламером. Но это полезно, ибо надо учиться, учиться и еще раз учиться, как завещал великий дедушка. :)

В выступлении сравнивались различные транзакционный движки хранения данных, кои в мускуле в общем-то являются отдельными от ядра самостоятельными модулями. Уверен, что о их существовании подавляющее большинство веб разработчиков понятия не имеет. Сравнивались как функциональные характеристики, так и результаты различных нагрузочных тестов. Если будет возможность, обязательно скачайте презентацию и видео, а пока можете посетить блог http://www.mysqlperformanceblog.com. Вывод следующий: “Пока альтернативы InnoDB нет”. Но так как данный движок два года назад куплен Ораклом, mysql не так активно его поддерживает, как нам хотелось бы и заглядывается на других. Страшного в этом ничего нету, исходники Оракл не закрывает, но все же следите за тенденциями.

Далее начался какой-то мутный доклад от мелко-мягких про SQL сервер, с середины которого я ретировался. И не зря! В коридоре продолжалось кулуарное обсуждения mysql c Петром. Он с удовольствием отвечал на все вопросы, как ламерские, так и заковыристые. В тесном кругу ограниченных людей базарили еще около часа. Интерес был настолько очевиден, что организаторы втиснули в программу еще полчаса ответов на вопросы про мускул уже в большом зале.

Еще была большая секция про PostgeSQL, где тоже выступали свои гуру, но так как он мне не светит в ближайшее время, я не пошел. Любители постгреса, простите великодушно …

Собственно все остальное, казалось уже не таким интересным. Но тем не менее вкратце.

Опять рассказывали про то, как устроен внутри Яндекс. Зал был переполнен, но была какая-то проблема со звуком. Так что слушал с трудом. Да и два доклада про внутреннюю кухню яндекса, хоть и немножко разных все-таки многовато на одну конференцию.

Послушал достаточно нудный доклад про регистрацию доменов от РосНИИРОС. Что сказать не знаю. Может чего не уловил – в сон клонило.

Далее QSOFT немного попиарило себя и Битрих. Доказывали, что и коробочная CMS может держать большие нагрузки. Х.з. Честно говоря, не очень верится. Но сам по себе доклад живенький, да и беседа после него завязалась интересная.

Где-то в это время прозвучала замечательная фраза (не помню точно на каком докладе): “Всякие оптимизации кода это конечно хорошо, но программисты стоят сейчас так дорого, что лучше железку новую купить”. Пять балов!

После этого я переместился на секцию, про тестирование. Был крайне неудачный доклад Рамблера про инструменты нагрузочного тестирования. Информации мало, нормальных сравнений нет. В общем, я разочарован. Да и докладчик, был не очень опытный. Когда задавали вопросы, некоторые просто стебались. Было такое ощущения, что специально дурацкие вопросы задают. В общем, что докладчик, что зал проявили себя не с лучшей стороны.

Потом был достаточно веселый доклад, про маштабирование тестов на примере того, что если посчитать сколько огурцов влезет в трехлитровую банку, то можно результат экстраполировать на кадушку. А также были озвучены очевидные при этом расхождения результатах практики и теории. Докладчик был прикольный, слушать велело. Но блин! Нельзя же из таких банальностей, пользуясь ораторским искусством, делать доклад.

Потом был какой-то тупой базар с участием рамблера и яндекса о выкатывании кусков нового кода на боевые сервера. Кому это надо не понятно. Ну да у них там сотни серверов, но я на свои два как-нибудь ручками скопирую. Тем более, что когда зашел разговор о том, что файлы это конечно прелестно, но еще есть базы данных, где таблицы меняются, хранимые процедуры всякие и.т.п., ничего внятного предложено не было.

Ну и закончилось все рассказом про “мониторинг сбоев”. Типа сервер упал – админ sms получил. Ну, для общего образования сойдет, хотя админа жалко. Тем более, чел признался, что иногда они тестируют это на живых людях. Подъем! Отбой! Подъем! Отбой! В общем ну его нах …

Дальше многие поехали кататься на теплоходе по Москва реке. Еще до сих пор катаются. Но я не поехал, хоть и халявное пиво обещали в неограниченном количестве. Подустал если честно, домой захотелось.

Вот вроде и все про хайлоад. Спасибо за внимание. Если у Вас есть вопросы, рад буду ответить … тьфу привык за день.

Всякие оптимизации кода это конечно хорошо, но программисты стоят сейчас так дорого, что лучше железку новую купить

Это из уст битриксовцев?

Это из уст битриксовцев?

Там был не битрикс, а QSOFT - разрабоческая компания ориентированная исключительно на Битрикс. По моему их докладчик сказал … но могу ошибаться, может это и из предыдущего или последующего доклада.

Программисты не занимающиеся оптимизацией ничего не стоят :)

Ну возможно имелись ввиду не сами программисты, а их дорогие человеко-часы.