Продолжительность 43:24
16+
Воспроизвести
Видео

Сергей Рыжиков и Александр Сербул, 1С-Битрикс: NoBigData-потоковая система аналитики Client Side производительности

Александр Сербул
Менеджер контроля качества интеграции и внедрений в 1С-Битрикс
+ 1 докладчик
  • Видео
  • Тезисы
  • Видео
HighLoad++ 2014
31 октября 2014, Москва, Россия
HighLoad++ 2014
Видеозапись
Сергей Рыжиков и Александр Сербул, 1С-Битрикс: NoBigData-потоковая система аналитики Client Side производительности
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
В избранное
151
Мне понравилось 0
Мне не понравилось 0
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
  • Описание
  • Расшифровка
  • Обсуждение

О спикерах

Александр Сербул
Менеджер контроля качества интеграции и внедрений в 1С-Битрикс
Сергей Рыжиков
Директор в 1С-Битрикс

C 2011 года курирует направление контроля качества интеграции и внедрений ООО «1С-Битрикс», активно участвует как архитектор и разработчик в проектах компании, связанных с высокой нагрузкой и отказоустойчивостью («Битрикс24»), консультирует партнеров и клиентов по вопросам архитектуры высоконагруженных решений, эффективному использованию технологий кластеризации продуктов «1С-Битрикс» в контексте современных облачных сервисов (Amazon Web Services и др. ).

Перейти в профиль

В 1998 создал компанию «Битрикс», директором которой является и сейчас. Под управлением Сергея Рыжикова компания «Битрикс» прошла путь от аутсорсинговой веб-студии до известного российского разработчика программного обеспечения для Веба. Сергей Рыжиков руководил разработкой собственных решений компании «Битрикс» - программных продуктов «Битрикс: Управление сайтом», «Инфо-портал» и «Арендуемые магазины». Сегодня «Битрикс» прочно занимает лидирующие позиции на российском рынке в области разработки систем упра

Перейти в профиль

О докладе

Секция: Учебный трек
Как известно, что не измеряется, то нельзя улучшить. И если замеры на бэкенде (сколько времени выполняются запросы к базе, как быстро генерируются страницы, сколько запросов в секунду может обрабатывать веб-сервер) выполняют почти все разработчики, то ClientSide-производительности незаслуженно уделяется значительно меньше внимания. Быстрый ли DNS, хороший ли канал у хостера, закэширована ли статика, не перегружен ли сайт JavaScript'ом - все это помогает оценить Navigation timing API.В докладе мы расскажем о том, как делали систему аналитики, основанную на Navigation timing API, для десятков тысяч сайтов:- Как сделать подобную систему за 1 месяц и $1000, используя в Amazon Web Services (AWS) Kinesis и DynamoDB.- Как быстро (очень быстро!) принимать миллионы хитов с помощью Nginx+Lua.- Как в реальном времени обрабатывать миллионы хитов, постоянно агрегируя данные (потоковая обработка BigData... без хранения BigData).

Поделиться

я тут Сергей Рыжиков Битрикс и Саша сербул и аналитик разработчик компания у нас к вам Любопытный доклад вообще мы не очень уверена что нужно его рассказывать И спорили Мне кажется Олег Именно для этого нас приглашал для того чтобы всё-таки сделали этот доклад совсем недавно с коллегами замазанным мы им рассказывали как используем их же сервисы потому что ряд сервисов которые совсем недавно появились на которую мы тут будем упоминать И вообще архитектура проекта почитают конечно фантастический пример как за очень небольшие деньги можно

эффективно построить решения И вообще Мне иногда кажется что идти Ну мы как-то забываем об этом сайте очень много про бизнес то есть мы должны идти инструментами решать задачи бизнеса Наверное поэтому нас опять же двое у меня будет сначала безносова и вступление я объясню что мы затевали как что получилось а потом Саша в технических деталях подробно расскажет как все это устроено так вот у нас называется таким образом и в нём будет разных слоёв Ну давайте начнём у нас эти будет звук Я уже просил коллег чтобы подключили вообще мы будем говорить о новом сервисе

который мы ставим перед собой задачу разработать или вообще а скорости сайтов клиентской скорости сайтов и вообще тема производительности на нашей платформе работает 130.000 сайтов и нам дать ответ во-первых быстро или платформа это важно но с другой стороны самому клиенту посетителю сайта в принципе его всё равно как-то страница ему всё равно какую там хостинг где Неважно как это быстро появилась перед глазами и существует много разных подходов к измерению и к ответу на вопрос что такое сайт

Саша вот нашел несколько цифр из гугловской аналитики которые показывают вообще на что обращают люди внимание время переключения там 100 200 мл Установи задержки на одной из конференций например индекс выступая про интернет-магазины говорил что 600мл критическая величина 600-700 и начинается сильное падение конверсии Ну разных подходов в основном довольно легко доказывается что чем быстрее показали тем лучше конечно страницы чем быстрее загружается составляющие это в итоге

все приведет больше скорости быстрее сгенерировали HTML быстрее доставили компоненты быстрый каналы хостера минимальные задержки Ну как это всё посчитать Вадим набор внутри наших продуктов есть целый набор технологии много обычно рассказывали на партнёрских конференциях и я первый момент когда мы придумали Это был монитор производительности это ещё внутренний инструментом измеряют производительности платформы но появилось одно число а ну как там всегда шутят Как измеряется там 30 хотя у него есть физическое объяснение

смысла Но как только появилось число появился объект дискуссии между между разработчиком между клиентом и они все задают Друг другу вопрос А почему это что такое вот эталонное стоит 30 у меня 15 или у меня 50 - это хорошо или плохо я не буду об этих технологиях сейчас детально рассказывать летом мы поставили перед собой задачу мы должны измерять клиентскую скорость то есть мы должны ответить на вопрос быстро отображается этот сайт у клиента или нет Ну и первоначальный проект выглядел Так давайте в нём серию серверов

будем не просто дёргать сервис проверять он работает да будем его загружайте делать замер Ну во-первых это ресурсы во-вторых это очень критикуем и структура То есть когда ты начинаешь объясняет например разработчикам чтобы замерили скорость вашего отображения она очень легко подвергается сомнению действительно с точки зрения самих посетителей важен канал причём они могут быть например но я не знаю там на wi-fi ещё где-то Вы можете находиться в других городах фактически стало понятно что нужно замерять на клиенте

нужно поставить жестовский счётчик из каждого клиента собирать объемы данных и умудряться давать ответ всё бы ничего но данных то очень много и нужно понять как их собрать посчитать сколько обойдётся сервис посчитать самые разные показатели коллеги сейчас будет видео со звуком всё получится да Надеемся У нас есть небольшой ролик который показывает что в итоге получилось а потом немножко по технике мне посетителей вашего сайта важно Насколько быстро откроется нужное им страница является потребительское оценкой скорости сайта Мы специально создали очень простой сервис который дает вам ответ

быстро ли работает ваш сайт по мнению ваших посетителей сервис скорости сайта скорость загрузки ресурса уяли пользователей и отображает данные для 1000 последних посетителей сайта работать с сервисом очень легко яркий виджет в любой момент покажет вам текущую скорость загрузки вашего сайта у клиентов разработчики найдут в этом инструменте дополнительную выгоду ветсервис показывает не только скорость загрузки но и самые медленные страницы вашего сайта некачественный хвост медленный интернет каналы неоптимальный кот или результаты экспериментов Определите причину и оптимизируйте сайт

контролировать скорость до и после изменений делайте ваш сайт лучше сервисом скорость сайта от компании 1С Битрикс скорость сайта взгляните на ваш сайт глазами посетителей Ну вот же маркетинга меня позвали Да на технологической конференции обязательно должны быть ролики должен быть праздник скорость сайта получился сервис при обновлении клиенты получают новое число принципиальный момент А вот это выглядит вот так в административном разделе сайта я сейчас перескочу дальше Вот это цифра она Для клиента

помимо того что мы говорим 0 31 секунда на самом деле клиент обычный человек который не ходит на highload conference он не может определить это хорошо или плохо и мы ему дали ответ что это очень бы у нас просто я довольно шкала она тоже простое восприятие если ваш сайт загрузился и появился перед глазами посетителя за 0,5 секунд мы говорим Да это очень быстро он Ну просто быстро потом не быстро медленно и очень медленно ответ очень простой Аня можно дискутировать можно говорить Хорошо это или плохо это число считается на

1000 последних просмотров вот 1.000 Последний человек расположенных на разных точках со своими каналами в страничках стоит GS он ну фактически вот с точки зрения разработки последнего первую синюю линию да Там кроме который нам показывают время отображения отправляют в облачные сервисы Дальше они ключевые параметры помимо самого числа мы даём гистограмму распределения Собственно как расположились хиты например есть в среднее течение которого мы вычитаем большинство увиделись такой скоростью

соответственно разработчики могут любой фрагмент посмотреть какие хиты туда попали с Какие параметры и зачастую с удивлением узнают что там ряд страниц очень медленный буквально несколько секунд уходит на выявление есть ещё один график который уже по времени нам расписывает и показывает Ну собственно Зелёная это время отклика наверное главное на что стоит смотреть но еще раз подчеркну это не время генерации страницы даже да это совокупно и генерация конфигурации и когда первый боец по большому счёту поступил

это комплексный получается параметр в включающий в том числе и генерацию в себя очень много синего это фактический объем гсы его скорость рендеринга на ваших клиентах вот хорошим проекте на самом деле зелёного и синего должны получиться Немного это не очень признаки владелец этого сайта знает а той проблеме которую него есть у него там есть жестовский компонент очень такой мудрёный Ну тогда у него 0 31 сказала она мне это нормальная не афганец меня устраивает это число нужно писали очень быстро хотя в принципе 0,2 Может рассказать

буквально там за несколько дней И здесь тоже можно посмотреть из чего состоит ту или иную Какие компоненты Какие параметры что получалось внутри уже на сегодняшний момент вот это число мы брали для пресс-конференции 29 числа уже на сегодняшнее утро 23.50 мы читаем и это Примерно там 50 млн пользователей Что у нас там хитов Около 40 миллионов пользователей каждый день вообще довольно большая половина документов материалов которые поступают Но помимо всего прочего мы каждому пользователю

выдается уникальный Кок а потом ещё треком в течение там некоторые истории некоторого времени 23.000 сайтов Ну вот к слову аудитория рунета 68 млн в общем большое мы с удивлением узнали Какое количество клиентов проходит через наши проекты Ну и теперь мы точно можем сказать быстро или сайты на битриксе или нет 22 это вот по вот этим всем проектам 22% это очень быстро 48 попадает в категорию быстро ну и соответственно 24,6 Кстати мы что есть очень много проектов которые в разработке Либо они находятся чаще всего они попадают в 4.6 пока идет разработка никто обычно не следит за

процессом что получается по дороге потом начинает отслеживать но есть еще одна любопытная цифра потом позже об этом поговорим какой эффект происходит есть любопытное высказывание что всё что мы Наблюдатели измерить она начинает улучшаться мы это перефразирую так как только появляется некоторое число которое вы начинаете измерять она начинает улучшаться То есть вы уже начинаете лучше или хуже хорошую вас хостинг или нет и это очень любопытно пример Одного из наших клиентов обновился смотрит на число 1

95 секунд написано медленно но по сути на грани очень медленно начинает нервничать Но это же неправильно Это же неправильное число Что произошло с первым порассуждал поговорил с разработчиком перевезли старых сидел перенесли что-то поставили в Россию выиграл Но немного немало В общем прилично выиграл ещё ничего не менял просто перенес хостинг у нас есть такая опция сжать CSS Ну архитектура платформы требовал там некоторые особенности при разработке Ну и мы эту особенно обходить одну галочку включили

получили еще один выигрыш приблизились перешёл на стандартные компоненты часть давно было написано Особенно с каталогом товаров по меня вернули стандартный компонент чуть-чуть поправили дизайн приблизился перешёл на Композит есть у нас такая технология разработки в итоге он увидел свои 0,35 говорит Здорово всё устраивает И это всего неделя неделя от момента когда он увидел это число К моменту когда его проект стал в несколько раз быстрее причём по большому счёту он ну принципиально в продукте ничего не менял не в продукте

не в проекции вот пожалуй только компоненты немножко поправили которых была ошибка таким образом стал объектом диалога между разработчиком клиентом иногда между нами Нам обратили внимание у нас там был один компонент который много на Джесси лопал Да мы поправили компонент всё стало намного лучше это комплексная характеристика на для всех она в том числе и для нас вот по цифрам оказалось что Композит лучше всего луч помогает клиентам но это не единственный параметр Их достаточно много дальше перейдёт Саша

будет уже делать доклад про технику А я собственно хотел вас Как вы считаете пока вот Саша всё это не рассказал Какова себестоимость всего этого сервиса для нас сегодня сколько он нам обходится 23.000 сайтов 50 млн в день Ну версию какую-нибудь 20000 долларов 23подписчики на проекцию неплохо Да мы ещё есть версия Ну ты себе представляете Что такое 1000 верите в это число Ну давай Саш попробуй это nutrison Ну да как вообще принято измерять скорость Как утеплить измерять протяженность системы

для систем в частности мониторинг мы значит настраивать будет Zabbix cacti делом расстроила мониторинг делай функциональное тестирование собираем метрики вот Ну что можем поверить Да ну сейчас тебе что ведет на количество просто так же как и все запросы в базу я сейчас немножко вас вложу в состоянии что умеют администратор разработчики не дальше будет намного интересней но всё равно это пока сервер Мониторинг это черный ящик Что ещё можно из ключевых параметров на сервере Ну конечно число количество процессов lot of Range Да и Какие процессоры работают например

диском или сетью можно Ну это время показывает перегружен система или нет мы всё знаем Но это и не можешь нам помочь что ещё может быть Почему тормоза системы права ли своп и начинают тормозить с сайта что-то тормозить но мы-то видим на графике разбудила Да съел всю память системы баловство Кристина всё будет тормозить вот Ну так же всего появляется У нас вот здесь вот она на графике допустим отдельно если проявить армейскую смекалку можно писать скрипты которые будут нам обрабатывать там ходу

побрился наголо геологии Сибири серология предложения и строить считать момент разных порядков от этих цветов вот чёрный экран да либо Ну просто смотреть в админку Apache Как правильно регистрировать службы то есть мы подключаем математику которая поёт измерить на Северный показатели скорость от скорость отдачи скорость выполнения бизнес-процессов чтобы мы поняли клиенту хорошо с нами или нет таким образом это Более сложный шаг был погулять немножко заглянуть всё-таки скорость наверное мой взгляд один сейчас лучших инструментов определение всё-таки комплексный производительности

системы это пиво классический подход работы со стримами Каким бы собирает поднимите пожалуйста руки Кто знаком с этим инструментом многие знакомы Она собирает из PHP в метрике и отправляет значит значок флешки или позволяет реагирует на лету эти данные в принципе нам нужно было пемба но только которая собирает информацию с Java скриптов и котов потому что берут до бесконечности фактически архитектурно-строительного очень похоже пьян был но она масштабируется и реализован в амазоне сожалению чтобы это всё вот посчитать

измерять иногда магазин графики Это только скриптов и так далее и тому подобное это достаточно нужно иметь высокую квалификацию и хороших выводить это иногда несочетаемые параметры ну и плюс нужно математику не все любят математику Хотя многие любят программировать поэтому мы попытались всё-таки найти короткий путь Как быстро получить результат Ну естественно свадьбу готовлюсь вы все будете мерить на этих людей программисту математика всё равно возникают проблемы смотреть Эмили до сосед играет в World of Tanks будет он тормозит сеть торрент-клиента

в запущенном wi-fi 4G LTE это тоже это вещи которые вносят тормоза вносят задержки и может тормозить компьютер может быть перегружен или будешь шашлык То есть я хочу тебе сказать что северных инструментов и всё равно математике не хватит чтобы понять хорошо клиенту с вами или нет Поэтому нужно искать вы и поэтому нужно вот это вот гепарда который Бедненький такой медленный Да нужно искать выход Как всё-таки мерить Как мерить скорость к счастью до мясного консорциум да Он предложил

которая позволяет изнутри глазами клиента посмотреть на скорость генерации страниц навечно тайминг используется Кто знаком с ним это браузер на лапе который позволяет получить метрики глазами клиента Насколько быстро превращайся страницы его Мы задействовали это мы сами JavaScript параметры которые Сергей рассказывал и мы должны куда-то отправляет для агрегации вот здесь возникает интересный конечно задачи есть Клиенты все больше 23000 сайтов Начинает все клипы 2006 начинают на блядь эти щиты

высокая нагрузка на ставку этих записей порядка от 500 до полутора тысяч доброта база данных ляжет база данных для таких кейсов не предназначена база данных реляционная машина а здесь у нас потоки здесь у нас Биг дата это только начало 8 августа нагрузки раз в десять ещё вот Плюс нужно поездов потока доставать гистограмму распределения двигатель даны графики предыдущий слайды видеть последние хиты считать видео как это сделать вазу что ли ходить не получится вот огромный кластер и замедляет их задача создана поэтому

отключила даёте хиты очищать постоянно как очищать с краном билетом в уберемся не получится нужно искать Решение вот по если бы посмотрим книжечки вот у меня тут картиночка из книжки сборник русского университета про обработка больших данных здесь ну это теория обработки потоков что у нас в памяти будет мало в базу выходить не сможем это дорого надо иметь какую-то промышленных Ну и так далее что-то подготовишь нужна некая другая математика технология мало того мы здесь упреки в том что это придётся самим писать

Вот это всё она пристегнул вы понимаете да это дорого что делать плюс здесь появляется интересного Академический стык хэширование организация на Ну нельзя все данные собирать нужно как-то хитрить математически в затерли вероятности чтобы правильно рассчитать чтобы получать чтобы считаем использовать Ну известные tablou фильтры площадь Мартин то есть налоги при большом таком потоке базы данных нету да и памяти мало что делать и тут значит мы работаем с НДС образующей давно и вот он выпускает сервисы Панасоник который будет

задачи оказались лишены потёр руки потому что все это математическая пущай хрень Да она решена в кризисе как он работает он получает под входной размещают его где-то в памяти у себя в Облаке А мы подключаемся бургерами и запрещено причём количество воркеров можно варьировать от 2 до 10 млн эти данные обрабатываем То есть фактически какой-то событиях потоки происходят например что-то случилось в паре с какой-то какой-то ворки работа взамен выписали сколько мы сэкономили времени используют qalesiz Ну немножко цифра Калязин s1r до конца

может до 20:00 секунду держит Ну приём надо сохранение имени мегабайта в секунду в пакете Может предложить не более 50 ГБ норма чтения там конечно конечно не будешь виноват чтения мы делаем просто в параллели вместе потом вы пойдёте то есть огромный поток мы делим на бургеры и они спокойно спокойно кушаю значит эти данные дают на Циферки хранения данных на 200 до суток с ним где-то валяется Вот и стоимость То есть фактически Будет обходиться всего в 50 долларов в месяц на всю эту вот обработка храниться довольно довольно дёшево и

главное без ОСАГО Как тебе ведь данных 1С Как удалить Amazon чтобы сюда отправить нужно авторизоваться по образованию формировать http заголовки с подписями и так далее как это делать ну мы понимаем что ну можно Конечно все данные со счетчиков принимать в PHP запустить сервер Да там подписывать отправлять Но более быстрое решение распустить жемикс Ну как написать заголовок Как там математику стоит выжженных Ну конечно можно найти написать модуль для индекса нома буду писать до Нового года потому что не документированное

сложно требуется музыкант смешная Да вот ещё поставить cookies Ну мы выбрали ло Оказывается можно нала встроить в Анжеле xa1 очень хороший китайский разработчик записал модуль модуль Что такое лактоцил кинула это очень простой язык с простой виртуальная машинкой которая интерпретатор которую можно может поддержит эпиляцию которая будет очень быстро напряженных и главное главное он выдаёт изображённых Эйвон помады всё как в чём суть инжирных почему он прекрасен потому что там использование обнимающего работаю сокетов через системные вызовы straight Pool таким же можно открыть Ты что ты тут и они

будут содержаться и мы будем по мере поступления на компьютер будет найдёшь где мы будем данные перестал проксировать поэтому Он позволяет строится многих ученых в эту прекрасную логика мужчины правильно и машину нашу подпись генерация подписи Озоновый написали Скрипникова десятков строк и решили эту задачу за два дня в итоге сервер слова которые обрабатывает более 500 запросов всего 5 футах вот эти вот их и вот то есть наоборот секунду То есть фактически все же свободен оказался помнишь Демидов говорил про неблокирующий socket обратить

внимание на сказал что именно используя ловим на выжженных себе позволила такой огромное количество осадков их держать Постоянно каждый клиент Запиши туда 50.000 там открытых только Запусти сколько да и ну задача решена красиво архитектура теперь как это хранится в колесе Ну значит вот это запросы админку Куда этот буфер докуда эти все кто засмеётся домой видим число запросов Мы видим что latency заставку 25 миллисекунд на получите 100 миллисекунда это уборки уже получаю то есть ли у вас свободное место есть теперь нам нужно данные

страницы забрать Как поднять воркеры Ну данном случае водка inesis Вот наши счётчики Да вот конец вот надо забрать эти данные Да и обработайте куда-то сложить Ну опять в бочке или какой-то какой-то электронную таблицу не хочется писать потому что это не масштабируется это сложно это дорого это не для этого предостаточно поэтому Динамо тебе это дочка или хранилищем называлась которую они около 10 лет его пилят используют для свернул это бесплатный если Кассандра вот это вот Кольцевая база данных 3 допустим дорогих вещей то есть множество сейчас понять сборки-разборки рыбы

подняли на пииспи 8 штук почему-то пишет Потому что быстро эффективно Если надо мы их перепишем нажарю например да скрипт который с помощью компьютера идет алгоритм он Ну нельзя же вот пусть конечно что-то странно сказал секреты собирать Удалить Нельзя у нас евристика никогда мы определяем примерно такие удалить и делаем запрос по Yandex Динамо тебе внучка или и в личных и удаляю 68 воркеров очень простой и один Чистильщик если они будут плохо себя вести если нагрузка здесь раз Ну допустим

перепишем на чём ты что такая прекрасно работает теперь алгоритм как и данные из облака доставать что ты сказал бы хотела бы тебе ножки Ты же последних хитов профили пользователей Как настроить как строить гистограммы Как стереть историю счетов и как чистить вообще тебе рассказал насчёт как доставать смотрите Ну был рискните что раз мухи Допиши можно достать 1000 последних Как достать 1000 последних внучку или поддерживаются вырезать он вообще что это такое Это меткость в кольце по-русски Ну какой-то небольшой да весками Для того чтобы они работали быстро и можно было расстались

поэтому там можно забрать либо полечу либо по индексу по-простому индексу довольно by Index timestamp и мы доставим последующих тут всё всё ну там по данному сайту есть там там два типа индексов ну короче один используется для выборки после операции выполняется очень быстро ну 1020 миллисекунд любой нагрузке потому что тебе дам тебе всё достаём получаем он такой А у нас простая моделька то есть хиты хранятся в одной таблице у которых ключи что-то у нас типа сайт Да это у нас время я говорю дай мне по этому сайту Константа Дай мне все хиты Раньше

такое то есть Ну а кто такой это вообще-то вот иди обработки данных винтовка определён в этом в потоках часто используется чтобы принципе сделали Всё Элементарно модель данных как это как это вы изнутри вот-вот жильём данных Динамо ставки выведем Да это производительность то есть здесь мы видим запрос резиновыми чтение хитов но мы видим что Папочка выбирается на 45 минут есть 1.000 даются надо 40 миллисекунд Да там ещё есть сетевая задержка Ника Ну то есть мы не ходим в базу ложки и дергаем последующих рядов по индексу всё

работает очень быстро шла 1040 миллисекунд как мы агрегирует Ну как выглядит Вы получили 1000 хитов Это небольшой мотивчик Мы в памяти построили Выбери гистограмму посчитали меня это можно кэшировать но поколений вот Ну в принципе можно сделать ещё будет быстрее работать таким образом система оно распределено Анапа дежурный красота есть запросу навигацию могут быть Ну если будет могу сказать с Динамо тебе просто будет автобус собираться Пока нам достаточно Вот это таблички я расскажу Только это стоит вот что

есть вопросы все проблемы решили Ну конечно ночью то загрузкой маленькая Да отдел большая Мы записали свой авторский где дома-2 который уменьшает количество пропускную способность размер кольца в обычных серверов То есть он пульсирует вот так вот поэтому решение получилось по деньгам эффективным вот сколько это стоит то есть примерно 400 в Пике это 400 месяц зарплата это здесь тебе завтра скрининга на 4 10 долларов и на хранение 7 долларов ну вот это объём китов плюс автосервис Незаконченный увеличение мощности

Балтийская неплохой зал 2 минуты это очень-очень интересно особенно под Новый год это упрощённое съемка мы обсуждали потом в отдел маркетинга подошёл нарисовал твой чувачка вот в принципе ну выведем да JavaScript и убью балансировщик оборону это необязательный элемент Ну тут там в принципе иногда мы используем используем балансировщик для того чтобы инженерские машины при необходимости можно было раскидать сейчас одна Может получится их несколько бургеры и хранения в

этом стаде немножко прокомментировал ещё рассматривался конечно много вариантов как сделать счётчик первоначально Мы считали что давайте там будем в 6:00 хранить но есть сайты у которых 6:00 Это столько хитов в этих сайтах там меньше и в итоге получается что ты должен усложнять систему хранить по-другому выбирает он получается дороговато бизнес задача звучала Так мы должны помочь улучшить скорость сайта глазами человек поэтому получили появилось это число 1000 его нам кажется достаточным причём нагрузка обращение к самому числу крайне редко

то есть тогда когда владелец заходит в админку сайта мы первый раз получаем одно число интегрированное и когда он заходит в подробности мы получаем одним хитом 1000 строк запросам одним запросом и всё остальное рисуем уже на клиенте то есть получилось всё ем Как компактно вот прям как нарисована Вот ещё раз туда уже 23.000 сайтов больше 8000 доменов 53 более 550 млн это в сутки мы принимаем и соками и теперь вопрос Да Сколько стоит Samsung интригующий вопрос

Ну вот даже есть сейчас выслать сколько это стоит Ну фактически весь проект поместился в 1000 долларов 1000 долларов в месяц обходится весьма разработать это разработка не мог подтвердить ваша версия Просто так это зарплаты ещё занимает порядка 500 долларов в месяц и весь проект разработали за 2 недели вместе с полотнами данными в день сейчас подключается где-то 500 проектов того как вы выпущено обновление Ну собственно вот там немножко meepo экспериментировали у

нас там немножко Динамо лопала сделали вот Как расстаться с карелиным другие какие-то характеристики Ну Динамо обходится нам в итоге недорого у нас одна машинка sangenic сам Мы даже не стали мудрить если честно сейчас отказоустойчивость и потому что то есть их можно поднять V2 ВДЦ и они будут выполнять написано что если его не будет или что-то упадет то в общем аварии Нет они хорошо мониторятся задача решается на самом деле даже чуть подешевле чем тысяча получается весь проект эксплуатация около 500 долларов в месяц и трафик там стоит 200 долларов ну что трафик там порядке Ты 15

МБ входящие авто заходящее мы платим за сочинение подходящий 15 мегабит уходя наверное здесь можно еще сказать что вообще весь этот проект является составной частью другого проекта по обработки больших данных которые мы недавно по рекомендациям по персонализации для интернет-магазинов и для сайтов и фактически он же является приемщиком объемов данных связанных с обработкой больших данных то есть там не только в оверни ещё в другую динаму есть пару ручейков куда данные затекает воронка Куда бьет попадает и анализируется в больших объемах Ну вот

собственно так выглядишь Если есть вопросы пожалуйста Я так понимаю микрофончик и выдадут ещё есть вопрос микрофон если можно сюда Вопрос номер один навигейшн 3 это информация только о фактически загрузки страниц вы как-то ayaks запрос имеете ни малейшего 3 не работает Да конечно большие платформы Не используют ayats или это не начисляется ребёнку никакой привязки не просто не считали нужным в этом вопросе в этой ситуации решать Ну то есть мы так подожди формулируем эти задания понял вас а я нет поэтому во многих в 3 утра Как по мне так хочется

сказать Ну сделайте ещё вопрос Спасибо за доклад Вопрос такой возможно я как-то внимательно я я понял всё Гениально системы понял что она обошлась недорого но мне почему-то кажется что можно обойтись и без Amazon kinesis Конечно вот и развернулись что-то подобное для обычной какой-то для своего допустим маленького сайтик там вот такого просто воспользуешься соответственно у меня возникает вопрос А в чём тогда вот преимущество было Вот для вас лично кинезис А вот именно вот Ну вообще вот вы предлагаете самому себе Писать такой сервис или

нет ну сделать такой нет просто без амазона чем помог кинезис с таким что вот-вот выбрали именно его и устали вот свой сервер на посмотреть кино это Rolex Apache Apache Зачем своих жилых зачем два веб-сервера роль буфера позволяющего масштабировать количества пачек за ним при росте нагрузки такой жирный Поветкин с данные и мы можем гибка масштабировать количество воркеров дальше если это делать синхронно система получается жесткой то есть пришёл запрос Запиши она получается Дорогой мы можем количество органов

мешать одним увеличивать То есть это элемент гибкости элементов Может тебе писал что это очень дёшево Вот и Он решает задачи он фактически в 3 делить на части буферизированный чтобы это реализовать даже в Яндексе Это новая тайм-аут навигация это дорого и долго в памяти у них в памяти у них там целый партитуры Для этого просто Скит и говорит мне что можно было и без кинотеатра подобной инфраструктуры поднять своих виртуальных на своем железе но так как у нас вообще всё хозяйство размещена в амазоне там И собственные выбирали сервис посмотри что есть и вот буквально недавно

появившийся кинезис нам оказался решение Почему как раз коллеги из амазона приходили насчёт кейса вообще узнавать потому что очень мало ещё используют сервис от практическое применение реальная нагрузка идёт прямо видно польза как он работает а вот вы приводили пример с клиентом который перенёс хостинг там в России и у него от этого всё за Хорошилова Светлана обратная ситуация Amazon не тормозит если на него большой трафик наливать как вообще вот там же канал будет а для сайта неважно тормозит Нет он обработает за 20 миллисекунд или за 200 принципиальной

разницы нет это всё равно замеры сегодня от момента когда например сайт отправил запрос vba использовать при просмотре этого сайта отправил запрос реальное число пересчитывается секунд через двадцать Да будет вся цепочка говори очередь собирается для сайта понятно что это неважно Вопрос в другом а у вас же каждый хит проектируется у вас отправляются за рубеж Там просто этого трафика и с ростом числа сайтов и хитов будет Спасибо за рубеж жениться моего оборачиваем Ну

да-да-да ingenico там и стоит забором так А тогда позвони стоит асинхронный не смотри там трафик это реально копейкину 15 мегабит я назвал цифру этого понял да Всё спасибо это совсем не критично не по деньгам не по нагрузке Добрый день скажите вот у вас был слайд где показывали что включение композитного сайта уменьшает там на секунду буквально за границу Да при этом насколько понимаю включение композитного сайта это по сути страница подгружается и все блоки аяксом

подгружается если правильно понял и дальше Вы сказали что ayaks вы ними тогда получается что не совсем верно Это оценка на сваях не верите скорость загрузки страницы увеличилась уменьшилась на секунду не всемерно Композит делает страницу статической технический размечается большая часть блоков статикой даже если она динамика она всё равно есть на главном У пользователя она может быть идёт первый хит статическая страница со всеми составляющими залетает и появляется У пользователя пока всё это верилось готовилась пошёл

композитный hide.io он какой-то блок может например либо обновить либо вставить Ну в зависимости от реализации и с точки зрения пользователя Это уже неважно ну как бы это не влияет на скорость восприятия нет задержки вам того же всего мы не верим этот композитный хит мы не верим этот Аякса выйдет потому что что для нас важно Это замер отображения по психологии то что вот когда она появилась человек уже начинает изучать ознакомиться со страницей в принципе да могут тянуться большие имя джеда могут тянуться какие-то составляющие с точки зрения скорости это неважно уже

считай Что загрузилась страница хорошо Да добрый день мне хотелось объем данных генерируемых соответственно в день и значит в потоках получаемое объем данных там месячные в Динамо вот потом ещё хотелось бы спросить просто немножко непонятно что такое там по потокам То есть это не является in Memory Database то есть квартиры в Уфе в памяти то есть грубо говоря Ну вот worker они просто перекладывать Динамо и на стороне никакой агрегации не происходит в Киеве стоит обеспечить масштабирование воркеров и всё они собираются буркин обрабатывают агрегирует что-то пишет Динамо что-то не

выходи уже обрабатывали это делать синхронно мы сделали систему асинхронный в этом в этом для этого нужно было кинезис то есть печеную маркера получается отдел какой-то математику 1911 туда пишут они обрабатывают да да Главное что они не занимаются получением данных и не занимаются этим борьбой за память они занимаются без разъёма Ещё скажи какие там моментом порядка несколько десятков миллионов цветов в сутки a55 больше 50 минут в сутки мы принимаем убивал их несколько гигабайт был слайд если ты близко да Если работу ищете которые люди которые удаляют жилищнике ты

там хранится только нет ещё дольше храниться но они очищают поэтому там там порядка 7 долларов что ли платить в месяц На заданный вопрос У вас там есть соответственно графику самом битриксе вы приедете да то есть какие-то задержки Если вы не храните историю тоже человек не может дать после последующих рядов по временной неважно зависимости от сайта у кого-то это два часа а у кого-то это два дня просто как бы отследить например вон неделю назад в неё полминуты графики будет Мы не ставим перед собой задачу сделать по сайту по проекту то есть написать там не знаю

кто-то Был ещё что-нибудь делать здесь вопросы для разработчика То есть например вот у него такой Челлендж да то есть как бы он делает изменение идол вот именно как раз динамики ему и хватает сделал изменения обуви и смотрит даже если двухчасовое окно ему более чем достаточно увидишь что у него спала Он переделал например женскую часть Кто такой синий фрагмент и он провалился и всё его не осталось Вот такая вот клиентская сторона стала и ещё один вопрос соответственно в рамках Там выбор платформы не рассматривали вы колоночные Базы и номера решения такие как например ВТБ в городе

Коломна herbal дыхание используют для майнинга зачастую нужны они медленные они в них Писать долго и дорого быстро двигаться Нельзя этого Но в данном случае смотреть там Вольта бы это он как раз связь и номере решение он как раз можно написать обработчики нажала которые будут делать агрегацию соответственно длине и на что берут волю он также Ленина масштабируемой то есть какой сервер добавили и у вас соответственно чистите зубы было проще взять готовые решения похоже ОК спасибо Ну что спасибо большое А ещё вопрос есть у меня просто

вопрос по мобильной платформы меряете не меряйте если планы были платформы пока Не мерил но есть планы какие планы Если не секрет что есть мобильное приложение готовая она такой нативный hybrids HTML управляемый на Джесси соответственно мы планируем внутренней рабочей страницы которые пишутся на Джеймс читать считать скорость загрузки отображения когда они появились одна из самых частых ошибок когда например лимит же не вешают на ноут или там не знаю верстку или остальные части это приводит просто безумно загрузки очень долго мы

отображению клиента будет что-нибудь но пока вот выпустили в таком объеме

Комментарии для сайта Cackle

Купить этот доклад

Доступ к видеозаписи доклада «Сергей Рыжиков и Александр Сербул, 1С-Битрикс: NoBigData-потоковая система аналитики Client Side производительности»
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно

Доступ ко всем записям докладов мероприятия

Доступ к записям всех докладов «HighLoad++ 2014»
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Билет

Интересуетесь тематикой «Разработка и программирование»?

Возможно, вас заинтересуют видеозаписи с этого мероприятия

29 августа 2019
Москва
7
47
геймдев, игры, киберспорт, медиа, разрвлечения

Похожие доклады

Андрей Смирнов
Руководитель разработки в ex-Skype
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Андрей Аксенов
Основатель в Sphinx
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Константин Осипов
Open source developer, Tarantool.org в Mail.Ru
+ 1 докладчик
Алексей Рыбак
Director of technology в Badoo
+ 1 докладчик
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно

Купить это видео

Видеозапись

Доступ к видеозаписи доклада «Сергей Рыжиков и Александр Сербул, 1С-Битрикс: NoBigData-потоковая система аналитики Client Side производительности»
Доступно
В корзине
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно
Бесплатно

Conference Cast

ConferenceCast.tv — архив видеозаписей докладов и конференций.
С этим сервисом вы можете найти интересные лекции специально для вас!

Conference Cast
1150 конференций
31613 докладчиков
14199 часов контента