РИТ++ 2017

Большое количество современных веб-проектов переходит на микросервисную архитектуру.

Она решает большое количество проблем, присущих монолитным системам, однако накладывает 
качественно новые требования на разработку, эксплуатацию и тестирование. Многие классические задачи предстают в новом свете.

В докладе я коротко расскажу об основных паттернах микросервисной архитектуры, опишу присущую ей проблематику, а также дам обзор подходов, помогающих в решении проблем.

Раньше HeadHunter был большим монолитным приложением. Несколько лет назад мы приняли решение выделять из него микросервисы. За несколько лет мы поняли, что микросервисы - это не серебряная пуля и при неправильном "распиле" создают существенные проблемы: сложность разработки, деплоя, эксплуатации и др. Иногда эти проблемы сводят на нет преимущества от использования микросервисов.

В докладе хочу взвесить преимущества и недостатки микросервисов при вертикальном и горизонтальном делении на микросервисы.

В сложной экосистеме разработки программного обеспечения, даже если инициатива Appllication Security получила зеленый свет и надлежащий бюджет, множество проблем остаются нерешенными для успешного старта: множество дорогостоящих инструментов SAST / DAST / IAST / RASP, минимальное количество appsec-специалистов на рынке труда, несовершенные инженерные процессы, отсутствие метрик и измеримых индикаторов успеха и т.д.

В рамках данной сессии будет продемонстрирован тактический подход для запуска центра компетенций (Software Security Group), адресующий вопросы как приоритезации, масштабируемости, управления портфелем разрабатываемых приложений в контуре AppSec, так и аспекты мотивации команд. Будет презентована структура фреймворка BSIMM как основа практик AppSec и представлена типовая дорожная карта развития зрелости инженерных организаций. Также будут представлены ключевые слагаемые успеха, необходимые для построения концепции SecDevOps в рамках цикла разработки защищенного ПО (Secure Software Development Lifecycle) вместе с практическими рекомендациями.

Устали слушать о том, как с помощью SELF-DOM-XSS можно захватить предприятия? Повсеместно одни SQL-инъекции в формах логина и полях поиска? Надоел маркетинг инновационных решений, которые позволят защититься от кликджекинга? 

На этом докладе вы ничего этого не услышите. Зато на примерах мы покажем, какие еще простые и в то же время интересные баги встречаются, которые зачастую даже не имеют никакого отношения к платформе или языку, а всего лишь являются следствием типовой ошибки в коде.

Наш доклад на тему, которая практически не имеет подробного описания в интернете. Мы хотим рассказать, как мы (Digital Security) - компания, которая специализируется на анализе защищённости и исследованиях в области ИБ - внедрились в цикл разработки продуктов. Посвятим немного времени SDLC. 

Расскажем историю внедрения своей команды для повышения общего уровня безопасности различных аспектов в уже существующий большой проект. Опишем, как строим свои процессы от общего выделения времени, разделения большого количества различных сервисов на компоненты, до отдельных уязвимостей и применяемых нами тулзов.

В данном докладе будет рассмотрено множество вопросов, с которыми сталкивается AppSec-отдел - как генерировать анти-CSRF токены, где хранить секретные ключи, как тестировать безопасность в сжатые сроки и многое, многое другое.

Я расскажу о том, как мы комплексно интегрируем практики безопасной разработки в жизненный цикл ПО. Рассмотрим наш технологический стек, особенности позиционирования наших сервисов внутри предприятия и применяемые способы вовлечения разработчиков в вопросы безопасности. 

Также рассмотрим кейс с проектом реализации нового мобильного банка, в котором данные практики применялись с самого начала - как они повлияли на ход проекта, и какие результаты были получены.

Современные языки, библиотеки, фреймворки становятся все умнее и умнее, упрощая жизнь разработчика и автоматизируя различные процессы. Но у этого есть и обратная сторона в том, что происходящие внутри процессы не всегда ясны и понятны, и незнание какой-то специфики использования может приводить к различным проблемам в безопасности, вплоть до полной компрометации системы. Как раз такие ситуации и будут отражены в данном докладе, на примере нескольких языков и различных видов сериализации.

Простыми словами расскажем о популярных, эффективных и используемых в нашей компании техниках применения машинного обучения для привлечения и удержания клиентов:
- кластеризации товарного каталога, 
- классификации клиентов (готовых перейти на платный тариф, готовых уйти, способных принести прибыль), 
- повышении релевантности e-mail-рассылок. 

Особое внимание уделим технике использования популярных платформ и библиотек: 
- Apache Spark, 
- Spark MLlib, 
- Hadoop, 
- Amazon Kinesns. 

Отдельно остановимся на особенностях обработки "больших данных", выборе и разработке параллельных алгоритмов.

Мы расскажем о том, как помогаем нашим клиентам тратить меньше сил на отсеивание нерелевантных резюме, которые часто поступают на их вакансии. 

В докладе прозвучат ответы на следующие вопросы:
— Какие бизнес-требования перед нами стояли, и какие решения мы выбрали.
— Какие особенности внедрения в production сопровождали эту задачу (как быстро отранжировать 1М резюме).
— Как мы выбирали алгоритм классификации (LogisticRegression, GradientBoosting, RankSVM, XGBoost).
— Какие результаты мы получили и как их измеряли.
— Какие типы поведения рекрутеров мы обнаружили.

В число задач страховых компаний (авто, страхование имущества, медицинское страхование) входит проверка оказанных (или запрашиваемых) убытков на соответствие условиям страхования. Зачастую данная задача выполняется в ручном режиме с привлечение экспертов. Данная работа неизбежно влечет издержки, а с ростом количества данных становится и вовсе невозможным проверять все убытки. 

Среди российских компаний давно предпринимались попытки алгоритмизировать проверку убытков, но эффект от этого, как правило, не оправдывал ожиданий. Особенно трудно анализировать убытки в области добровольного медицинского страхования из-за сложности и нестандартизованности данной предметной области. 

Страховая компания Allianz первой в России решила применить для этой цели технологии машинного обучения. На сегодняшний день создана пилотная версия системы автоматического поиска аномалий, обученная на результатах проверки экспертами за несколько последних лет. Результаты пилотных тестов показали перспективность дальнейших разработок.

BI-аналитикам необходимо собирать множество различных событий из разных источников - с сайта, мобильных устройств и микросервисов. Чем больше событий - тем лучше. Нужная шина, способная пропускать через себя миллионы событий в минуту.

Из доклада вы узнаете, как устроен Event Stream Processing (ESP) в Avito. В том числе я расскажу, какие требования были заложены на этапе проектирования, почему мы были вынуждены отказаться от fluent в пользу NSQ, как реализован единый регистр типов событий и окружений для всех команд, как экспортировать схемы событий в различные форматы, как мы боремся за эффективное расходование железа и масштабируем ESP.

Прослушав доклад, вы узнаете, как создать отказоустойчивую, масштабируемую систему сбора событий с высокой пропускной способностью.

Cтремительно развивающаяся архитектура Avito предъявляет высокие требования к системе мониторинга. В докладе будет рассказано про централизованный сервис мониторинга, предоставляющий разработчикам возможность самостоятельно отправлять метрики, создавать дашборды, триггеры и нотификации для своих проектов.

Новые микросервисы появляются, но монолит никуда не исчезает. Мы в Avito разрабатываем и деплоим сервисы с помощью связки Docker и Kubernetes. Зачастую интегрировать монолит с сервисами довольно проблематично. А что, если монолит тоже завернуть в Docker+Kubernetes и применять те же практики, что и для микросервисов?

В докладе речь пойдёт о том, как изменилась Dev-среда в Avito в связи с переходом на микросервисную архитектуру. В частности, поговорим про:
- подход "legacy in a box";
- то, как мы решали проблемы с базами и sphinxsearch;
- то, как Docker и Kubernetes помогли нам сократить различия между окружениями; 
- Developer Experience.

Доклад будет полезен как командам, планирующим или переживающим распил монолита, так и всем тем, кому приходится работать со сторонними legacy-системами.

Даже небольшие сервисы рано или поздно сталкиваются с проблемой безопасного хранения и управления секретной информацией: паролями, сертификатами, ключами API. 

В докладе будет сделан краткий обзор Hashicorp Vault, рассмотрены случаи автоматического и безопасного управления секретами с помощью puppet+hiera. Особое внимание будет уделено встроенным секретам Kubernetes: я обозначу проблемы управления ими и недостатки существующих решений для связки с Vault, а также расскажу, как мы преодолели все эти трудности с помощью простого самописного решения.

Доклад будет полезен тем, кто уже столкнулся с проблемой большого количества секретов, а также всем, кто уже использует Kubernetes, или ещё только думает о его внедрении.

Автотека (autoteka.ru) - новый проект, с помощью которого можно проверить историю автомобиля. Для получения данных по конкретному VIN за секунду сервису нужно посетить более 10 сторонних API, а также извлечь заранее собранные данные от дилеров и из других источников, предоставляющих статичную информацию. На этом сложности не заканчиваются, структура данных у каждого источника своя, встречаются пересечения записей по времени. Используя VIN и дату события в качестве уникальных идентификаторов, мы производим слияние по определенному набору правил, что позволяет нам получить выборку событий, интересных для конечного потребителя, исключив оттуда всё лишнее. 

В докладе я расскажу про особенности нашей архитектуры, как мы генерируем отчет, как устроен поиск и агрегация, и для чего мы их выносим в отдельные микросервисы.

Рекомендательные сервисы стали неотъемлемой частью практически любого крупного проекта. Мы готовим рекомендации объявлений, обрабатывая все действия пользователей при помощи машинного обучения.

Писать софт сложно, писать обучающийся софт сложно втройне. Из доклада вы узнаете:
- какие трудности можно встретить при построении архитектуры распределенного пайплайна для обучения моделей;
- как традиционные микросервисы помогают организовывать доставку результатов в продакшн-окружение;
- как не очень традиционные микросервисы помогают нам организовать обучение моделей;
- чем отличаются подходы в ml по сравнению с традиционной разработкой.