Web-scale IT Conf 2016

Ключевой признак инфраструктуры веб-масштаба — горизонтальная масштабируемость посредством унифицированных строительных блоков — на основе x86-узлов, притом без таких традиционных для «корпоративного» (Enterprse-) сегмента элементов, как выделенные сети хранения данных (SAN), выделенные комплексы резервирования, архивирования. Именно на этой особенности веб-масштаба фокусируются аналитики Gartner, когда говорят о центре обработки данных «в стиле Google» и видят будущее в таком подходе и для корпоративного направления IТ. Привлекательность такой унификации и ухода в «веб-масштаб» по части инфраструктуры очевидна, но ведь реальные приложения корпоративных заказчиков, нажитые и выстраданные за долгие годы выбора, внедрений, развития создавались для иных моделей развёртывания. В данном докладе мы попробуем ответить на вопрос — возможно ли, не разрушив это наследие, перейти к «ЦОДу в стиле Google»?

Для ответа на вопрос будут проложены две канвы изложения, в каждой из которых будет «собирательный заказчик», в первом случае — довольно крупная организация из сектора государственного управления, во втором — средняя производственно-логистическая компания. В обоих случаях будет рассмотрен типичный багаж унаследованных приложений — заказные клиент-серверные системы, почта, бухгалтерия, ERP, кадры, внутренний портал, внешний сайт, портал поставщиков, интеграционные модули — и показано, что в подавляющем большинстве вариантов эти приложения могут дружно и совместно переехать в единый пул вычислительных ресурсов, построенный из x86-узлов, и даже без выделенных систем хранения данных. И такой переезд мотивируется не столько идеей «быть современным», сколько осязаемыми технико-экономическими показателями: инфраструктура веб-масштаба позволяет всерьёз экономить на вложениях и обслуживании, и одновременно повышать уровни доступности и надёжности.

Если Google и Facebook собирают для своей инфраструктуры серверы сами, то большинство заказчиков корпоративного сегмента позволить себе такого в силу множества причин не могут. И в ответ на стремление в веб-масштаб вкупе с традиционным характером корпоративного IТ-снабжения на рынке появились гиперконвергентные системы — предконфигурированные инфраструктурные аппаратно-программные комплексы, обладающие заданными свойствами. В докладе будет представлен краткий обзор основных решений и тенденций на этом рынке, некоторый фокус будет сделан на российской платформе — Скала-Р, и представлены мотивы выбора некоторых её инженерных решений.

Но гиперконвергентная архитектура — это лишь введение в веб-масштаб, позволяющее упаковать наследие прошлых лет в современную инфраструктурную форму и обрести некоторые свойства веб-масштаба. Путь к истинным архитектурам веб-гигантов на уровнях платформ и приложений — не так однозначен и прост, и последняя часть доклада будет посвящена перспективным направлениям на этом пути. В частности, будет затронут вопрос «гиперконвергентности» в мире реляционных СУБД и возможного слияния движений SQL и NoSQL в свете трансформации Enterprise → Web-scale.

На сегодняшний день с подачи Gartner уже практически весь мир начал говорить о WebScale технологиях как о принципиальном архитектурном подходе ближайшего будущего, а (по прогнозам того же Gartner) к 2017-му году более половины крупнейших мировых компаний будет применять "веб-масштабируемые" технологии для решения своих бизнес-задач.

К сожалению, большинство игроков мирового рынка поняли WebScale слишком буквально и либо зациклились на гиперконвергенции, преподносимой как прорыв на рынке IT-технологий, либо на создании веб-сервисов для клиентов, при этом чаще всего базирующихся на устаревших технологических принципах.

Истина как обычно гораздо шире и глубже.

Как один из основных участников этого рынка, мы уже прошли множество стадий (включая достаточно узкую "гиперконвергентную" нишу еще в 2009 году) и на сегодня пришли к понятию Xtreme Computing Platform — предоставляя полный стек технологий "снизу-вверх". Мы видим будущее как вертикаль от аппаратных платформ до автоматизации управления облачными платформами.

Почему это именно так, мы и поговорим в моём докладе.

Web-scale — новый взгляд на инфраструктуру центра обработки данных для современных нужд и приложений. Эволюция железного бизнеса. Как FaceBook совершил “открытие” в железной инфраструктуре. 
• Тенденции и принципы развития открытых платформ. Как на наших глазах совершилась революция, которую мы еще не ощутили;
• Новый бизнес-компромисс производителей IТ-железа и ведущих потребителей IТ-инфраструктуры. Как крупный заказчик может заставить работать производителей железа в своих интересах и полностью уйти от зависимости от производителя; 
• “Проблема импортозамещения” – видение и решения проблемы от ведущих мировых потребителей IТ-инфраструктуры. Как уйти от порочной зависимости от производителя оборудования? Переработать, переосмыслить, открыть и заставить всех IТ мировых производителей работать на себя на конкурсной основе.

Организовано сообщество крупнейших мировых заказчиков под знаменами открытых систем. Они приобретают более половины всех серверов в мире. Представьте, только один завод производит для них более 1500 серверов и более 600 систем хранения в день. Все работает очень эффективно и оперативно. С такими объёмами потребления и производства, каждый доллар на счету. Сбой любого процесса или баг в силиконе — катастрофа. Это заставило потребителей и производителей оборудования и разработчиков программного обеспечения совместно переосмыслить все аспекты эксплуатации и производства оборудования. 

Проблемы, которые стояли перед FaceBook и не решались эффективно известными всем традиционными инфраструктурными лидерами индустрии :
• Гиперконвергенция;
• Максимальная унификация;
• Сверхпреемственность и защита инвестиций;
• Энергопотребление и тепловыделение;
• Компактность и плотность платформ;
• Обслуживание и ремонтопригодность;
• Минимизация сервисных затрат.

Уже сейчас разработан ряд унифицированных платформ — от самых простых и привычных для нас до супер производительных для обработки online транзакций. Каждая из них — шедевр инженерной мысли. Представьте себе 30000 GPU core в одном сервере или 100Gb интерконнект серверов в датацентре по цене среднего сервера от популярного в нашей стране бренда. Это позволило Facebook только за один год сэкономить 1 МЛРД долларов! А теперь к этому содружеству присоединился RackSpace, Apple с облаком iCloud и Apple Music, Google, Amazon со своими проектами. Таким образом, такая концепция становится трендом в развитии индустрии.

Разрушающие инновации и гибридная война в железном бизнесе.
• Как бьются титаны-производители IТ железа?
• Какие новые технологии рождаются?
• Кто от этого выигрывает?
• Кому пророчат медленную смерть?
• Что это значит для нас с вами?
• Что из этого доступно в России уже сейчас?
• Каков будет эффект сегодня или завтра от применения таких подходов к построению собственной инфраструктуры?

Все последние "секретные" новости прямо с заводов крупных ODM.
Примеров реализации концепции открытых систем и наших собственных наработок. 

13 техник, не самых экологичных, о которых не пишут в книгах, о которых не принято говорить, но которые нужно знать, чтобы конкурировать с профессиональными продавцами американских вендоров. 

Делать реально крутые инновационные системы в IT и продавать их крупным клиентам — не одно и то же. 

Из доклада вы узнаете принципы корпоративных продаж, которыми пользуются именитые вендоры, но о которых порой не догадываются сами менеджеры по продажам. Какие-то работают на уровне манипуляций, какие-то граничат с корпоративной психопатией. 

1. Звено принятия решения, кто же берет ответственность на себя.
2. 6 категорий интересов, которые нужно учитывать.
3. Доверие или отношения?
4. Продажа через фокса.
5. Кто позвонит первым.
6. Иллюзия контроля.
7. Задача на один контакт.
8. Про «корабли, бороздящие...» или конкретику.
9. Как работать со смежными интересами.
10. Продавать или обучать.
11. Что делать со сторонниками конкурента.
12. Заманить или напугать, с какой спецификации начать.
13. Особенности корпоративной воронки продаж.

Знать про эти техники надо. Пользоваться ли — решайте сами.

Недавно Межведомственная система документооборота Московской области перешла на СУБД PostgreSQL. http://mits.mosreg.ru/multimedia/novosti/glavnie/07-04-2016-16-26-28-msed-moskovskoy-oblasti-perevedena-na-postgresql/

Это важный пример перехода критически важной государственной системы на свободно распространяемое ПО. В докладе будут рассмотрены причины и предпосылки этого перехода, встреченные трудности и экономический эффект.

Постановочные вопросы:

1) Что думает про себя и про информационные технологии сегодняшняя корпорация?
2) Как организация смотрит на результаты своей деятельности и перспективы на рынке?
3) В чем разница целеполагания классической корпорации и Web Evolved компании, и почему им не понять друг друга?
4) Как сделать ценность Web Based IT видимой для корпорации?
5) Как оставаться гибким в негибкой организации и, в конце концов, научить ее меняться?

О пришествии Open Source технологий в enterprise-мир (мир промышленных решений, хотя "энтерпрайз" — термин более точный и уже стал устоявшимся в русском языке) принято говорить либо в стиле победных реляций [1][2], либо с долей злорадства, там где конкретный проект испытывает проблемы [3]. Представители оpen-source сообществ часто говорят, что их технологии (многие из которых сформировались и окрепли в "несерьезном" вебе) взорвали enterprise, и дни проприетарных решений там сочтены. 

Отчасти такие разговоры обоснованы историей рынка операционных систем и прежде всего коммерческих UNIX'ов [4]. Недавние шаги Microsoft в сторону Linux [5] только усиливают hype, а ряд отраслевых экспертов серьезно намекают, что именно такие шаги Microsoft вызваны обеспокоенностью, что MS SQL Server уже не тащит за собой продажи Windows Server как прежде. Энтерпрайз перестроился и теперь семимильными шагами применяет то, что раньше было мыслимо только в вебе. 

Такое объяснение происходящего верно лишь отчасти — подсказывает наш опыт внедрения PostgreSQL как замены коммерческим СУБД. 7 лет назад, предлагая использовать Postgres вместо Oracle в серьезной промышленной системе [6], я мог оперировать очень небольшим набором аргументов в пользу PostgreSQL. Строго говоря, аргумент был один — экономия на лицензиях. И он работал (хотя наверное от меня предпочли бы услышать более глубокий анализ стоимости владения PostgreSQL) — работал лучше, чем если бы я (как делают многие евангелисты Open Source) рассказывал бы о неясной расширяемости, как главном преимуществе mission-critical компонента OSS/BSS систем. Расширяемость и масштабируемость вполне может гипнотизировать людей принимающих решение в вебе, но никак не людей, думающих в категориях коробочных решений и жестких SLA, к ним приданых. Чтобы внедрение PostgreSQL в промышленные решения во всем мире пошло теми темпами, которыми идет сейчас, Open Source сообществу тоже пришлось здорово перестроиться и это только начало. 

Именно об этой перестройке, а точнее о совместной эволюции с enterprise миром в условиях динамически меняющихся факторов внешней среды, я и расскажу в этом докладе. В сравнениях и примерах я расскажу о структуре стоимости владения open-source ПО, такого как PostgreSQL или Linux. Как промышленное внедрение PostgreSQL влияет на эволюцию разработки этой технологии. Особое внимание будет уделено таким сложным для enterprise мира понятиям, как сообщество и взаимодействие с ним, и попробую развернуто ответить на такой распространенный вопрос IT-руководителей, как "в течение какого времени вендор может предоставить патч в случае обнаружения проблемы?". Вместе мы попробуем пройтись по всем этим темам и проанализировать, как они меняют мир свободного ПО и enterprise буквально на наших глазах.

1. http://www.enterprisedb.com/postgres-plus-edb-blog/pierre-fricke/gartner-makes-one-choice-easier-crowded-database-market
2. http://www.infoworld.com/article/3019852/linux/how-linux-won-without-winning.html
3. http://www.welt.de/regionales/bayern/article132976293/Stadt-Muenchen-will-von-Linux-zurueck-zu-Microsoft.html
4. http://www.networkworld.com/article/2168940/servers/the-last-days-of-unix.html
5. http://blogs.microsoft.com/blog/2016/03/07/announcing-sql-server-on-linux/#sm.0000rvvishrvjdfcsp313ofecl602
6. http://www.pgcon.org/2011/schedule/events/286.en.html

Инфраструктура хранения данных современного предприятия отражает историю развития бизнеса и индустрии и зачастую разнородна: проприетарные системы хранения и обработки данных, кэширующие системы, системы хранения данных для Интернет-сервисов.

Всё большее проникновение цифровых технологий в бизнес бросает вызов существующей IТ-инфраструктуре. Для сохранения имеющихся позиций на рынке необходимо обрабатывать всё большие объёмы всё быстрее меняющихся данных.

Проприетарные решения не отвечают этому вызову не только в технологической, но и в экономической составляющей: лицензионная политика, общая стоимость владения часто линейно зависят от объёма обрабатываемых данных, что является недопустимым в условиях шквального роста цифровой составляющей бизнеса.

Облачные решения недостаточно сформировались, с одной стороны, и ограничены в применении, с другой, особенно если речь идёт об обработке персональных данных, либо данных, имеющих жизненно
важное значение для бизнеса.

Единственным возможным на сегодняшний день ответом на вызов digital трансформации является внедрение решений с открытым исходным кодом.

В данном докладе будет изложен опыт такого внедрения в крупную компанию телекоммуникационной индустрии. Речь пойдёт о построении платформы виртуализации данных на основе решения Tarantool.

Преимуществами подхода виртуализации данных являются:
- безболезненная интеграция с существующей IТ-инфраструктурой, платформа может выступать в качестве высокопроизводительного "фасада" к существующим источникам данных;
- чрезвычайно высокая скорость работы с данными;
- возможность работать с данными, а не с источниками, что позволяет внедрять такие универсальные инструменты инфраструктуры как очереди уведомлений об изменении данных, географическое распределение данных;
- снижение издержек и трения при миграции данных в процессе жизненного цикла IT.

Доклад подготовлен совместно архитекторами Mail.Ru Group и ПАО Вымпелком.

Мир меняется, и корпорации меняются следом за миром. GE собирается зарабатывать на данных и создает консорциумы, банки спят и видят обузданный ими блокчейн, Microsoft добавляет Docker в свою операционную систему.

Что же происходит, какие закономерности стоят за этими событиями? Почему web стал ближе к enterprise, и как enterprise догнать web?

В этом докладе я попробую рассказать, как начать строить новый IT в рамках старого enterprise, как при этом надо действовать. Каких ошибок можно избежать, какие новые возможности вы получите.

Доклад основан на 7-летнем опыте внедрения DevOps практик и технологий в компаниях разного размера.

В последнее в время мне довелось много общаться с представителями так называемой веб-культуры. Для меня было открытием, что в России существует такая продвинутая школа разработки, и в условиях сегодняшнего дня, долларовых вендоров и ограничений, все российское становится более чем актуально.
Тем не менее, каждое общение с веб оставляло у меня двойственное впечатление. Либо все было чересчур технично, детально и непонятно, ЗАЧЕМ, либо не было понятно, КАК это все довести до воплощения.

То, с чем пришлось столкнуться — это глубокое непонимание того, как работает IТ-направление в крупной компании, где IТ не является бизнесом, а в лучшем случае оказывает бизнесу поддержку, чаще всего, является сервисным подразделением.

Это непонимание складывается на нескольких уровнях:
- Постановка цели и формирование плана;
- IТ-системы на балансе предприятия как неключевые активы;
- Реальности отношения бизнеса к IТ и роль стратегических партнеров;
- Реализация полного цикла — от идеи и реализации до эксплуатации и утилизации;
- Инерционность корпораций и разрушительность инноваций;
- Приоритеты IТ-департамента и его директора;
- Критерии поиска, выбора и принятия решения;
- Эффективное построение взаимоотношений с IТ-дирекцией предприятия.

Об этом и поговорим.

Идеи из веб, которые мне удалось услышать, кажутся интересными и перспективными, однако предстоит большой путь для того, чтобы люди могли услышать друг друга и, наконец-то, приступить к реальным проектам.

Меняться нужно всем, крупным меняться тяжелее.
Я не скажу вам, КАК лучше работать с корпорациями, могу только показать, ЧТО корпорации ожидают от инновационных партнеров.

В 2012 году открытым правительством Москвы была поставлена задача учета и предоставления достоверной информации о многоквартирных домах и работах, выполняемых управляющими компаниями по их обслуживанию. Для решение данной задачи принято решение использовать лучшее Enterprise решение класса EAM (Enterprise Asset Management) из правого верхнего квадрата Gartner — IBM Maximo. Для наполнения данными применили Web 2.0 подход. Основная  идея: Жилой дом является объектом учёта. Все проводимые работы Управляющими компаниями фиксируются как рабочие задания. Жилищная инспекция совместно с жителями контролируют исполнение.

Мы столкнулись с проблемой неповоротливости и медленности Enterprise решения, которые оказались совсем не HighLoad. При работе с 32000 домов, представленных 2500 конструктивными элементами — каждый на один дом — получалось 80 000 000  Assets (цифровых ресурсов), с которыми система в онлайн режиме работать не могла. 

Обрисовав все вопросы на Maindmap, нашли корень проблемы, стали искать решения в Gartner — не нашли. Решили писать сами с применением Web подходов, ориентированных за задачи бизнеса, а не бизнес-процессов и готовых практик. Результатом стало ядро системы, которое мы назвали «Динамическая Модель».  К нему разработали объектную систему, дающую прямой доступ к кубикам BPM, к объектам антологии, несущей структуру данных со связями, унаследованную из EAM системы. 

Про суть «Динамической модели», «Объектного конструктора» и других модулей web-enterprize системы мы расскажем на конференции. 

К слову, система, построенная на IBM Maximo, занимала 21 сервер, совокупно 400 ядер и 600 Гб ОЗУ. После пересмотра и применения WEB подхода задача заняла 3 сервера с 36 ядрами и 96 Гб ОЗУ, оставаясь при этом серьёзным Enterprise решением.

- Зачем в Enterprise нужен MVP;
- что значит "минимально жизнеспособный" продукт для большой организации;
- как оргструктура влияет на продукт;
- какие ограничения может накладывать Enterprise на MVP;
- какие практики MVP наиболее полезны в Enterprise.

Воплощение идеи сервисной архитектуры и применение web scale подходов начались с разработки Мобильного приложения Почты России. Казалось бы, задача была несложной, но мы сразу натолкнулись на проблемы существующей корпоративной архитектуры. Данные, необходимые приложению, в организации были, но ими было не воспользоваться так, как этого хотелось.

Чтобы достичь быстрого результата, мы делали промежуточные решения — собственные сервисы с копиями мастер-данных. Кроме того, пришлось кэшировать данные из legacy-систем, которые не могли обеспечить требуемые время ответа, доступность, устойчивость к нагрузке.

Промежуточные решения развивались, улучшались с точки зрения универсальности и надежности и постепенно заняли центральное место в сегодняшнем IT-ландшафте организации. К ним относятся новый сервис отслеживания почтовых отправлений и корпоративная шина данных.

В итоге разработка Мобильного приложения завершилась не только появлением полезного продукта, который работает на улучшение имиджа Почты России в глазах пользователей. Не менее важные для нас результаты — это технологический сдвиг в корпоративной архитектуре организации и изменение в подходах наших коллег, которые также делают новые сервисы.

В “классическом” энтепрайзе правят водопадные процессы. Это позволяет снизить затраты на старт новых проектов, но сильно ухудшает время Time to market. Переход на гибкие методологии позволяет это время значительно улучшить. Это очень не просто. Каждая команда разработки страдает от большого количества зависимостей. И в большой организации таких зависимостей настолько много, что представленный самому себе Agile в такой команде через какое-то время может и помереть. Перестраивать организацию процессов приходится полностью, сверху донизу.

Мы поговорим про специфику внедрения Agile в крупной организации, сравнив две компании — типичную крупную веб-компанию и классический “кровавый энтепрайз”.