PgConf.Russia 2017

15-17 марта 2017
Москва, Россия
Купить видео
В избранное

Иван Панченко

Заместитель генерального директора в Postgres Professional

Павел Лузанов

Руководитель образовательных программ в Postgres Professiona

Егор Рогов

Руководитель образовательных программ в Postgres Professional

Алексей Мергасов

Основатель и CTO в NoXA Data Lab

Олег Алексеев

Технический директор в МойСклад

О мероприятии

PgConf.Russia 2017 — всероссийская конференция международного уровня. Она прошла в третий раз и собрала разработчиков СУБД из разных стран, а также представителей крупных российских компаний всех отраслей и органов власти.

Для кого

  • Техническим директорам
  • Тимлидам
  • Разработчикам
  • Системным администраторам
  • Архитекторам данных
Поделиться

Расписание

Развернуть все
15 марта (среда)
День 1
Показать
цену в
$
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Иван Панченко

Заместитель генерального директора в Postgres Professional

Открытие конференции


Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Павел Лузанов

Руководитель образовательных программ в Postgres Professiona

Обзор средств для отладки, профилирования и трассировки серверного кода

Отладка, профилирование и трассировка выполняемых команд являются важной частью процесса разработки любых приложений. Это актуально и при разработке хранимых процедур в СУБД.

PostgreSQL предлагает различные инструменты (как встроенные, так и сторонние) для решения этих задач.

В докладе представлен обзор имеющихся средств, с описанием сильных и слабых сторон. А также подробная демонстрация примеров использования.

Представленный материал является частью базового курса для разработчиков серверной части приложения (DEV1), который компания “Постгрес Профессиональный” планирует анонсировать в ближайшее время.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Егор Рогов

Руководитель образовательных программ в Postgres Professional

ProBackup: быстро, надежно, инкрементально

Современное состояние средств резервного копирования для PostgreSQL определенно оставляет простор для улучшений. Штатные средства дают исключительно базовую функциональность, сторонние инструменты решают некоторые, но не все, проблемы. Для того, чтобы резервная копия была надежной, могла выполняться быстро и инкрементально на уровне страниц, нужна в том числе и поддержка со стороны базы данных. На мастер-классе мы расскажем про новый инструмент резервного копирования и восстановления ProBackup, который мы разрабатываем в нашей компании, и покажем его в действии.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
16 марта (четверг)
День 2
Показать
цену в
$

Алексей Мергасов

Основатель и CTO в NoXA Data Lab

Эффективная работа с 10+ ПБ данных в PostgreSQL или новая парадигма построения "бережливых" инфраструктур данных для Data-Drive

Алексей расскажет о технических деталях и опыте применения подхода экстремальной нормализации данных для создания инфраструктур данных с уникальными потребительскими характеристиками. В сравнении с решениями лидеров рынка такие инфраструктуры обладают, например, такими преимуществами, как: - оперативная обработка 10 ПБ данных и больше, - в 2-6 раз более высокая производительность, - сквозная 100% консистентность данных, - практически линейная горизонтальная масштабируемость, - в 4-10 более низкая стоимость владения, - и т. д. Изложенный подход уже нашел применение за пределами России в решениях для операторов связи, ритейла, финтеха, современном производстве (Industry 4.0, индустриальный IoT), в государственном секторе.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Олег Алексеев

Технический директор в МойСклад

Полуавтоматические конверсии схемы данных в МойСклад

В процессе построения и эксплуатации сервиса МойСклад был разработан и поддерживается механизм для полуавтоматической корректировки схемы базы данных. В докладе - история появления и развития, варианты поддерживаемых конверсий.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Marco Slot

Главный инженер-программист в Citus Data

Ускоряясь до миллиона записей в секунду: масштабирование PostgreSQL с помощью Citus MX

Инструмент Citus позволяет распределять таблицы PostgreSQL между несколькими серверами. Расширяя возможности PostgreSQL в плане делегирования и распараллеливания задач между группой рабочих узлов, Citus позволяет горизонтально масштабировать CPU-ресурсы и память для выполнения запросов.

Год назад мы ступили на долгий путь реализации в Citus возможности горизонтального масштабирования в новом измерении - для повышения скорости записи. Так как все запросы на запись обрабатывались через один узел PostgreSQL, скорость записи в Citus ограничивалась CPU-ресурсами одного узла. Citus MX - это новая версия Citus, которая предоставляет доступ к распределенным таблицам с любого узла, обеспечивая повышение скорости записи до уровня NoSQL решений. Мы рассмотрим основные технические проблемы реализации, с которыми нам пришлось столкнуться, такие как DDL репликация, блокировка на уровне кластера, восстановление после отказа и добавление узлов. Мы также покажем, как динамическое изменение настроек pgbouncer позволяет достичь линейной масштабируемости, и какой производительности нам удалось добиться на данный момент.

В доклада мы продемонстрируем использование Citus MX для распределения нагрузок в сфере интернета вещей (IoT).

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Markus Nullmeier

Software developer в University of Heidelberg

Оптимизация запросов к данным типа “множество” с помощью индексов GIN, GiST, и пользовательских расширений для индексирования

Очевидно, что множества удобно использовать в различных типах приложений. Хотя в PostgreSQL и нет встроенного типа для множеств, до некоторой степени их можно смоделировать с помощью встроенных типов “массив” и “JSONB”. Кроме того, возможность ускорения запросов с операциями вхождения уже встроена в реализацию индексов GIN.

После краткого обзора существующей функциональности, мы рассмотрим, как добавление пользовательских типов “множество” и, в частности, модификация кода на С ("классы операторов") для индексов GIN и GiST, может повысить производительность. Затем мы продемонстрируем реализацию специализированного типа “множество”, в котором следующие друг за другом целые числа сжимаются с помощью группового кодирования (run-length encoding). На это решение нас вдохновил метод пространственной тесселяции, используемый в астрономии, где ни GIN, ни GiST не могут обеспечить эффективное индексирование. Начиная с версии PostgreSQL 9.6, вы можете добавлять в PostgreSQL свои собственные полноценные типы индексов как обычные расширения PostgeSQL.

RUM – одно из таких расширений, разработанное в компании Postgres Professional. Оно представялет собой усовершенствованную реализацию индексов GIN. Мы продемонстрируем свою модифицированную версию RUM – "OUZO". Используя особый способ обработки данных типа “ключ” (т.е. элементов множества), мы реализовали возможность группового кодирования для множеств. Это позволяет применить эффективные механизмы индексирования для сжатых множеств. Мы также обсудим такое свойство GIN, RUM, и (временно) OUZO, как запрет на удаление ключей, с точки зрения производительности в OUZO.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Белобородов

Технический директор в UIS, CoMagic

Опыт использования PostgreSQL в проектах UIS, CoMagic

Мы используем PostgreSQL с 2003 года и прошли путь от базы в пару гигабайт до кластера с текущим размером более 5Тб. Текущие кол-во таблиц > 700, число хранимых процедур ~1500. Чем готовы поделиться: - рассказать о проблемах, с которыми пришлось сталкиваться на разных этапах развития и найденными решениями - наработанными практиками администрирования - мы работаем с несколькими базами, которые тесно связаны друг с другом, используем для этого свое расширение - у нас работает несколько команд, и есть выработанная методика и инструменты, которые позволяют им не мешать друг другу - мы используем много различных стендов для тестирования, готовы рассказать по какому принципу и как мы их поднимаем - ну, и конечно, про оптимизацию, поиск узких мест и ситуаций, с которыми нам приходится сталкиваться при нагрузках

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Сергей Мирвода

Сооснователь в Октоника

Аналитика в сёла! Опыт внедрения BI системы, функционирующей на ограниченном или разделяемом железе

Опыт разработки с нуля, внедрения и развития BI системы http://colibri365.ru для анализа данных в государственных органах. Современные реалии в муниципалитетах РФ, как мы с этим живём. Выжимание производительности из постгреса, использование новейших функций, переписывание запросов, чтобы оптимизатору было проще и другие особенности нашей системы. Приведшие к написанию 4 научных статей и 4 патчей к PG, подробнее о которых в докладах Андрея Бородина.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Айнур Тимербаев

Аналитик данных в Aviasales

Опыт внедрения Greenplum в Aviasales

После того как в компании стало копится много данных для анализа перед нами стал вопрос поиска колоночной бд, ибо обычный Postgresql уже не справлялся с объемами. Изучив рынок мы остановились на Greenplum, в докладе я расскажу про то почему мы выбрали именно его, опыт внедрения и эксплуатации и о том как мы делали мониторинг для него

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Кремер

Администратор баз данных в МИА "Россия Сегодня"

Сборка PostgreSQL из исходников для системных администраторов

  • зачем собирать PostgreSQL из исходников?
  • выбор опций сборки
  • зависимости
  • создание системного окружения
  • базовые настройки Linux для работы PostgreSQL
  • дополнительное ПО, облегчающее жизнь администратора PostgreSQL
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Камиль Исламов

Разработчик СУБД в Троник

Совместное использование хранимых процедур Postgres и ORM на примере Django

Приводятся некоторые примеры и приёмы в проектировании архитектуры Web-приложений с совместным использованием технологий ORM с применением хранимых процедур Postgres на примере Python Django. Рассматриваются варианты реализации бизнес-логики в рамках СУБД с сохранением преимуществ Django и применения встроенной админ-панели.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Филипп Дельгядо

Разработчик в OOO ИТИС

Сложные структуры без ORM

Я очень люблю сложные предметные области, строгую типизацию в приложении и 3НФ, но очень не люблю ORM. Поэтому мне приходится активно использовать хранение сериализованных структур в json-полях (даже до появления типа json). В докладе расскажу о некоторых особенностях работы с хранением сложных объектов внутри полей СУБД, расскажу где и как подстелить себе соломку и какие проблемы могут возникнуть.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Гребенщиков

Заместитель Директора в Диасофт Платформа

Практический опыт миграции с Oracle и MS SQL Server на PostgreSQL с помощью технологии Database Adapter

Практический опыт миграции с Oracle и MS SQL Server на PostgreSQL с помощью технологии Database Adapter.

Технология миграции: - Эмуляция протоколов взаимодействия клиент-сервер. - Миграция из одной СУБД в другую, критичные отличия и способы решения. - Обзор успешных проектов. - Референс: Рассказ об опыте миграции от Босс Кадровик при участии заместителя генерального директора АО "БОСС. Кадровые системы" Гусева Михаила Анатольевича.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Максим Вихарев

Технический директор в Alytics

Использование PostgreSQL в сервисе автоматизации контекстной рекламы Alytics для near-realtime обработки смешанной нагрузки OLT

В слое хранения, используя PostgreSQL с самого старта разработки, мы прошли путь от небольшого кластера на виртуалке до многохостовой системы, которая обеспечивает near real-time обработку смешанной OLTP-OLAP нагрузки. В этом докладе собираюсь рассказать про основные этапы развития нашего аналитического решения на уровне приложения и инфраструктуры, особенности эксплуатации PG, которые возникали в процессе.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Филипп Дельгядо

Разработчик в OOO ИТИС

Особенности реализации распределенного workflow на PostrgeSQL

При реализации сложной бизнес-логики часто возникает необходимость в реализации workflow - цепочки обработки из нескольких шагов, каждый из которых представляет из себя независимый кусочек бизнес-логики. Обычно для этого используются специализированные очереди, но при высоких требованиях к надежности имеет смысл все сделать на PostgreSQL.

В докладе немножко расскажу о задачах, приводящих к необходимости реализации workflow, предложу решение, сравню его с другими вариантами, расскажу о подводных камнях при реализации.

В основном буду обсуждать особенности взаимодействия СУБД и Application Level

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Владимир Бородин

DBA в Яндекс

Пул соединений в масштабе

Многие знают, что соединения в PostgreSQL дорогие, а потому их надо экономить. Для решения этой задачи давно есть PgPool-II и PgBouncer. В Яндексе никого не удивить десятками тысяч соединений к одной базе и с незапамятных времён мы используем pgbouncer. В этом докладе я расскажу о проблемах, с которыми мы сталкивались, и способах их решения.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Белявский

Ведущий специалист в ТЦИ

Криптография в реляционных СУБД

При работе с данными существует необходимость криптографической защиты некоторых данных. Презентация описывает некоторые задачи, которые можно решить с помощью криптографии, и правильные подходы к применению криптографии при разработке приложений, использующих СУБД. Отдельно рассказывается от последних результатах, достигнутых в части применения криптографии в PostgreSQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Александр Алексеев

Программист в Postgres Professional

ZSON, расширение PostgreSQL для прозрачного сжатия JSONB

ZSON - это расширение PostgreSQL для прозрачног сжатия JSONB-документов. Сжатие основывается на использовании разделяемого словаря строк, наиболее часто используемых в заданных JSONB документах (не только ключей, но также и значений, элементов массивов, и т.д.) В некоторых случаях ZSON может сэкономить до половины дискового пространства и увеличить количество TPS на 10% за счет меньшего I/O.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Внутреннее устройство подсистемы ввода-вывода Linux для администраторов PostgreSQL

Вопросы производительность ввода-вывода всегда были на повестке дня DBA всё время, пока существуют базы данных. Объемы данных быстро растут и важно, чтобы чтение с диска, и особенно запись на него, оставалась быстрой.

Для большинства СУБД сравнительно легко найти готовый чеклист по рекомендуемым настройкам Linux для максимизации производительности ввода-вывода, и он, как правильно, действительно хорош. Однако всегда полезно понимать, как и почему эти настройки работают.

В этом докладе будет объяснено, как работает подсистема ввода-вывода в Linux, как страницы данных PostgreSQL попадают с диска в разделяемый буфер и обратно, и с помощью каких механизмов можно управлять этими процессами. Также будут затронуты структуры данных в памяти, swap- и pageout- демоны, файловые системы, шедулеры и способы ввода-вывода.

Кроме того, мы обратим внимание на разницу подхода к устройству ввода-вывода в различных СУБД - PostgreSQL, Oracle и MySQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Мельник

Разработчик в ИСП РАН

Динамическая компиляция SQL-запросов в PostgreSQL с использованием LLVM JIT

В данный момент в PostgreSQL для исполнения SQL-запросов применяется интерпретатор, реализующий модель итераторов (Volcano-модель). В то же время можно добиться существенного ускорения, выполняя динамическую компиляцию запроса «на лету». В этом случае можно генерировать код, специализированный для конкретного SQL-запроса, а также применять компиляторные оптимизации, учитывая, что во время выполнения уже известна структура используемых таблиц и типы данных. Такой подход особенно актуален для сложных запросов, скорость выполнения которых ограничена производительностью процессора. В докладе будет рассмотрено применение динамической компиляции с использованием компиляторной инфраструктуры LLVM для ускорения различных этапов выполнения SQL-запросов: - компиляция выражений; - компиляция методов сканирования, агрегации, сортировки и объединения, используемых в плане выполнения запроса; - компиляция построения индексов; - сохранение скомпилированного кода для PREPARED операторов для ускорения OLTP запросов.

Кроме того, будут рассмотрены изменения в архитектуре PostgreSQL, необходимые для эффективного применения динамической компиляции. Так, необходимо перейти от используемой в PostgreSQL модели итераторов к модели явной итерации ("push"-модели), т.к. особенности первой модели (виртуальные вызовы и сохранение внутреннего состояния в узлах дерева плана) не позволяют динамическому компилятору эффективно оптимизировать код.

Также будет рассмотрен метод автоматической кодогенерации во время динамической компиляции кода встроенных функций СУБД, используемых в запросах, который позволяет использовать один и тот же исходный код как для JIT-компилятора, так и для интерпретатора.

В результате применения предлагаемого подхода удалось добиться существенного ускорения на наборе тестов TPC-H. Для динамической компиляции выражений ускорение составляет 20% (код опубликован в открытом доступе: github.com/ispras/postgres). Для разработанного расширения PostgreSQL, реализующего описанные оптимизации на всех этапах выполнения запроса, на том же наборе тестов получено ускорение до пяти раз.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Hans-Jürgen Schönig

CEO в Cybertec Schönig & Schönig GmbH

Миллиард строк в секунду на PostgreSQ

Базы данных растут в размерах, так что нужда обрабатывать огромные объемы данных в реальном времени становится все острее. Пока производители коммерческих СУБД хвастаются своими возможностями, мы решили чуточку улучшить PostgreSQL, чтобы показать его возможности в переваривании более миллиарда строк в секунду, просто для демонстрации возможностей open source.

Тем, для кого миллиард строк в секунду - немного, сообщаем, что это не предел, возможности гораздо больше. Приходите посмотреть, как мы делаем это.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Николай Сивко

Сооснователь в okmeter.io

Диагностика postgresql с точки зрения системного администратора (не DBA)

Часто бывает так, что у вас уже есть postgresql в production, но нет выделенного DBA. Для того, чтобы база данных не была для вас черным ящиком, я расскажу как диагностировать различные проблемы в ходе эксплуатации постгреса. Мы попробуем разобраться, как ответчать на "бытовые"" вопросы обычного системного администратора: - все ли хорошо с базой сейчас - на что тратятся ресурсы сервера БД - что в первую очередь оптимизировать, чтобы уменьшить потребление ресурсов

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Антон Сикерин

Специалист по транспортному планированию, Инженер-программист в ООО "Транспортная интеграция"

PostgreSQL в задачах транспортной аналитики при проектировании мастер-плана для ЧМ-2018 в Екатеринбурге

1) О Чемпионате мира по футболу 2018 и поставленных задачах;

2) Инструментарий отдела моделирования и аналитики;

3) Аналитика пассажиропотоков аэропорта Кольцово и железнодорожного транспорта дальнего и ближнего сообщения (Яндекс.Расписания);

4) Анализ населенности и занятости населения (2ГИС);

5) Прокладка маршрутов клиентских групп с автоматическим выводом метаинформации и сборка отчетных материалов (PostgreSQL + QGIS + Python + LaTeX);

6) Развертывание карт-сервера для предоставления доступа к маршрутам заказчику (Ubuntu + PostGIS + QGIS-Web-Client)

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Иван Панченко

Заместитель генерального директора в Postgres Professional

Два года профессионального постгреса

Краткий рассказ о том, чего за 2 года работы добилась компания Postgres Professional.

  • наши достижения в разработке PostgreSQL.
  • что такое российская СУБД Postgres Pro и как она соотносится с PostgreSQL
  • что такое Postgres Pro Enterprise и почему Enterprise.
  • что с учебными курсами и сертификацией?
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Олег Иванов

Разработчик в Postgres Professional

Адаптивная оптимизация запросов в PostgreSQL

Оптимизация запросов является важной задачей, решение которой существенно влияет на производительность СУБД, особенно при выполнении сложных запросов. В докладе будет рассмотрен оптимизатор запросов PostgreSQL, и, в частности, задача определения мощности вершины с зависимыми условиями, которая является одной из самых известных проблем стоимостных оптимизаторов. Предлагается решение этой проблемы, использующее методы машинного обучения и доступное в виде расширения с патчем для PostgreSQL 9.6. В докладе приводятся результаты экспериментального исследования предложенного решения, обсуждаются его плюсы и минусы, а также область применимости.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Юрий Жуковец

Ведущий специалист в Digital Design

Миграция Системы документационного управления «Приоритет» с MS SQL на Postgres

Доклад посвящён миграции Системы документационного управления «Приоритет» в рамках идеологии импортозамещения с MS SQL на Postres 9.5 и выше. Будут затронуты особенности архитектуры решения и сложности с которыми столкнулись при миграции T-SQL кода на pgsql и как они были решены.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Олег Бартунов

Научный сотрудник в ГАИШ МГУ

JSON в PostgreSQL: дорожная карта

В прошлом году был принят стандарт ISO/IEC 9075-2:2016, в котором наконец-то был стандартизирован синтаксис и семантика JSON и операций над ним в языке SQL. В докладе будет рассказано о требованиях этого стандарта и чем они отличаются от реализации JSON/JSONB в PostgreSQL, в частности, о JSON Path (аналог XPath для XML), о SQL/JSON функциях и о том, что мы планируем сделать в PostgreSQL для соответствия стандарту.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Игорь Чижевский

Архитектор в ФГБУ НИИ "Восход"
и ещё 5
докладчиков

Восход PostgreSQL на Эльбрус

Тотальное импортозамещение: не только Эльбрусы, но только хардкор. Практический опыт использования PostgreSQL на отечественном оборудовании в одной из важных государственных информационных систем.

В докладе будет рассказано о практике применение отечественного оборудования и свободного ПО, включая PostgreSQL, для миграции центра обработки данных государственной информационной системы, использовавшей оборудования и ПО IBM. Будет рассказано о применённом подходе и технологиях миграции БД “наживую” без останова работы Системы с IBM DB2 на PostgreSQL, о оптимизациях PostgreSQL для использования на процессорах Эльбрус, о практическом опыте эксплуатации cистемы. В докладе примут участие разработчики и эксплуатационщики информационной системы, представитель разработчиков Эльбрус и PostgreSQL-Consulting.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Миграция с MongoDB на PostgreSQL

MongoDB – популярная NoSQL CУБД, используемая в основном для работы с OLTP системами. Но из-за отсутствия требований ACID (в частности, транзакций как таковых), а также серьезных проблем с производительностью при работе с OLAP/DW нагрузками, все больше пользователей MongoDB рассматривают возможность перехода на реляционные СУБД, выбирая зачастую именно PostgreSQL. Это открывает перед сообществом PostgreSQL большие возможности по “обращению” пользователей из NoSQL в SQL. В этом докладе мы расскажем о сложностях, с которыми сталкиваются пользователи MongoDB, и представим соверменные инструменты и open-source решения, с помощью которых можно осуществить миграцию на PostgreSQL в режиме реального времени или через процесс ETL. В частности, мы обсудим ToroDB Stampede – open-source решение, которое создает реплику MongoDB в режиме реального времени, конвертирует документы JSON в реляционные таблицы и сохраняет данные в PostgreSQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Михаил Шурутов

Инженер по техническому обслуживанию баз данных в Postgres Professional

Автономные транзакции в Postgres

  1. Определение автономной транзакции.
  2. Обзор возможностей автономных транзакций в "больших" СУБД: Oracle.
  3. Логика работы автономных транзакций PostgresPro.
  4. Обзор средств эмуляции автономных транзакций в PostgreSQL.
  5. Сравнение скорости работы встроенного механизма автономных транзакций PostgresPro и средств эмуляции PostgreSQL.
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Иван Фролков

Разбработчик в Постгрес Профессиональный

Отчуждаемые таблицы в PostgresPro

Большие потоки данных нередко могут создавать проблемы даже с самой их загрузкой в БД - кроме загрузки собственно данных необходимо создавать для них индексы, проводить после загрузки VACUUM как для корректной работы Index-only scans и т.п. О том, как можно если не избежать этих проблем, то, по крайней мере, в значительной степени избежать их и посвящен этот доклад.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Андрей Фефелов

CTO в Mastery.pro

Postgres как основа BI платформы, особенности, практический опыт

В докладе я расскажу почему Postgres отлично подходит как BI платформа для решения классических OLAP-задач.

Будет дан краткий обзор доступных open source BI решений. Расскажу об архитектуре нашего решения (snowflake scheme), как мы делаем Extract Load Transform, настройках Postgres для специфических профилей нагрузки. Также упомяну о том, как мы пытались использовать Postgres в виде колоночной базы данных (cstore_fdw от Citus) и что из этого вышло. В конце доклада кратко расскажу про минусы и проблемы нашего подхода.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Суша

Начальник отдела по миграции и модернизации баз данных в Испаер Системс

Автоматизация перехода в PostgreSQL с других баз данных

В докладе будет освещена автоматизация перехода в PostgreSQL c других баз данных с помощью Ispirer Migration and Modernization Toolkit. Будут затронуты вопросы миграции данных и SQL кода, конвертации клиентских приложений, встроенного SQL и API баз данных, рассмотрены примеры осуществлённых проектов по миграции из Oracle в PostgreSQL и из Microsoft SQL Server в PostgreSQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
17 марта (пятница)
День 3
Показать
цену в
$

Движущиеся цели в PostGIS

Для хранения и обработки пространственных данных в Postgres существует расширение PostGIS. В нём обычно рассматривается обычная Евклидова плоскость без времени и неопределённости, но реальный мир зачастую сложнее. Посмотрим, как можно сделать так, чтобы тысячи машинок плавно ездили по карте OpenStreetMap в реальном времени с помощью Postgres.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Ильдар Мусин

Разработчик в Postgres Professional
и ещё 1
докладчик

Секционирование с pg_pathman

Секционирование в PostgreSQL - давно ожидаемый функционал. И хотя в Postgres возможно реализовать секционирование через наследование, такой подход имеет ряд недостатков, таких как необходимость вручную создавать секции и поддерживать триггеры, значительные накладные расходы на планирование и отсутствие оптимизаций времени выполнения. В докладе мы расскажем про расширение pg_pathman, над которым мы работаем. pg_pathman поддерживает HASH и RANGE секционирование и выполняет оптимизации на этапах планирования и исполнения, поддерживает быструю вставку за счет отказа от триггеров в пользу Custom Node, содержит функции для управления секциями (add, split, merge и др.), поддерживает FDW, неблокирующую миграцию данных и другие возможности. Мы также расскажем об интеграции pg_pathman в PostgresPro Enterprise Edition и поддержку Oracle-подобного синтаксиса для секционирования. В завершение мы расскажем о новых возможностях секционирования в PostgreSQL 10, что реализовано и пути дальнейшего развития.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Алексей Лесовский

PostgreSQL DBA в DataEgret

Поиск и устранение проблем при эксплуатации потоковой репликации

Потоковая репликация появилась в PostgreSQL в 2010 году и практически сразу же стала очень популярной. В настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, высокопроизводительна и легка в настройке. Однако несмотря на все свои положительные качества, в её эксплуатации могут возникать различные проблемы и неприятные ситуации. Для диагностики и решения проблем связанных с потоковой репликацией есть как встроенные в PostgreSQL средства так и сторонние утилиты. В этом докладе я сделаю обзор инструментов и расскажу как с помощью этих средств диагностировать и устранить проблемы связанные с потоковой репликацией. Также рассмотрю проблемы которые возникают чаще всего при эксплуатации потоковой репликации и методы их решения. Доклад будет полезен DBA и системным администраторам. 

  • Как устроена потоковая репликация и что такое wal sender/wal receiver
  • Основные настройки репликации в postgresql.conf: wal_level, hot_standby, max_wal_senders, wal_keep_segments, и какие проблемы можно получить при их настройке
  • представление pg_stat_replication, описание и ее роль в траблшутинге (определение лага)
  • pg_*_xlog* функции как дополительный инструмент статистики
  • рассмотрение "replication lag" (bytes, seconds) - как определять, где лаг и почему (io,network,cpu,etc), решения
  • рассмотрение блоата pg_xlog/: причины (autovac, long xacts) и решения
  • длинные транзакции и ошибки восстановления (recovery conflicts): инструменты (pg_stat_databases, pg_stat_databases_conflicts, postgresql.conf), какие возникают проблемы, почему это плохо и методы решения
  • частный случай лага репликации: recovery process - 100% cpu usage: причины, как заглянуть внутрь, как облегчать.
  • итоговый обзор 3rd party tools: iostat, nicstat, top, pgcenter, perf, /proc
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Александр Кукушкин

Database Engineer в Zalando SE

Отказоустойчивый PostgreSQL кластер с Patroni

В современном мире всё больше и больше IT компаний отказываются от традиционных способов хостинга и переносят свои ресурсы в облачные сервисы. Zalando не стала исключением. Взрывной рост компании и переход к модели микросервисов потребовал внести изменения в процесс деплоймента новых инстансов баз данных и решить проблему автоматического переключения в случае выхода мастера из строя. Большинство существующих решений для автоматического переключения требуют предварительной ручной настройки каждого узла до запуска кластера. Такой подход определенно неприемлем в облаках, где ты заранее не знаешь IP адресов всех узлов. Patroni использует Etcd, Zookeeper или Consul для хранения информации о состоянии кластера и конфигурационных параметров PostgreSQL. Он способен помочь с автоматизацией failover, автоматическим подключением новых узлов к кластеру, изменением конфигурационных параметров PostgreSQL на всех узлах и рестартом одного или всех узлов кластера в заданное время. На данный момент у нас в Zalando под управлением Patroni работает примерно сотня кластеров в AWS и несколько десятков кластеров в классическом датацентре.

Patroni является открытым программным продуктом и поддерживается компаний Zalando и сторонними разработчиками на http://github.com/zalando/patroni

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Александр Коротков

Ведущий разработчик в Postgres Professional

RUM-индексы и их применение

Я представлю новый метод доступа, который расширяет имеющиеся возможности GIN-индексов, используя дополнительную информацию, хранящуюся в списке/дереве идентификаторов. Например, дополнительная информация о позициях позволяет новому методу доступа возвращать результаты по релевантности, что может значительно сократить время исполнения полнотекстовых запросов. Это также может ускорить фразовый поиск, так что данный метод будет весьма эффективным при полнотекстовом поиске. Сохранение временных меток открывает перед нами несколько интересных возможностей – мы можем отсортировать результаты по времени (например, свежие статьи, удовлетворяющие полнотекстовому запросу) на основе временных меток как таковых или сохраненных указателей, упорядоченных по временным меткам. Оба способа обеспечивают на порядок большее ускорение для таких типов запросов.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Roland Sonnenschein

CEO в Hesotech GmbH

Оптимизация PostgreSQL для реальных промышленных систем

Зачастую по требованию клиента или даже закона необходимо документировать специфику производства продукта в целом и его частей. Этот доклад посвящен теме автоматической генерации и хранения соответствующей административной информации. К административной информации относятся такие данные как номер поставки, артикул, серийный номер, дата изготовления. Такие данные часто обмениваются с ERP-системами.

Разработку таких приложений можно значительно упростить, если использовать NoSQL-функциональность PostgreSQL, особенно json и jsonb. Если структура БД отражает логику производственного процесса, то это даст дополнительные преимущества.

Мы рассмотрим наш подход к такой оптимизации на примере реального проекта по отслеживанию контейнеров с товарами в процессе производства. Каждый контейнер проходит через более чем 50 этапов, и все действия на каждом этапе производства должны быть задокументированы. В рамках доклада будет представлена симуляция процесса для более продробной иллюстрации решения.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Aleš Zelený

Менеджер департамента хранения данных в Česká spořitelna a.s.

Введение в PostgreSQL для Oracle DBA

Этот доклад будет интересен как Oracle DBA, рассматривающим PostgreSQL как альтернативную реляционную СУБД в своем портфолио, так и PostgreSQL DBA, которые хотят сравнить Oracle и PostgreSQL. Этот доклад не является руководством по миграции или призывом использовать ту или иную платформу. Мы сравним общую структуру обеих платформ с точки зрения конфигурирования памяти, логические структуры данных и их физическое представление, затронем некоторые вопросы безопасности, а также рассмотрим имеющиеся инструменты резервного копирования и восстановления данных. Мы не затронем тему контейнерных баз данных Oracle. Этот доклад нацелен прежде всего на то, чтобы помочь Oracle DBA избежать некоторые трудности, с которыми они могут столкнуться при знакомстве с PostgreSQL, и начать полноценно использовать PostgreSQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Radoslav Glinsky

Разработчик БД в Skype

Тестовая среда по требованию

Вы тестируете свои релизы PostgreSQL в специально настроенной тестовой среде, прежде чем залить их в продакшен? Вы уверены, что ваша тестовая среда соответствует требованиям продуктовой среды и находится в актуальном состоянии?

В компании Skype мы сталкиваемся c разнообразными проблемами, связанными с тестированием баз данных: - Обобщение и отражение в тестовой среде всего многообразия вариантов продуктовой среды для тысяч реализаций PostgreSQL, связанных с удаленным вызовом процедур (RPC) и репликациями, серверной инфраструктурой, а также внешними скриптами БД. - Постоянно растущие требования к поддержке новых аппаратных средств, недостаточная очистка тестовых данных. - Различия между тестовой и продуктовой средой со временем накапливались. Выявление новых проблем и приведение тестовой инфраструктуры в соответствие продакшену отнимало много сил и времени.

Вместо того, чтобы постоянно бороться с новыми проблемами, мы в Skype решили пойти другим путем – полностью перестроить нашу тестовую инфраструктуру для PostgreSQL на основе реальной продуктвой среды! Мы делаем это регулярно, или когда требуется. Мы полностью автоматизировали клонирование продуктовой среды в упрощенный вариант тестовой: восстановление структур данных, процедур, ролей, репликаций, внешних скриптов БД, конфигураций, и т.д., включая даже механизмы аварийного переключения БД, создаются автоматически. Мы также разработали решение для сохранения индивидуальных настроек и данных для конкретных тестовых сценариев в обновленных версиях. В результате сегодня мы уверены, что наша тестовая инфраструктура полностью соответствует продуктовой. Она не устареет и не “раздуется”. И мы можем легко создать столько ее копий, сколько нужно. Поддержка тестовой инфраструктуры стала гораздо проще, и мы хотим поделиться нашим опытом с сообществом PostgreSQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Вагин

Ведущий разработчик баз данных в Avito

Мониторинг PostgreSQL в Авито, с примерами

Небольшой доклад о том как Avito собирает и мониторит нагрузку на базы данных. Отправка метрик из хранимых процедур в Graphite. Сбор метрик pg_stat* и отображение их в Grafana. Примеры из жизни.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Jean-Paul Argudo

Сооснователь и генеральный директор в Dalibo

temBoard – новый инструмент для PostgreSQL

Команда Dalibo уже много лет выпускает open-source инструменты для работы с PostgreSQL наряду с другими программными решениями (см. http://dalibo.github.io/).

В этот раз я расскажу о temBoard, новом инструменте удаленного управления БД PostgreSQL. Данный проект доступен по ссылке https://github.com/dalibo/temboard.

temBoard позволяет осуществлять мониторинг состояния БД, контроль за выполнением процессов, удаленную настройку параметров и задач... А в будущем мы планируем еще больше новых полезных фич! Основное назначение temBoard – это создание полноценной консоли управления для PostgreSQL, которая так необходима DBA для выполнения ежедневных задач. Мы прислушались к требованиям наших клиентов – многие из них фактически писали наши спецификации! :-)

temBoard - это простой модульный инструмент. И, конечно, он с полностью открым кодом.

В рамках доклада будут продемонстрированы возможности temBoard.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Артур Закиров

Разработчик в Postgres Professional
и ещё 1
докладчик

Возможности полнотекстового поиска в PostgreSQL (часть 1)

Полнотекстовый поиск в PostgreSQL является, вероятно, наиболее совершенным из всех, которые имеются в реляционных СУБД. Мы расскажем о том, как настроить полнотекстовые конфигурации и словари и покажем настройку полнотекстового поиска на примере небольшого научно-популярного сайта, в котором можно выполнять поиск, используя различные функции ранжирования. Также расскажем о новом индексе RUM, который позволяет значительно ускорить некоторые виды полнотекстовых запросов и добавляет новую функцию ранжирования результатов для лучшей сортировки.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Артур Закиров

Разработчик в Postgres Professional
и ещё 1
докладчик

Возможности полнотекстового поиска в PostgreSQL (часть 2)

Полнотекстовый поиск в PostgreSQL является, вероятно, наиболее совершенным из всех, которые имеются в реляционных СУБД. Мы расскажем о том, как настроить полнотекстовые конфигурации и словари и покажем настройку полнотекстового поиска на примере небольшого научно-популярного сайта, в котором можно выполнять поиск, используя различные функции ранжирования. Также расскажем о новом индексе RUM, который позволяет значительно ускорить некоторые виды полнотекстовых запросов и добавляет новую функцию ранжирования результатов для лучшей сортировки.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Иван Панченко

Заместитель генерального директора в Postgres Professional

JSON, JSONB, JSQuery

Мастер-класс рассказывает о различных практических паттернах использования JSON и связанной с ним функциональности в PostgreSQL. Речь пойдет о хранении данных в формате JSON, извлечении, изменении и поиске этих данных, возможностях, которые JSON в обычных SQL запросах, и использовании JSON в хранимых процедурах на различных языках. Ряд задач можно будет решить в предоставленных виртуальных машинах.


Docker

docker run --rm -p 127.0.0.1:9000:5432 waaeer/semitutorial

VirtualBox

Образ виртуальной машины: json-tutorial96.ova В виртуалку заходить по ssh пользователем json, пароль такой же, база называется также, т.е. просто набирайте psql.

Руками

Установка расширения Jsquery

git clone https://github.com/postgrespro/jsquery.git

cd jsquery

make USE_PGXS=1

sudo make USE_PGXS=1  install

Установка расширения PLv8

apt -y install libv8-dev

wget -c https://github.com/plv8/plv8/archive/v1.4.7.tar.gz

tar -xzf v1.4.7.tar.gz

cd plv8-1.4.7

sudo make install

Данные

companies.zip

create table company(js jsonb);

copy company from 'companies.json' csv delimiter E'\t' quote E'\r';

Справочные материалы

Функции для JSON

JSQuery

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Лебедев

Разработчик-исследователь ГИС в BestPlace

Исследования геоданных при помощи PostGIS и смежных инструментов (часть 1)

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

  1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
  2. Применение сторонних API для расчётов и обработки.
  3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
  4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
  5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Лебедев

Разработчик-исследователь ГИС в BestPlace

Исследования геоданных при помощи PostGIS и смежных инструментов (часть 2)

Сегодня работая с открытыми данными можно сделать интересные исследования в области городской среды и географии, с перспективными и нетривиальными выводами. В докладе я дам примеры пространственных расчётов на PostGIS — фактическом пром стандартом в области.

Но одного PostGIS мало, и в работе требуются инструменты для импорта, проверки и визуализации данных. Кроме того критически важно видеть что происходит с нашими данными и сокращать итерации работы, о чём я подробно расскажу.

  1. Сбор данных; базы данных, открытые API, OpenStreetMap; ввод геоданных от пользователя.
  2. Применение сторонних API для расчётов и обработки.
  3. Вывод и визуализация результатов: QGIS, Matplotlib, Zeppelin — интеграция с PostGIS.
  4. Отладка расчётов - визуализация "на лету" (Arc, QGIS, NextGIS Web)
  5. Воспроизводимость и автоматизация действий: скриптинг и отслеживание зависимостей на Makefile, Gulp
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

PostgreSQL и Java: мастер-класс (часть 1)

Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

  • Введение в Java и PostgreSQL.
  • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
  • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
  • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
  • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
  • Java в PostgreSQL.
  • Будущее Java и PostgreSQL. Примерно две трети времени займут демонстрации и разбор примеров кода. Все примеры кода, собранные с помощью maven, будут доступны в публичных open-source репозиториях. При желании вы сможете скачать их и поэкспериментировать с ними во время мастер-класса.
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

PostgreSQL и Java: мастер-класс (часть 2)

Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

  • Введение в Java и PostgreSQL.
  • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
  • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
  • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
  • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
  • Java в PostgreSQL.
  • Будущее Java и PostgreSQL.
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

PostgreSQL и Java: мастер-класс (часть 3)

Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

  • Введение в Java и PostgreSQL.
  • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
  • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
  • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
  • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
  • Java в PostgreSQL.
  • Будущее Java и PostgreSQL. Примерно две трети времени займут демонстрации и разбор примеров кода. Все примеры кода, собранные с помощью maven, будут доступны в публичных open-source репозиториях. При желании вы сможете скачать их и поэкспериментировать с ними во время мастер-класса.
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

PostgreSQL и Java: мастер-класс (часть 4)

Java – один из наиболее популярных языков программирования для СУБД PostgreSQL. На этом мастер-классе вы узнаете основные способы соединения с postgres и лучшие методики программирования по стандарту JDBC, а также познакомитесь с jOOQ – менеджером памяти, позволяющим использовать все возможности SQL и postgres для построения сложных запросов, не используя при этом шаблонный код.

Мастер-класс будет носить практический характер: большую часть времени мы посвятим разбору примеров кода. Мы рассмотрим следующие темы:

  • Введение в Java и PostgreSQL.
  • Варианты соединения с PostgreSQL из Java-приложения (и не только с помощью JDBC!)
  • Введение в JDBC. Типы JDBC. PostgreSQL JDBC
  • Демонстрация кода: JDBC и PostgreSQL. От Java 1.4 к Java 8, лучшие практики и примеры кода.
  • Демонстрация кода: jOOQ, менеджер памяти для PostgreSQL.
  • Java в PostgreSQL.
  • Будущее Java и PostgreSQL.
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Михаил Тюрин

Главный системный архитектор в Avito

Лок, лок – дедлок!

< Query failed: ERROR: deadlock detected
< DETAIL: Process 17371 waits for ShareLock on transaction 102733872; blocked by process 10414.
< Process 10414 waits for ShareLock on transaction 102733874; blocked by process 17371.

Подобные "неприятные" сообщения от сервера могут серьезно озадачить разработчика. При работе с блокировками, в частности, и с транзакциями в целом, следует учитывать особенности реализации клиентских библиотек, которые могут вызывать описанное выше исключение.

В кратком докладе-сообщении будет объяснена механика взаимодействия блокировок, приводящая к ситуации дедлока; приведены ссылки на документацию; разобрана техника "обхода" данной проблемы конкурентной работы с данными; показаны обобщенные приемы из практики. Доклад будет интересен как разработчикам и администраторам баз данных так и разработчикам клиент-серверных приложений.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Петр Грибанов

Технологический евангелист в 1С

PostgreSQL в 1С:Предприятии и в облачной системе 1С:Fresh

"1С:Предприятие" - самая популярная в России/СНГ платформа разработки бизнес-приложений, которая уже более 10 лет поддерживает PostgreSQL. Фирма 1С использует PostgreSQL в своём облачном сервисе 1С:Fresh. В этом докладе мы поделимся опытом и наблюдениями, возникшими в ходе эксплуатации этого сервиса, и обсудим интересные случаи и особенности тандема 1С+Postgres.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Антон Дорошкевич

Руководитель Отдела-ИТ в Антон

PostgreSQL - реальная альтернатива для высоконагруженных систем на базе 1С

  1. Почему сейчас самое время задуматься о переходе на PostgreSQL.
  2. Готовность 1С и PostgreSQL работать друг с другом.
  3. Почему нужно начать с Windows
  4. Первый опыт перевода достаточно больших баз 1С на Postgre.
  5. Масштабные проекты на высоконагруженных системах, примеры в цифрах
  6. На что обратить внимание в коде 1С? Результаты оптимизации кода в обработке «Печать ценников и этикеток».
  7. Внимание! РЛС
  8. Как ведут себя массовые типовые конфигурации 1С при работе на PostgreSQL
  9. Зачем нужно использовать спецсборку PostgreSQL для 1С. Ошибка в конфигурационном файле последней сборке от Фирмы 1С.
  10. Подробный рассказ о наиболее значимых параметрах настройки PostgreSQL.
  11. Особенности подбора оборудования для работы на PostgreSQL
  12. Пара трюков для значительного снижения нагрузки на дисковую подсистему.
  13. Когда пора задуматься о переходе на Linux
  14. Особенности администрирования баз данных на PostgreSQL. Бэкапы (валидация, бэкап всех баз сервера с размещением в отдельные файлы), реплики, регламенты
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Юхтимовский

Руководитель технической поддержки в Gilev.ru

Поиск проблемного кода 1С на СУБД PostgreSQL

  1. Особенности взаимодействия 1С:Предприятие 8 и PostgreSQL 9 1.1 Изменения в редакциях платформы 1С 1.2 Схемы v81c_data и v81c_index 1.3 Трансляция запросов 1С в SQL 1.4 События технологического журнала 1С для диагностики PostgreSQL
  2. Анализ запросов, вызывающих проблемы производительности в PostgreSQL 2.1 Бесплатный инструмент для автоматизации разбора логов 2.2 Правило Парето на практике 2.3 Установка и настройка инструмента 2.4 Практический пример оптимизации запроса 2.4.1 Проблема в запросе PostgreSQL 2.4.2 Выяснение нерациональных операций в запросе 2.4.3 Способы устранения неоптимальностей
  3. Статистка PostgreSQL для диагностики производительности 3.1 Сравнение с возможностями MS SQL Server, различия 3.2 Диагностика блокировок 3.3 Диагностика рабочей нагрузки 4 Примеры из практики команды gilev.ru
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Григорий Смолкин

Системный администратор и PostgreSQL энтузиаст в Postgres Professional

Эксплуатация 1С на Postgres

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Васильев

DBA в Postgres Professional

Mamonsu - швейцарский нож для управления и мониторинга PostgreSQL (часть 1)

Мастер-класс будет про то как правильно мониторить PostgreSQL. Мы рассмотрим утилиту mamonsu, я покажу как её настроить, какие есть скрытые у нее возможности и как можно их расширить.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Дмитрий Васильев

DBA в Postgres Professional

Mamonsu - швейцарский нож для управления и мониторинга PostgreSQL (часть 2)

Мастер-класс будет про то как правильно мониторить PostgreSQL. Мы рассмотрим утилиту mamonsu, я покажу как её настроить, какие есть скрытые у нее возможности и как можно их расширить.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Алексей Плотников

Старший системный инженер в Skype

Архитектура платформы баз данных и опыт администрирования PostgreSQL в Skype

Большинство из основных сервисов компании Skype использует платформу баз данных, построенную на основе PostgreSQL и других open-source технологиях, таких как Skytools, plProxy, pgBouncer и других. Эта платформа состоит из нескольких сотен серверов с тысячами баз данных, которые обрабатывают сотни тысяч транзакций в секунду. При этом архитектура платформы позволяет ее пользователям (приложениям и их разработчикам) работать с "логическими" базами данных, не беспокоясь об их реальной "физической" структуре.

Наша команда Skype Database Platform занимается инфраструктурой платформы баз данных и создает системы автоматизации различных процессов, необходимые для упрощения обеспечения надежной работы сервисов, а также разработки, тестирования и развертывания кода. В своей презентации я опишу общую архитектуру платформы баз данных, сделаю обзор ее главных компонентов, а также расскажу про методы, которые мы используем в своей повседневной работе, решая проблемы в области высокой доступности, масштабирования, репликации, бесперебойного обслуживания и многих других.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Вадим Яценко

Начальник Отдела разработки систем хранения данных в Прогресс Софт

Очень большие таблицы в PostgreSQL. Или как превратить 60+ Tb в 10+ Tb

В докладе будет рассказано о том, как мы реализовали хранение таблиц с большим количеством строк (1 млрд + строк в сутки). Проект существует в production 2 год. Это крупный транспортный проект всероссийского масштаба.

Суммарный объем данных 300 Tb на 25 серверах PostgreSQL * 2 Data Center. Будет рассказано об ошибках организации хранения больших таблиц на начальном этапе проекта, и о том как эти ошибки были устранены. Так же расскажу о том, как организована ротация данных и архивирование. Затрону вопросы о том, чего нам не хватало в PostgreSQL 9.4 из того, что появилось в 9.5 и в 9.6. А так же, какие новые возможности, нам хотелось бы увидеть в новых релизах PostgreSQL.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Андрей Николаенко

Архитектор в IBS
и ещё 2
докладчика

Интерконнект на стероидах для машины баз данных Скала-СР / Postgres Pro

В машинах баз данных от Oracle и Teradata в качестве внутренней сети применяется Infiniband, и для его использования вендорами созданы проприетарные протоколы (iDB, BYNET). Для комплексов Скала-СР / Postgres Pro применен интерконнект на базе Ethernet со всеми свойствами, присущими Infiniband — субмикросекундными задержками, стагигабитной пропускной способностью, и, главное, поддержкой RDMA — протокола прямого доступа к оперативной памяти удалённых узлов с разгрузкой центральных процессоров от транспортных операций. Специально для поддержки этих возможностей в машинах баз данных в Postgres Professional разработали программные дополнения, обеспечивающие доставку журналов упреждающей записи и координацию транзакций по RDMA, им и будет посвящена основная часть доклада. Кроме того, в докладе будут представлены конфигурации, основные технические характеристики и результаты испытаний комплексов линейки Скала-СР / Postgres Pro.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Михаил Каган

Сооснователь и CTO в Mellanox

Построение высокопроизводительных горизонтально-масштабируемых СУБД

Современным высокопроизводительным и горизонтально-масштабируемым СУБД в ходе своей работы требуется перемещать огромные объемы данных между компонентами системы. Справляться с этой задачей они должны быстро и без задержек для пользователей. Именно на высочайшей пропускной способности, ультранизких задержках, а также разгрузке CPU от сетевых задач фокусируется компания Mellanox при разработке своих технологий интерконнекта. В своем докладе Михаил расскажет какую роль быстрая сетевая инфраструктура играет в системах СУБД и Big Data, а также поделится опытом компании Mellanox по построению таких систем совместного с ведущими мировыми производителями.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Jasonys Li

Chief PostgreSQL Architect of Tencent Cloud Service в Tencent

Как Tenсent использует Postgres XC в платежной системе WeChat

Китайская компания Tencent - одна из крупнейших в мире компаний в области социальных сетей. В этом докладе рассматривается, как Tencent изменила программный код Postgres XC, чтобы удовлетворить требованиям своей платежной системы, включая:

  1. Масштабирование без сервисных интервалов. Система, хранящая данные за 5 лет, и пополняющаяся на десятки миллионов счетов в день, должна расти без остановки функционирования.

  2. Оптимизация производительности упорядоченных выборок из 90 миллионов строк. Запросы должны исполняться быстро. Чтобы за несколько секунд отсортировать 90 миллионов строк, был разработан специальный метод сортировки.

  3. Балансировка данных между узлами Одни пользователи WeChat производят больше данных, чем другие, это приводит к дисбалансу. Мы разработали специальный алгоритм для борьбы с этим.

  4. Высокая доступность с дата-центрами в разных городах Выполнение запросов в реальном времени требует восстановления после ошибок в реальном времени.

  5. Использование read-only реплик для оптимизации нагрузки по чтению.

  6. Другие вопросы, связанные с высокой транзакционной нагрузкой:

    a、увеличение дискового пространства по запросу;

    b、архивирование xlog в репликах;

    c、исчерпание пропускной способности сетевых карт при параллельном автоваккууме;

    d、уменьшение размера памяти, требуемого для каждого соединения c базой.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Masahiko Sawada

Software Engineer в NTT OSS Center

Встроенный шардинг: текущее состояние и будущее

Шардингом базы данных называют распределение данных по большому количеству серверов для повышения производительности при работе с большими объемами данных. С появлением технологии Foreign Data Wrappers (FDW), стало возможным рассматривать шардинг в постгресе при разумном объеме изменений программного кода. Я занимаюсь улучшением инфраструктуры FDW, в т.ч. наследованием внешних таблиц и push-down запросов, что позволяет постгресу эффективно исполнять распределенные запросы через FDW. В этом докладе мы рассмотрим шардинг на FDW и его сценарии использования, затем я продемонстрирую, как организовать шардинг, и покажу, что для этого было сделано в постгресе. В заключение мы рассмотрим основные планы на будущее - в первую очередь, это асинхронное исполнение запросов и поддержка распределенных транзакций.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Владимир Бородин

DBA в Яндекс

Пул соединений в масштабе

Многие знают, что соединения в PostgreSQL дорогие, а потому их надо экономить. Для решения этой задачи давно есть PgPool-II и PgBouncer. В Яндексе никого не удивить десятками тысяч соединений к одной базе и с незапамятных времён мы используем pgbouncer. В этом докладе я расскажу о проблемах, с которыми мы сталкивались, и способах их решения.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Peter van Hardenberg

Главный исследователь в Ink and Switch

История Postgres

Сообществу PostgreSQL уже более 20 лет, но история PostgreSQL началась задолго до его основания. Из этого доклада вы узнаете об истоках проекта Postgres, о людях, которые развивали его, как он изменился со временем и какое место в развитии PostgreSQL занимает российское сообщество.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Игорь Ведёхин

Заместитель генерального директора в IBS

Скала-СР / Postgres Pro — предконфигурированные высокопроизводительные машины баз данных

Машины баз данных — представители «высшего света» в мире корпоративных ИТ; Teradata, Exadata, Netezza — не смотря на то, что в их основе вполне доступные серверные узлы архитектуры x86 — о них говорят и пишут как о hi-end-системах, на что есть определённые основания. Объективно машины баз данных востребованы многими корпоративными заказчиками, как за уникальные возможности, так и за те удобства, которые дают готовые предконфигурированные комплексы.

Консорциум в составе системного интегратора IBS, выполнившего немало проектов по внедрению различных машин баз данных, российского вендора PostgreSQL Postgres Professional и израильской компании-разработчика суперкомпьютерных сетевых решений Mellanox представил машины баз данных в различных конфигурациях для PostgreSQL под управлением СУБД Postgres Pro Enterprise. Насколько нам известно, это первые тиражируемые коммерческие машины баз данных для Постгреса общего назначения — до этого комплексы создавались только для хранилищ данных. Машины, которые будут представлены докладе — это не просто сбалансированные комплекты оборудования для кластерных конфигураций Постгреса, оснащённые мониторингом и всеми прочими надобностями. Это уникальные аппаратно-программные инженерные системы, с помощью которых становятся доступными ранее невозможные конфигурации и достигаются ранее невообразимые показатели производительности. В основе решения обычные серверные x86-узлы от российского производителя, но благодаря особым возможностям межсоединения от Mellanox и использующим их программным дополнениям от Postgres Professional, мы можем смело говорить о новых машинах баз данных как игроках «высшей лиги» в мире оборудования для корпоративных ИТ.

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Иван Панченко

Заместитель генерального директора в Postgres Professional

Экспресс-доклады

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €
Получить доступ ко всем докладам
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Иван Панченко

Заместитель генерального директора в Postgres Professional

Награждение и закрытие конференции

Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Билеты

Показать
цену в
$
Видеозапись
Доступ к записям всех докладов
Куплено
В корзине
0 ₽
0 ₽
0 $
0 $
0 €
0 €

Организатор

Postgres Professional
https://pgconf.ru

Организационный комитет: Postgres Professional, info@pgconf.ru, 74951500691

Похожие мероприятия

24 февраля 2018
Докладов 14
Просмотров 2
data science, Databases, DevOps, PyCon, Python, ПО, Программирование, Разработка, Софт
3 февраля 2018
Докладов 9
Просмотров 0
CSS , DevOps, Flow, Typescript, ГОСТ, ПО, Программирование, Проектирование, Прототип, Разработка, Софт, Стандарты
3 декабря 2017
Докладов 17
Просмотров 0
Данные, Код, Кэширование данных, ПО, Программирование, Разработка, Софт, Тестирование
показать еще