Node.js (Андрей Костенко)

•Descargar como PPT, PDF•

2 recomendaciones•691 vistas

Ontico

Как работает async ,[object Object],[object Object],[object Object],[object Object],Пример: счетчик посещений

Варианты решения ,[object Object],[object Object],[object Object],[object Object],JFDI

Workers ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Async ,[object Object],[object Object],[object Object],[object Object],[object Object]

Workers + Async ,[object Object],[object Object],[object Object]

QA ,[object Object],[object Object],[object Object],[object Object]

Работа с сетью ,[object Object],[object Object],[object Object]

Таймеры ,[object Object],[object Object]

Абстракция от бардака ,[object Object],[object Object]

[object Object],[object Object],[object Object],[object Object],[object Object],Что в коробке?

Что еще? ,[object Object],[object Object],[object Object],[object Object],* По данным агенства Roga & Kopyta inc. на июль 2011-го года

Success stories ,[object Object],[object Object],[object Object],[object Object]

Тесты производительности * ,[object Object],[object Object],[object Object]

? [email_address] http://twitter.com/kostenko

Más contenido relacionado

La actualidad más candente

В своём проекте мы решали следующие задачи: + Скорость разработки задачи; + Стоимость поддержки задачи; + Возможность распараллеливать вычисления и задачи; + Возможность максимально просто масштабировать приложение; + CI/CD с минимальными усилиями. Я расскажу о том, как мы решали эти задачи, на какие грабли мы наступали, что из этого всего получилось, и что делать дальше. Что получили в итоге: + Мощь JVM под капотом Scala; + 15 минут от нажатия на кнопку "Merge request" до продакшена в 3 датацентра и 6 серверов с прохождением тестов (юнит + функциональные + интеграционные + нагрузочные); + 6 нод с приложениями вместо 18 (по 2 в каждом датацентре для отказоустойчивости) с запасом прочности в 60%; + Независимые пофичные релизы без даунтайма всех компонентов приложения; + Масштабирование только того функционала и в том количестве, которое необходимо данному сервису.

Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)

Ontico

В какой-то момент кто-то в интернете решил: всё, что мы можем вычислить, мы должны вычислить где-то на “большой мощной машине”. Так родилась заново идея “тонкого клиента”, поработившая сознание разработчиков современных веб-приложений. Всё, на что способно пользовательское приложение, в 90% кейсов сегодня - красиво отрисовать контент по данным, рассчитанным удаленной машиной в одном из дата-центров. При этом сложность расчетов и разнообразие данных растет быстрее, чем линейно, требуя все больше вычислительных ресурсов “больших мощных машин”, а также усилий по их проектированию, разработке, сопровождению, что в конечном счете приводит ко все более возрастающей стоимости владения.  Однако, при этом растет разнообразие и, что немаловажно, мощность клиентских мобильных девайсов - основных потребителей того самого контента. Парадокс заключается в том, что рост этот не приводит к очередной смене парадигмы разработки, никто не хочет переносить вычисления к клиенту и тем самым снижать возрастающие затраты эксплуатации. Отчасти это объясняется понятным образом: ресурсы мобильных устройств ограничены памятью и временем работы от аккумулятора, их хочется экономить. Однако, чем дальше развивается эта аппаратно-программная история, тем всё менее убедительно выглядят такие аргументы. Пора запустить очередную фазу развития спирали - вернуться к разговору о новых “толстых клиентах” с новыми знаниями о том, как экономить исчерпаемые ресурсы их аппаратной части. И да - клиентов много, их вычисления нам ничего не стоят. В этом докладе будет рассказано о том: - почему уже хорошо перемещать вычисления к мобильному клиенту, а не нагружать серверную часть; - какие средства доступны для разработчика на одной из мобильных платформ; - какие трюки позволят сократить время вычислений и энергопотребление; - почему быстро - не всегда энергоэффективно. А также немного поговорим о вычислительной моде. Модные API прямо в телефоне: - CNN (сверточная нейронная сеть) с железным ускорением. - Металлические сети компараторов.

"Распределенные" вычисления на мобильных платформах. Зачем еще нужен "металли...

Ontico

В этом докладе мы поделимся опытом, полученным в ходе масштабного проекта по миграции Avito между дата-центрами: как мы осуществляли планирование, подготовку и непосредственно переезд с переключением площадки. Опишу общие особенности и специфику нашей миграции, "подводные камни" и неочевидные ограничения, с которыми приходилось справляться, в том числе, и в экстремальных условиях.

Опыт миграции между дата-центрами / Михаил Тюрин, Сергей Бурладян (Avito)

Ontico

На примере платформы SAP HANA рассмотрим подходы к созданию высокопроизводительной платформы для управления большими массивами данных и выполнения сложных вычислений. В ходе сессии будут представлены архитектурные решения, которые частично легли в основу платформы, а также будет проведён сравнительный анализ предложенных решений в приложении к современным разработкам Intel в области архитектуры ЭВМ. Тезисы - http://www.highload.ru/2015/abstracts/1856.html

Пишем свою платформу для управления данными. Это очень просто / Суханов Васил...

Ontico

Build your own multistack JS startup

Артем Захарченко

Юрий Насретдинов, Badoo

Ontico

За 3 года существования, “Koyfin” претерпел множество изменений. Проект прошел путь от MVP до сложной системы сбора и обработки большого количества финансовых данных с десятками микросервисов и тоннами логики. Как жить, когда проект содержит огромное количество репозиториев, микросервисы отправляют и читают из шины тысячи разношерстных сообщений в минуту и кажется, что от попыток за всем уследить скоро взорвется голова? Как поддерживать консистентность, скорость, отказоустойчивость и при этом сохранять гибкость? Мы рассмотрим с Вами основные проблемы, с которыми мы столкнулись, и поделимся результатами творческих мук в поиске их решения. Расскажем об инструментах и техниках, которые помогают нам каждый день

JS Fest 2019. Игорь Березин и Николай Крещенко. Эволюция архитектуры многогра...

JSFestUA

Badoo в облаках. Решение для запуска cli-скриптов в облаке собственной разраб...

SQALab

Профилирование кода на C/C++ в *nix системах

Aleksander Alekseev

Всем известно о существовании временных таблиц в PostgreSQL, но как они устроены, и чем грозит их некорректное использование - не столь очевидно. На примере одного известного приложения, активно и некорректно использующего временные таблицы, мы расскажем о создаваемой ими проблеме фрагментации памяти. Что такое фрагментация памяти, по каким признакам можно определить ее наличие, чем она грозит, почему она возникает при активном использовании временных таблиц, и как мы пропатчили PostgreSQL, чтобы ее избежать - обо всем этом можно узнать из нашего доклада.

Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...

Ontico

Путь к Go на конкретном примере

Sergey Xek

Benchmarking PostgreSQL in Linux and FreeBSD

Alex Chistyakov

HighLoad++ 2017 Зал «Рио-де-Жанейро», 7 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3111.html This talk is prepared as a bunch of slides, where each slide describes a really bad way people can screw up their PostgreSQL database and provides a weight - how frequently I saw that kind of problem. Right before the talk I will reshuffle the deck to draw ten random slides and explain you why such practices are bad and how to avoid running into them.

PostgreSQL worst practices / Илья Космодемьянский (Data Egret)

Ontico

Tools & Methods of Program Analysis (TMPA-2014) Conference in Kostroma, November 14-15 Рассмотрена задача автоматизации тестирования программного комплекса с двухуровневым резервированием. Предложен подход на основе описания комплекса как системы конечных автоматов, тогда тестовые сценарии есть пути на графе переходов конечного автомата. На основе этого подхода создано инструментальное средство, позволяющее находить всевозможные пути графа (возможные сценарии осуществления переходов, порождающие управляющие bash-скрипты в операционной системе Linux). Предусмотрено исполнение порожденных скриптов в рамках инфраструктуры автоматизированного тестирования. Инструментальное средство позволяет проверить исправность работы системы резервирования

Moscow Exchange Test Automation of a Backup System at TMPA-2014 (Trading Syst...

Iosif Itkin

Доклад о том, как мы добились идеально ровной балансировки нагрузки по кластеру из 200+ серверов, реализовали автоматический подбор весов и получили разброс CPU usage в 2,5% в пике трафика. Это позволило сэкономить нам около 40-50 серверов и улучшить время отклика мобильного сайта в пике нагрузки. Реализацию приведенного алгоритма мы выложим в open-sourсe. Доклад Юрия Насретдинова на Highload 2015.

Ровная балансировка нагрузки на фронтенд-кластере

Badoo Development

Если вы сталкивались с PostgreSQL и зашли дальше, чем инструкция по установке, то, скорей всего, коротко познакомились с вакуумом, ну или, как минимум, что-то слышали про него. Вакуум или по-русски очистка - это важная задача в жизненном цикле постгреса, которая заключается в регулярном освобождении базы данных от, так скажем, "мусора". Вакуум очень важен, его нельзя игнорировать и тем более отключать; более того, ему следует уделять должное внимание. А за кажущейся простотой скрывается довольно сложный и интересный механизм, к работе которого очень часто возникает много вопросов, на которые не всегда можно найти однозначный ответ. В этом докладе я буду рассказывать про внутреннее устройство вакуума и раскрою следующие вопросы: 1) Что такое автовакуум (вакуум) и заморозка, и как они устроены изнутри. 2) Какие решения принимаются в процессе обработки таблиц и индексов. 3) Какие существуют возможности для управления вакуумом и как эти возможности влияют на работу вакуума. 4) Вакуум и вопрос производительности.

Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...

Ontico

Порой в процессе развития высоконагруженного проекта наступает момент, когда необходимо масштабирование. Возможно, ваш проект впервые упёрся в производительность железа (и таким образом перешёл в разряд высоконагруженных); возможно, это уже не первое масштабирование — не важно. Какие же проблемы могут возникнуть? Во-первых, если вы увеличиваете количество бэкенд-серверов, и, соответственно, количество рабочих процессов, то с ростом количества одновременных клиентских подключений вырастают и накладные расходы на базах данных. Во-вторых, достаточно быстро может кончиться ресурс in-memory баз данных. Потребуется создать (либо увеличить) кластер, а это каждый раз влечёт за собой необходимость модифицировать логику приложения. В-третьих, чем больше серверов, тем больше вероятность, что один из них выйдет из строя. Поэтому неплохо задуматься о том, как обеспечить отказоустойчивость, а это, опять же, потребует модифицировать логику приложения. В этом докладе я расскажу, как и какими инструментами можно легко решить все вышеперечисленные проблемы: уменьшить накладные расходы от большого количества подключений к базам данных, создать/модифицировать кластер БД прозрачно для приложения, а также прозрачно добавить устойчивость к падениям серверов БД. План доклада: - Введение. Методы масштабирования БД: репликация, шардирование. - Создаём шардированные кластеры in-memory БД прозрачно для приложений: Twemproxy, Redis-proxy, Mcrouter. - Уменьшаем накладные расходы от большого количества одновременных подключений на PostgreSQL с помощью PgBouncer. - Создаём шардированный кластер PostgreSQL с помощью PL/Proxy. - Добавляем прозрачную для приложения отказо�

Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)

Ontico

Управление памятью в CPython

Anton Patrushev

Вячеслав Бахмутов

CodeFest

Linuxvirt seminar-csc-2015

OSLL

La actualidad más candente (20)

Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)

"Распределенные" вычисления на мобильных платформах. Зачем еще нужен "металли...

Опыт миграции между дата-центрами / Михаил Тюрин, Сергей Бурладян (Avito)

Пишем свою платформу для управления данными. Это очень просто / Суханов Васил...

Build your own multistack JS startup

Юрий Насретдинов, Badoo

JS Fest 2019. Игорь Березин и Николай Крещенко. Эволюция архитектуры многогра...

Badoo в облаках. Решение для запуска cli-скриптов в облаке собственной разраб...

Профилирование кода на C/C++ в *nix системах

Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...

Путь к Go на конкретном примере

Benchmarking PostgreSQL in Linux and FreeBSD

PostgreSQL worst practices / Илья Космодемьянский (Data Egret)

Moscow Exchange Test Automation of a Backup System at TMPA-2014 (Trading Syst...

Ровная балансировка нагрузки на фронтенд-кластере

Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...

Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)

Управление памятью в CPython

Вячеслав Бахмутов

Linuxvirt seminar-csc-2015

Similar a Node.js (Андрей Костенко)

Будет показан пример архитектуры популярной социальной сети в Англии, переработанной на новом стеке, чтобы решить проблемы производительности, отказоустойчивости и горизонтального масштабирования. Новый стек базируется на технологиях: .NET, SignalR, Couchbase, RabbitMQ, ElasticSearch, Amazon Services (CloudFront, S3, EC2, Route 53, Balancer), Windows, Linux. Цель: показать одну из моделей архитектуры нагруженных веб-систем, практики и возможные подводные камни при разработке высоконагруженных Интернет систем.

Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...

Tanya Denisyuk

Я и моя группа занимаемся разработкой страницы Яндекс.Браузера, весь наш фронтенд построен на Node.js. Для нас очень важно максимально быстро отвечать нашим пользователям, и не только потому, что тем самым мы снижаем потребление нами системных ресурсов, а прежде всего для того, чтобы наш пользователь не ожидал лишние десятки миллисекунд и не терял интерес к нашим страницам. Многие исследования подтверждают — каждые 100мс ожидания загрузки страницы вы теряете долю пользователей, которые ждать не захотели. Именно поэтому после того, как некоторые страницы сильно разрослись и время ответа перестало удовлетворять нас, я начал исследование узких мест. Я перебрал множество доступных на данный момент инструментов профилирования Node.js приложений, покопался с работой оптимизаторов V8 и в результате за две недели уменьшил время ответа нашей страницы в 2.5 раза, а теперь я бы хотел поделиться с вами своим опытом.

Профилирование Node.js

Denis Chistyakov

Выявление неполадок в Java приложениях

Pavel Grushetzky

Java 9 - кратко о новом

Леонид Ставила

IT-инфраструктура. FAQ для разработчика

Mikhail Chinkov

мониторинг производительности приложения на PINBA

Slach

Масштабирование — способность наращивать систему для обработки большего количества трафика, не теряя при этом пользовательские качества: скорость и отзывчивость. Масштабирование различают двух типов: вертикальное (больше памяти, диска, лучше процессор) и горизонтальное (больше серверов в кластере). - Зачем оно нужно, если и так всё работает? - Когда? Мониторинг, необдуманные решения, оптимизация и жизнь с одним сервером. - Типичная схема. - Балансировка нагрузки. - Какие, вообще, проблемы на стороне приложения? - Почему PHP так хорош для масштабирования. - Сессии. - База данных. - Файлы. - Как быть со статистикой?

Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...

Ontico

Осуществим вводный экскурс в Node.JS. Действительно это что-то новое и гениальное? Что оно может, а что нет? Кому будет полезен? В каких случаях применять, а в каких нет? На все эти вопросы я постараюсь ответить в своём докладе.

ВВЕДЕНИЕ В NODE.JS

Pavel Tsukanov

Dz Java Hi Load 0.4

HighLoad2009

Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и ...

Cisco Russia

php frameworks

Транслируем.бел

Сергей Комлач Занимается разработкой под мобильные платформы более 8-ми лет. Последние 2 года занимает должность старшего Android разработчика. Ведет курс разработки по Android в рамках Google Android Study . Докладчик на UAMobile 2014 (Kiev) , Lviv Mobile Developers Day 2014 , Google Developers Fest (2014, Lviv) , MobileOptimized (Minsk). Соорганизатор GDG Kremenchuk .

Использование Java Native Interface (JNI) и кросплатформенных C/C++ реализаци...

Stfalcon Meetups

Модным ныне словом «виртуализация» сейчас называют различные обёртки аппаратной виртуализации, однако этот термин намного старше и более всеохватывающий. На уровне ознакомления с технологией мы поговорим о виртуализации ресурсов в кластере и на примере pacemaker.

Другая виртуализация

Yandex

В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками? В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.

NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)

Ontico

Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016. Тезисы В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками? В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.

Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками

IBS

Контроль качества и сопровождение программ в реальном времени

SQALab

DevOps в реальном времени

Andriy Samilyak

Вступительная лекция по Java. История появления, идеи, сферы применения, место среди других языков, экосистема. Структурированная информация о Java, как о языке программирования. Под эту лекцию имеется более развёрнутый материал. Кому интересно - пишите. Конструктивная критика приветствуется.

Java: вчера, сегодня, завтра

Леонид Ставила

Антон Наумович - Контроль качества и сопровождение в реальном времени

COMAQA.BY

TMPA-2013 Sartakov: Genode

Iosif Itkin

Similar a Node.js (Андрей Костенко) (20)

Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...

Профилирование Node.js

Выявление неполадок в Java приложениях

Java 9 - кратко о новом

IT-инфраструктура. FAQ для разработчика

мониторинг производительности приложения на PINBA

Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...

ВВЕДЕНИЕ В NODE.JS

Dz Java Hi Load 0.4

Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и ...

php frameworks

Использование Java Native Interface (JNI) и кросплатформенных C/C++ реализаци...

Другая виртуализация

NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)

Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками

Контроль качества и сопровождение программ в реальном времени

DevOps в реальном времени

Java: вчера, сегодня, завтра

Антон Наумович - Контроль качества и сопровождение в реальном времени

TMPA-2013 Sartakov: Genode

Más de Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/2964.html Одноклассники состоят из более чем восьми тысяч железных серверов, расположенных в нескольких дата-центрах. Каждая из этих машин была специализированной под конкретную задачу - как для обеспечения изоляции отказов, так и для обеспечения автоматизированного управления инфраструктурой. ...

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...

Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/3032.html Протокол DNS на семь лет старше, чем Всемирная паутина. Стандарты RFC 882 и 883, определяющие основную функциональность системы доменных имён, появились в конце 1983 года, а первая реализация последовала уже годом позже. Естественно, что у технологии столь старой и при этом по сей день активнейшим образом используемой просто не могли не накопиться особенности, неочевидные обыкновенным пользователям. ...

Масштабируя DNS / Артем Гавриченков (Qrator Labs)

Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3010.html В этом докладе я расскажу, как BigData-платформа помогает трансформировать Почту России, как мы управляем построением и развитием платформы. Расскажу про найденные удачные решения, например, как разбиение на продукты с понятными SLA и интерфейсами между ними помогло нам сохранять управляемость с ростом масштабов проекта. ...

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/2914.html Казалось бы, что нужно для организации тестового окружения? Тестовая железка и копия боевого окружения - и тестовый сервер готов. Но как быть, когда проект сложный? А когда большой? А если нужно тестировать одновременно много версий? А если все это вместе? Организация тестирования большого развивающегося проекта, где одновременно в разработке и тестировании около полусотни фич - достаточно непростая задача. Ситуация обычно осложняется тем, что иногда есть желание потрогать еще не полностью готовый функционал. В таких ситуациях часто возникает вопрос: "А куда это можно накатить и где покликать?" ...

Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 17:00 Тезисы: http://www.highload.ru/2017/abstracts/3096.html PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely ADVANCED! How many parameters do you tune? 1? 8? 32? Anyone ever tuned more than 64? No tuning means below par performance. But how to start? Which parameters to tune? What are the appropriate values? Is there a tool --not just an editor like vim or emacs-- to help users manage the 700-line postgresql.conf file? Join this talk to understand the performance advantages of appropriately tuning your postgresql.conf file, showcase a new free tool to make PostgreSQL configuration possible for HUMANS, and learn the best practices for tuning several relevant postgresql.conf parameters.

PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/3115.html During this session we will cover the last development in ProxySQL to support regular expressions (RE2 and PCRE) and how we can use this strong technique in correlation with ProxySQL's query rules to anonymize live data quickly and transparently. We will explain the mechanism and how to generate these rules quickly. We show live demo with all challenges we got from the Community and we finish the session by an interactive brainstorm testing queries from the audience.

Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/2957.html Расскажем о нашем опыте разработки модуля межсетевого экрана для MySQL с использованием генератора парсеров ANTLR и языка Kotlin. Подробно рассмотрим следующие вопросы: — когда и почему целесообразно использовать ANTLR; — особенности разработки ANTLR-грамматики для MySQL; — сравнение производительности рантаймов для ANTLR в рамках задачи синтаксического анализа MySQL (C#, Java, Kotlin, Go, Python, PyPy, C++); — вспомогательные DSL; — микросервисная архитектура модуля экранирования SQL; — полученные результаты.

Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/3114.html ProxySQL aims to be the most powerful proxy in the MySQL ecosystem. It is protocol-aware and able to provide high availability (HA) and high performance with no changes in the application, using several built-in features and integration with clustering software. During this session we will quickly introduce its main features, so to better understand how it works. We will then describe multiple use case scenarios in which ProxySQL empowers large MySQL installations to provide HA with zero downtime, read/write split, query rewrite, sharding, query caching, and multiplexing using SSL across data centers.

ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2954.html MySQL Replication is powerful and has added a lot of advanced features through the years. In this presentation we will look into replication technology in MySQL 5.7 and variants focusing on advanced features, what do they mean, when to use them and when not, Including. When should you use STATEMENT, ROW or MIXED binary log format? What is GTID in MySQL and MariaDB and why do you want to use them? What is semi-sync replication and how is it different from lossless semi-sync? ...

MySQL Replication — Advanced Features / Петр Зайцев (Percona)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3120.html Количество разработчиков мобильных приложений Сбербанк Онлайн с начала 2016 года выросло на порядок. Для того чтобы продолжать выпускать качественный продукт, мы кардинально перестраиваем процесс разработки. Количество внутренних заказчиков тех или иных доработок в какой-то момент выросло настолько, что разработчики стали узким местом. Мы внедрили культуру разработки, которую можно условно назвать "внутренним open-source", сохранив за собой контроль над архитектурой и качеством проекта, но позволив разрабатывать новые фичи всем желающим. ...

Внутренний open-source. Как разрабатывать мобильное приложение большим количе...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2836.html При использовании Eventually Consistent распределенных баз данных нет гарантий, что чтение возвращает результаты последних изменений данных, если чтение и запись производятся на разных узлах. Это ограничивает пропускную способность системы. Поддержка свойства Causal Consistency снимает это ограничение, что позволяет улучшить масштабируемость, не требуя изменений в коде приложения. ...

Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/2858.html Аудитория Одноклассников превышает 73 миллиона человек в России, СНГ и странах дальнего зарубежья. При этом ОК.ru - первая социальная сеть по просмотрам видео в рунете и крупнейшая сервисная платформа. Качественный и количественный рост DDoS-атак за последние годы превращает их в одну из первоочередных проблем для крупнейших интернет-ресурсов. В зависимости от вектора атаки “узким” местом становится та или иная часть инфраструктуры. В частности, при SYN-flood первый удар приходится на систему балансировки трафика. От ее производительности зависит успех в противостоянии атаке. ...

Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/3008.html Никогда не было и вот снова случилось! Компания Google в результате перенаправления трафика сделала недостпуными в Японии несколько тысяч различных сервисов, большинство из которых никак не связано с самой компанией Google. Однако, подобные инциденты происходят с завидной регулярностью, вот только не всегда попадают в большие СМИ. У таких инцидентов могут быть разные причины, начиная от ошибок сетевых инженеров и заканчивая государственным регулированием. ...

Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2925.html Облака и виртуализация – современные тренды развития IT-технологий. Операторы связи строят свои TelcoClouds на стандартах NFV (Network Functions Virtualization) и SDN (Software-Defined Networking). В докладе начнем с основ виртуализации, далее разберемся, для чего используются NFV и SDN, потом полетим к облакам и вернемся на землю для решения практических задач! ...

И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/3045.html Как мы заставили Druid работать в Одноклассниках. «Druid is a high-performance, column-oriented, distributed data store» http://druid.io. Мы расскажем о том, как, внедрив Druid, мы справились с ситуацией, когда MSSQL-based система статистики на 50 терабайт стала: - медленной: средняя скорость ответа была в разы меньше требуемой (и увеличилась в 20 раз); - нестабильной: в час пик статистика отставала до получаса (теперь ничего не отстает); - дорогой: изменилась политика лицензирования Microsoft, расходы на лицензии могли составить миллионы долларов. ...

Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2905.html Прошло более года с того момента, как Microsoft выпустила первую версию своего нового фреймворка для разработки web-приложений ASP.NET Core, и с каждым днем он находит все больше поклонников. ASP.NET Core базируется на платформе .NET Core, кроссплатформенной версии платформы .NET c открытым исходным кодом. Теперь у С#-разработчиков появилась возможность использовать Mac в качестве среды разработки, и запускать приложения на Linux или внутри Docker-контейнеров. ...

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2913.html Изначально будут раскрыты базовые причины, которые заставили появиться такой части механизма СУБД, как кэш результатов, и почему в ряде СУБД он есть или отсутствует. Будут рассмотрены различные варианты кэширования результатов как sql-запросов, так и результатов хранимой в БД бизнес-логики. Произведено сравнение способов кэширования (программируемые вручную кэши, стандартный функционал) и даны рекомендации, когда и в каких случаях данные способы оптимальны, а порой опасны. ...

100500 способов кэширования в Oracle Database или как достичь максимальной ск...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2947.html Apache Ignite — Open Source платформа для высокопроизводительной распределенной работы с большими данными с применением SQL или Java/.NET/C++ API. Ignite используют в самых разных отраслях. Сбербанк, ING, RingCentral, Microsoft, e-Therapeutics — все эти компании применяют решения на основе Ignite. Размеры кластеров разнятся от всего одного узла до нескольких сотен, узлы могут быть расположены в одном ЦОД-е или в нескольких геораспределенных. ...

Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3005.html Когда мы говорим о нагруженных системах и базах данных с большим числом параллельных коннектов, особый интерес представляет практика эксплуатации и сопровождения таких проектов. В том числе инструменты и механизмы СУБД, которые могут быть использованы DBA и DevOps-инженерами для решения задач мониторинга жизнедеятельности базы данных и ранней диагностики возможных проблем. ...

Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/2975.html Все мы слышали про изменение кода ядра Linux на лету (kernel live patching). Но кто-нибудь проводит подобные фокусы в user space? Оказалось, что да. Мы тоже попробовали. И получилось. Длинная дорога технологии Userspace Live Patching в жизнь: Что такое Live Patching 1) Изменение части логики процесса. 2) Сохранение состояния процесса. 3) Делать 1+2 БЕЗОПАСНО. ...

Как мы учились чинить самолеты в воздухе / Евгений Коломеец (Virtuozzo)

Ontico

Más de Ontico (20)