Архитектура бэкенда карт Sputnik.ru, Максим Дементьев (Спутник)

•

2 recomendaciones•2,101 vistas

Ontico

Доклад Максима Дементьева на HighLoad++ 2014.

Internet

Архитектура
бэкенда карт
sputnik.ru
Максим Дементьев
max@orofarne.ru

Структура доклада
• Как устроен кластер генерации карт?
• Почему мы используем язык Go?
• Как мы тестируем нашу систему?
• Какие у нас планы на будущее?

OpenStreetMap
• Открытая база геоданных
• Более миллиона участников по всему миру
• Участвовать может каждый

OpenStreetMap
http://wiki.openstreetmap.org/wiki/Component_overview

Тайлы
© Спутник © OpenStreetMap contributors

Откуда берутся тайлы
© Спутник © OpenStreetMap contributors

Challenge accepted
• Сложный стиль (~7500 правил)
• Большое время генерации тайлов (~5 дней)
• Большой объем тайлового кэша (~2 Тб)
• Модель периодического обновления (1 месяц)

Challenge accepted
OpenStreetMap.org Sputnik.ru
74 слоя 187 слоев
~3000 правил ~7500 правил
~19000 строк в Mapnik XML ~48000 строк в Mapnik XML

Проблемы классического подхода
• Ориентированность на файловую систему
• Плохая масштабируемость

Go + Mapnik = Gopnik
© Renee French © Diamond00744

Gopnik
• Ориентированность на файловую систему
• Плохая масштабируемость
• Гибкая модульная архитектура
• Пользователь получает результат генерации сразу
• Простая конфигурация
• Набор дополнительных утилит

Заполнение кэша
• Гибкий конфигуратор заданий
• Кластерная генерация
• Распределенная очередь
• CLI и web интерфейсы

Что было до Go
• С++
• Perl
• Python
• Scala

Плюсы Go
• Очень простой
• Компилируемый
• Строгая типизация
• Сборка мусора
• Простая и понятная модель многопоточности
• Быстрая компиляция
• Хорошая стандартная библиотека
• Большой набор полезных утилит

Unit-тесты
• go test
• gtest для C++
© Renee French

Интеграционные и системные
тесты
• Docker
• Netem
• Yandex.Tank

Что уже сделано
• Гибкая модульная платформа
• Поддержка тайловых кэшей с eventual consistency
• Дополнительные утилиты
• Удобный кластерный рендеринг
• Простая конфигурация

Что еще хотим сделать
• Gossip
• SPDY
• QUIC
• Data-tiles

Más contenido relacionado

La actualidad más candente

«Путь от монолита на PHP к микросервисам на Scala» – Денис Иванов, 2ГИС

2ГИС Технологии

Архитектурный шаблон проектирования конвейер (pipeline) хорошо зарекомендовал себя при проектировании высоконагруженных (highload) систем. Использование шины сообщений (message bus) при реализации каналов взаимодействия позволяет достигать хороших показателей масштабируемости (scalability), но при этом появляются дополнительные накладные расходы, которые сказываются на показателях производительности (performance). В докладе обсуждаются варианты использования системы обмена сообщениями RabbitMQ в качестве связующего программного обеспечения (middleware) для построения конвейерной архитектуры. Рассматриваются вопросы производительности и масштабирования как stateless так и statefull фильтров. В качестве примера рассматривается реализация системы обработки сложных событий (complex event processing) применительно к управлению журналированием (log management).

101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...

Ontico

Web performance 101 [GDG nsk webdev meetup #3]

Eugene Chekan

Near-realtime аналитика событий в высоконагруженном проекте

Alexandr Krasheninnikov

Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...

Ontico

С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).

Badoo Development

Cергей Коржнев, 2ГИС

Ontico

В Badoo мы разрабатываем собственную систему Business intelligence (сокращённо BI). И прежде, чем приступать к анализу данных, их необходимо извлечь (Extract) из источников, преобразовать (Transform) и загрузить (Load) в аналитическую базу. Я расскажу об этом процессе - ETL (Extract, Transform, Load). Какие бывают источники данных, какие методы сбора мы используем. И самое главное - об инструменте под названием ETLMaster, созданным в нашей компании для автоматизации управления процессом трансформации и загрузки данных.

Загрузка больших объемов данных для бизнес-аналитики

Badoo Development

В своём проекте мы решали следующие задачи: + Скорость разработки задачи; + Стоимость поддержки задачи; + Возможность распараллеливать вычисления и задачи; + Возможность максимально просто масштабировать приложение; + CI/CD с минимальными усилиями. Я расскажу о том, как мы решали эти задачи, на какие грабли мы наступали, что из этого всего получилось, и что делать дальше. Что получили в итоге: + Мощь JVM под капотом Scala; + 15 минут от нажатия на кнопку "Merge request" до продакшена в 3 датацентра и 6 серверов с прохождением тестов (юнит + функциональные + интеграционные + нагрузочные); + 6 нод с приложениями вместо 18 (по 2 в каждом датацентре для отказоустойчивости) с запасом прочности в 60%; + Независимые пофичные релизы без даунтайма всех компонентов приложения; + Масштабирование только того функционала и в том количестве, которое необходимо данному сервису.

Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)

Ontico

Адаптивная оптимизация запросов в реляционных СУБД / Олег Иванов (Postgres Pr...

Ontico

SphinxSearch Meetup - Tips&tricks

Roman Pavlushko

AVITO. Решардинг Redis без даунтайма. DevConf 2012

Roman Pavlushko

Twisted Framework - сетевые приложения в Python

Andrey Smirnov

Jinba - frontendconf.ru/2015

Pavel Dovbush

«Миллион открытых каналов с данными по сети» – Илья Биин (Zenhotels)

AvitoTech

Нельзя, да и неправильно, проектировать веб-сервис как монолитное приложение. Рано или поздно это приведёт к его закостенелости или даже умиранию. С другой стороны, декомпозиция системы на несколько компонент приносит проблемы интеграционной зависимости, которые усложняют развёртывание или эксплуатацию приложения. В докладе я представлю систему, которая позволяет нам оперативно развёртывать многокомпонентное приложение 2ГИС API на три сервера в Новосибирске, Москве, Амстердаме. Особое внимание уделю гибкой архитектуре приложения, процессу развёртывания, версионированию кеша и индексов (Sphinx, C++-демоны), миграции схем БД (PostgreSQL), инструментам мониторинга и развёртывания (Zabbix, Chef, Phing, Yii).

«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 2013

2ГИС Технологии

Анатомия веб сервиса (HighLoad-2014)

Andrey Smirnov

AVITO. Решаем проблемы по мере их поступления. Стачка 2013

Roman Pavlushko

Tarantool - отечественная Opensource NoSQL база данных. В докладе мы обсудим: - Какое место занимают NoSQL базы данных в highload проектах? Почему и для чего вам стоит NoSQL решения? Какие NoSQL решения вы можете использовать? - Рассмотрим, что из себя представляет Tarantool 1.6 - база данных и сервер приложений в одном лице. Какие основные особенности Tarantool как NoSQL базы данных? Lua как встроенный язык сервера приложений. - Посмотрим, как можно начать использовать Tarantool в своих проектах, и сделаем первые шаги. Как установить Tarantool. Первый запуск и основы конфигурирования. Модель данных. Как создавать и работать с хранилищем данных. Как использовать пакеты tarantool. - Узнаем об интересных модулях и фичах Tarantool Чем полезен application server Tarantool http Tarantool queue - Познакомимся с сообществом Tarantool opensource Почему сообщество - это важно? Чем полезны opensource проекты начинающему разработчику?

Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)

Ontico

Avito Stachka 2012

Roman Pavlushko

La actualidad más candente (20)

«Путь от монолита на PHP к микросервисам на Scala» – Денис Иванов, 2ГИС

101 способ приготовления RabbitMQ и немного о pipeline архитектуре / Филонов ...

Web performance 101 [GDG nsk webdev meetup #3]

Near-realtime аналитика событий в высоконагруженном проекте

Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...

С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).

Cергей Коржнев, 2ГИС

Загрузка больших объемов данных для бизнес-аналитики

Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)

Адаптивная оптимизация запросов в реляционных СУБД / Олег Иванов (Postgres Pr...

SphinxSearch Meetup - Tips&tricks

AVITO. Решардинг Redis без даунтайма. DevConf 2012

Twisted Framework - сетевые приложения в Python

Jinba - frontendconf.ru/2015

«Миллион открытых каналов с данными по сети» – Илья Биин (Zenhotels)

«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 2013

Анатомия веб сервиса (HighLoad-2014)

AVITO. Решаем проблемы по мере их поступления. Стачка 2013

Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)

Avito Stachka 2012

Similar a Архитектура бэкенда карт Sputnik.ru, Максим Дементьев (Спутник)

- Как начать развивать систему аналитики в компании, не имея армию data-инженеров. - Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев. - Как реализовать потоковую обработку данных на PHP (~40К записей в минуту). - Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений. Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/

Построение системы аналитики

Илья Середа

Денис Иванов

CodeFest

Введение в Python и Django

Taras Lyapun

Прогрессивный рендеринг и Catberry.js / Михаил Реенко (2GIS / Flamp)

Ontico

Sivko

kuchinskaya

Как мы строили Jelastic - облачную платформу (PaaS) нового поколения (Дмитрий...

Ontico

Эволюция разработки (Ермаков Игорь), Форум технологий Mail.Ru Group

tfmailru

ekbpy'2012 - Данила Штань - Распределенное хранилище

it-people

Обзор архитектуры и подсистем деплоя и мониторинга. Как инженеры делают систему прозрачной для разработки. 1) Схема организации репозитория puppet. Зачем мы сделали репозиторий публичным внутри компании? Как мы "делим" puppet, и что делать, если все "пропало"? Собственная реализация механизма puppet kick. 2) Как рассказать всем обо всем и никого не потерять. "Черный мониторинг" (rbmon). Как мы собираем информацию о серверах и демонах. Делимся логами с разработчиками. Почему написали "велосипед"? 3) Graphite - система сбора и визуализации данных. Почему graphite? 1М метрик в минуту? Какие метрики мы рисуем (nginx-graphite-module, rbmon plugins). Визуализация работы проекта (Dashboard пульт).

обзор архитектуры и подсистем деплоя и мониторинга

Константин Никифоров

1) Схема организации репозитория puppet. Зачем мы сделали репозиторий публичным внутри компании? Как мы "делим" puppet, и что делать, если все "пропало"? Собственная реализация механизма puppet kick. 2) Как рассказать всем обо всем и никого не потерять. "Черный мониторинг" (rbmon). Как мы собираем информацию о серверах и демонах. Делимся логами с разработчиками. Почему написали "велосипед"? 3) Graphite - система сбора и визуализации данных. Почему graphite? 1М метрик в минуту? Какие метрики мы рисуем (nginx-graphite-module, rbmon plugins). Визуализация работы проекта (Dashboard пульт).

Обзор архитектуры и подсистем деплоя и мониторинга. Как инженеры делают систе...

Ontico

Модное слово DevOps уже успело стать заезженным базвордом. Сотни компаний ищут DevOps инженеров, потому что искать системного администратора уже не модно. Я расскажу вам про свое понимание DevOps, как технические инструменты помогают делать Agile еще более гибким. Мы разберем основные принципы DevOps через призму донесения смысла без потерь: - Особая культура - Автоматизация - Изменения через измерения - Распространение знаний и практик Я поделюсь своим 5ти летним опытом в обеспечении повторяемости, мониторинге, логировании с примерами из реальной жизни. Александр Титов - управляющий партнер в компании "Экспресс 42", мы внедряем DevOps практики и инструменты, помогаем эксплуатировать интернет-проекты. В 2009, 2010 годах был техническим директором первого облачного хостинга в России Скалакси. В 2010 - 2012 прошел увлекательный путь поглощений вместе с компанией Qik - путь из эксплуатации быстрорастущего стартапа к эксплуатации в крупной международной компании Microsoft.

DevOps в Agile среде. Как, почему и когда инструменты помогают.

Alexander Titov

SECON'2017, Кулагин Егор, Непрерывное развертывание. Конвейер здорового челов...

SECON

Puppet development kit and best practices

Igor Kurochkin

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2905.html Прошло более года с того момента, как Microsoft выпустила первую версию своего нового фреймворка для разработки web-приложений ASP.NET Core, и с каждым днем он находит все больше поклонников. ASP.NET Core базируется на платформе .NET Core, кроссплатформенной версии платформы .NET c открытым исходным кодом. Теперь у С#-разработчиков появилась возможность использовать Mac в качестве среды разработки, и запускать приложения на Linux или внутри Docker-контейнеров. ...

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)

Ontico

Net core and linux in production

Anatoly Popov

Чеклист по клиентской оптимизации - Лавлинский Николай, РИТ++ 2017

Николай Лавлинский

РИТ++ 2017, HighLoad Junior Зал Сингапур, 6 июня, 10:00 Тезисы: http://junior.highload.ru/2017/abstracts/2475.html Когда проект растёт, возникает множество проблем с масштабируемостью сервиса: БД, сервера приложений, хранилище. Однако, не менее важной становится клиентская часть веб-приложения. Во-первых, грамотная клиентская оптимизация позволяет повысить скорость работы сервиса для пользователей и, следовательно, увеличить их лояльность, которая конвертируется в деньги. ...

Чеклист по клиентской оптимизации / Николай Лавлинский (Метод Лаб)

Ontico

Опыт эксплуатации большого проекта на Ruby

Alex Chistyakov

Гетерогенные сервисы для highload-проектов на примере Imhonet.ru и 4talk.im, ...

Ontico

Оптимизация производительности нагруженных веб-систем на Java

Alex Chistyakov

Similar a Архитектура бэкенда карт Sputnik.ru, Максим Дементьев (Спутник) (20)

Построение системы аналитики

Денис Иванов

Введение в Python и Django

Прогрессивный рендеринг и Catberry.js / Михаил Реенко (2GIS / Flamp)

Sivko

Как мы строили Jelastic - облачную платформу (PaaS) нового поколения (Дмитрий...

Эволюция разработки (Ермаков Игорь), Форум технологий Mail.Ru Group

ekbpy'2012 - Данила Штань - Распределенное хранилище

обзор архитектуры и подсистем деплоя и мониторинга

Обзор архитектуры и подсистем деплоя и мониторинга. Как инженеры делают систе...

DevOps в Agile среде. Как, почему и когда инструменты помогают.

SECON'2017, Кулагин Егор, Непрерывное развертывание. Конвейер здорового челов...

Puppet development kit and best practices

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)

Net core and linux in production

Чеклист по клиентской оптимизации - Лавлинский Николай, РИТ++ 2017

Чеклист по клиентской оптимизации / Николай Лавлинский (Метод Лаб)

Опыт эксплуатации большого проекта на Ruby

Гетерогенные сервисы для highload-проектов на примере Imhonet.ru и 4talk.im, ...

Оптимизация производительности нагруженных веб-систем на Java

Más de Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/2964.html Одноклассники состоят из более чем восьми тысяч железных серверов, расположенных в нескольких дата-центрах. Каждая из этих машин была специализированной под конкретную задачу - как для обеспечения изоляции отказов, так и для обеспечения автоматизированного управления инфраструктурой. ...

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...

Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/3032.html Протокол DNS на семь лет старше, чем Всемирная паутина. Стандарты RFC 882 и 883, определяющие основную функциональность системы доменных имён, появились в конце 1983 года, а первая реализация последовала уже годом позже. Естественно, что у технологии столь старой и при этом по сей день активнейшим образом используемой просто не могли не накопиться особенности, неочевидные обыкновенным пользователям. ...

Масштабируя DNS / Артем Гавриченков (Qrator Labs)

Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3010.html В этом докладе я расскажу, как BigData-платформа помогает трансформировать Почту России, как мы управляем построением и развитием платформы. Расскажу про найденные удачные решения, например, как разбиение на продукты с понятными SLA и интерфейсами между ними помогло нам сохранять управляемость с ростом масштабов проекта. ...

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/2914.html Казалось бы, что нужно для организации тестового окружения? Тестовая железка и копия боевого окружения - и тестовый сервер готов. Но как быть, когда проект сложный? А когда большой? А если нужно тестировать одновременно много версий? А если все это вместе? Организация тестирования большого развивающегося проекта, где одновременно в разработке и тестировании около полусотни фич - достаточно непростая задача. Ситуация обычно осложняется тем, что иногда есть желание потрогать еще не полностью готовый функционал. В таких ситуациях часто возникает вопрос: "А куда это можно накатить и где покликать?" ...

Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2854.html Из этого доклада вы узнаете о возможностях репликации и автофейловера PostgreSQL, в том числе о возможностях, ставших доступных в PostgreSQL 10. Среди прочих, будет затронуты следующие темы: * Виды репликации и решаемые с ее помощью проблемы. * Настройка потоковой репликации. * Настройка логической репликации. * Настройка автофейловера / HA средствами Stolon и Consul. После прослушивания доклада вы сможете самостоятельно настраивать репликацию и автофейловер PostgreSQL.

Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 17:00 Тезисы: http://www.highload.ru/2017/abstracts/3096.html PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely ADVANCED! How many parameters do you tune? 1? 8? 32? Anyone ever tuned more than 64? No tuning means below par performance. But how to start? Which parameters to tune? What are the appropriate values? Is there a tool --not just an editor like vim or emacs-- to help users manage the 700-line postgresql.conf file? Join this talk to understand the performance advantages of appropriately tuning your postgresql.conf file, showcase a new free tool to make PostgreSQL configuration possible for HUMANS, and learn the best practices for tuning several relevant postgresql.conf parameters.

PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/3115.html During this session we will cover the last development in ProxySQL to support regular expressions (RE2 and PCRE) and how we can use this strong technique in correlation with ProxySQL's query rules to anonymize live data quickly and transparently. We will explain the mechanism and how to generate these rules quickly. We show live demo with all challenges we got from the Community and we finish the session by an interactive brainstorm testing queries from the audience.

Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/2957.html Расскажем о нашем опыте разработки модуля межсетевого экрана для MySQL с использованием генератора парсеров ANTLR и языка Kotlin. Подробно рассмотрим следующие вопросы: — когда и почему целесообразно использовать ANTLR; — особенности разработки ANTLR-грамматики для MySQL; — сравнение производительности рантаймов для ANTLR в рамках задачи синтаксического анализа MySQL (C#, Java, Kotlin, Go, Python, PyPy, C++); — вспомогательные DSL; — микросервисная архитектура модуля экранирования SQL; — полученные результаты.

Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/3114.html ProxySQL aims to be the most powerful proxy in the MySQL ecosystem. It is protocol-aware and able to provide high availability (HA) and high performance with no changes in the application, using several built-in features and integration with clustering software. During this session we will quickly introduce its main features, so to better understand how it works. We will then describe multiple use case scenarios in which ProxySQL empowers large MySQL installations to provide HA with zero downtime, read/write split, query rewrite, sharding, query caching, and multiplexing using SSL across data centers.

ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2954.html MySQL Replication is powerful and has added a lot of advanced features through the years. In this presentation we will look into replication technology in MySQL 5.7 and variants focusing on advanced features, what do they mean, when to use them and when not, Including. When should you use STATEMENT, ROW or MIXED binary log format? What is GTID in MySQL and MariaDB and why do you want to use them? What is semi-sync replication and how is it different from lossless semi-sync? ...

MySQL Replication — Advanced Features / Петр Зайцев (Percona)

Ontico

HighLoad++ 2017 Зал «Кейптаун», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3120.html Количество разработчиков мобильных приложений Сбербанк Онлайн с начала 2016 года выросло на порядок. Для того чтобы продолжать выпускать качественный продукт, мы кардинально перестраиваем процесс разработки. Количество внутренних заказчиков тех или иных доработок в какой-то момент выросло настолько, что разработчики стали узким местом. Мы внедрили культуру разработки, которую можно условно назвать "внутренним open-source", сохранив за собой контроль над архитектурой и качеством проекта, но позволив разрабатывать новые фичи всем желающим. ...

Внутренний open-source. Как разрабатывать мобильное приложение большим количе...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2836.html При использовании Eventually Consistent распределенных баз данных нет гарантий, что чтение возвращает результаты последних изменений данных, если чтение и запись производятся на разных узлах. Это ограничивает пропускную способность системы. Поддержка свойства Causal Consistency снимает это ограничение, что позволяет улучшить масштабируемость, не требуя изменений в коде приложения. ...

Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/2858.html Аудитория Одноклассников превышает 73 миллиона человек в России, СНГ и странах дальнего зарубежья. При этом ОК.ru - первая социальная сеть по просмотрам видео в рунете и крупнейшая сервисная платформа. Качественный и количественный рост DDoS-атак за последние годы превращает их в одну из первоочередных проблем для крупнейших интернет-ресурсов. В зависимости от вектора атаки “узким” местом становится та или иная часть инфраструктуры. В частности, при SYN-flood первый удар приходится на систему балансировки трафика. От ее производительности зависит успех в противостоянии атаке. ...

Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/3008.html Никогда не было и вот снова случилось! Компания Google в результате перенаправления трафика сделала недостпуными в Японии несколько тысяч различных сервисов, большинство из которых никак не связано с самой компанией Google. Однако, подобные инциденты происходят с завидной регулярностью, вот только не всегда попадают в большие СМИ. У таких инцидентов могут быть разные причины, начиная от ошибок сетевых инженеров и заканчивая государственным регулированием. ...

Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2925.html Облака и виртуализация – современные тренды развития IT-технологий. Операторы связи строят свои TelcoClouds на стандартах NFV (Network Functions Virtualization) и SDN (Software-Defined Networking). В докладе начнем с основ виртуализации, далее разберемся, для чего используются NFV и SDN, потом полетим к облакам и вернемся на землю для решения практических задач! ...

И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/3045.html Как мы заставили Druid работать в Одноклассниках. «Druid is a high-performance, column-oriented, distributed data store» http://druid.io. Мы расскажем о том, как, внедрив Druid, мы справились с ситуацией, когда MSSQL-based система статистики на 50 терабайт стала: - медленной: средняя скорость ответа была в разы меньше требуемой (и увеличилась в 20 раз); - нестабильной: в час пик статистика отставала до получаса (теперь ничего не отстает); - дорогой: изменилась политика лицензирования Microsoft, расходы на лицензии могли составить миллионы долларов. ...

Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2913.html Изначально будут раскрыты базовые причины, которые заставили появиться такой части механизма СУБД, как кэш результатов, и почему в ряде СУБД он есть или отсутствует. Будут рассмотрены различные варианты кэширования результатов как sql-запросов, так и результатов хранимой в БД бизнес-логики. Произведено сравнение способов кэширования (программируемые вручную кэши, стандартный функционал) и даны рекомендации, когда и в каких случаях данные способы оптимальны, а порой опасны. ...

100500 способов кэширования в Oracle Database или как достичь максимальной ск...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2947.html Apache Ignite — Open Source платформа для высокопроизводительной распределенной работы с большими данными с применением SQL или Java/.NET/C++ API. Ignite используют в самых разных отраслях. Сбербанк, ING, RingCentral, Microsoft, e-Therapeutics — все эти компании применяют решения на основе Ignite. Размеры кластеров разнятся от всего одного узла до нескольких сотен, узлы могут быть расположены в одном ЦОД-е или в нескольких геораспределенных. ...

Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3005.html Когда мы говорим о нагруженных системах и базах данных с большим числом параллельных коннектов, особый интерес представляет практика эксплуатации и сопровождения таких проектов. В том числе инструменты и механизмы СУБД, которые могут быть использованы DBA и DevOps-инженерами для решения задач мониторинга жизнедеятельности базы данных и ранней диагностики возможных проблем. ...

Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/2975.html Все мы слышали про изменение кода ядра Linux на лету (kernel live patching). Но кто-нибудь проводит подобные фокусы в user space? Оказалось, что да. Мы тоже попробовали. И получилось. Длинная дорога технологии Userspace Live Patching в жизнь: Что такое Live Patching 1) Изменение части логики процесса. 2) Сохранение состояния процесса. 3) Делать 1+2 БЕЗОПАСНО. ...

Как мы учились чинить самолеты в воздухе / Евгений Коломеец (Virtuozzo)

Ontico

Más de Ontico (20)