https://many-courses.net/ ru https://many-courses.net/programmirovanie/17175-devhands-aleksey-belozerskiy-clickhouse-dlya-analitikov-i-inzhenerov-dannyh.html https://many-courses.net/programmirovanie/17175-devhands-aleksey-belozerskiy-clickhouse-dlya-analitikov-i-inzhenerov-dannyh.html https://many-courses.net/programmirovanie/17175-devhands-aleksey-belozerskiy-clickhouse-dlya-analitikov-i-inzhenerov-dannyh.html Mon, 24 Aug 2026 16:19:37 +0300 native-yes Научитесь эффективно использовать Clickhouse: возможности, архитектурные компромиссы и ограничения.

• Изучить Clickhouse - популярную колоночную СУБД для аналитики данных и разработки приложений и прнять, для каких задач эффективно применять Clickhouse.
  
• Обрабатывать миллиарды строк за секунды. Выполнять за доли секунды аналитические запросы, которые в PostgreSQL или Spark занимали минуты.
  
• Познакомиться с внутренней архитектурой одиночных и кластерных инсталляций.
  
• Разобраться со многими особенностями ClickHouse и с типичными ошибками. Грамотно хранить терабайты аналитических данных с минимальными затратами.

Кому подойдет курс:

• Аналитикам данных
• Инженерам данных
• Архитекторам данных
• Разработчикам

Программа

Встречи: 6 недель (1 встреча в неделю)
Живые лекции с экспертом, Алексеем Белозерским. Ведется запись, ссылка выкладывается в чат. Все встречи начинаются в 18-00 МСК, проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.

Занятие 1. Архитектура Clickhouse

• Какие бывают СУБД. Реляционные и нереляционные, строковые и колоночные, транзакционные и нетразакционные, ACID & BASE
• Особенности Clickhouse. Выбранные при разработке СУБД компромисы.
• CAP теорема и гарантии отказоустойчивости и целостности данных
• Области применения Clickhouse. Как надо и как не надо.
• Строковые и колоночные данные. Отличие Postgres vs Clickhouse
• Архитектура Clickhouse. Шарды и реплики. Zookeeper, Clickhouse keeper.

Практика

• Поднимаем Clickhouse на Ubuntu в простейших случаях, single инсталляция. Подключение к СУБД через clickhouse-client, DBeaver.
• Создаем таблицы - от простого к сложному. Типы данные в Clickhouse, кодеки, движки для single инсталляции
• Подключаемся через SQL Driver (JDBC), по HTTP, через Python. Как устроено подключение к Кликхаусу «под капотом».
• Как отконфигурировать систему, базовые текстовые конфиги. Популярные оптимизации. Лучшие практики для различных ситуаций.

Занятие 2. Данные внутри Clickhouse

• Движок MergeTree, LSN Tree.
• Data Parts. Слияния и мутации данных
• Реальный формат хранения данных на диске под капотом Clickhouse.
• Особенности хранения. Как они влияют на производительность SQL.
• Работа с дисковой подсистемой. Температурная карта хранения на различных типах дисков и работа с S3.
• Вставка данных большими батчами. Лучшие практики.
• Заводим таблицу в Clickhouse - режим эксперта. Какие есть опции и команды

Практика:

• Исследуем data parts на диске и в служебных таблицах Clickhouse. Изучаем оптимизации и слияния данных. Как понять по data parts, что данные успешно принято СУБД.
• Data Parts в файловой системе - как хранятся данные на диске. Какое влияние оказывается на ФС и систему в различных ситуациях и режимах эксплуатации.
• CREATE TABLE - режим эксперта. Продвинутые кодеки и оптимизация хранения. TTL, температурная карта и т.д.

Занятие 3. Использование Clickhouse в приложениях

• Как подключиться к Clickhouse: HTTP, JDBC. Балансировка подключений. Дополнительнеы инструменты для управления подключениями в современных архитектурах приложений.
• Шардирование данных. Локальность. Как приложение узнает, куда ему полючиться в сложной конфигурации кластеров Clickhouse.
• Примеры применения в архитектуре приложений. Кейс встроенной аналитики.
• Работа с большими потоками данных, масштабирование потока. Кейс данных SIEM.
• Кейс сборщика метрик, StatsHouse.
• Back to CAP Theorem. Консистентность данных в Clickhouse. BASE и его особенности. Что нужно понимать разработчку об особенностях СУБД и его поведении в различных ситуациях.
• Мониторинг здоровья Clikhouse. За чем нужно следить в кластере.

Практика: подключаемся к clickhouse из python как пример совместной работы в приложениях

• Балансировка подключений к Clickhouse. Какие настройки и требования к балансировщикам нужно соблюдать, чтобы не совершать ошибок новичка.
• Делаем дашборды здоровья Clickhouse для Single, Cluster архтектур. Алертим о неполадках в кластере.
• Элементы OLTP сценарием - когда все-таки можно?

Занятие 4. Обработка данных в Clickhouse

• Пайплайны в кластере Clickhouse. Еще раз о гаратиях BASE.
• Движки X-MergeTree - что нужно знать.
• Особенности представлений и их материализации в Clickhouse. MV into Table - когда используем.
• Работа с партициями
• Мутации данных. ALTER TABLE Clickhouse-way
• Следим за мутациями
• Clickhouse + Airflow. Clickhouse + DBT. Tips & Tricks.
• Оптимизации - кодеки данных. TTL и тепловая карта, вычислимые поля.
• Встроенные коннекторы: JDBC, S3, Kafka, Iceberg

Практика:

• Используем Airflow + DBT для разработки пайплайнов на базе clickhouse.
• Когда ETL в Clickhouse - плохая идея. Архитектурыне пределы системы, примеры неудачных решений и варианты борьбы с ними («скорая помощь») и обходных путей.
• Кликхаус-специфичные практики для инженеров данных.
• Об оптимизации запросов - практические примеры для обработки больших данных.
• Тюнинг СУБД для работы с большими данными. Уровень кластера, сессии, запроса.

Занятие 5. Аналитика данных в Clickhouse

• Особенности Clickhouse SQL
• Функции и дополнительные аналитические non-ANSI-SQL операторы к Clickhouse. Что полезно знать.
• Траблшутинг и планирование запросов. Что делать если запрос медленные или упал.
• Кластерный и одиночный Clickhouse с точки зрения написания SQL
• Tips & tricks. Что делать, если SQL запрос падает с ошибкой.

Практика

• Используем дополнительные функции clickhouse SQL для аналитики.
• Аналитические кейсы: считаем ретеншн, АБ-тесты

Занятие 6. Резерв для Q&A (сессии вопросов-ответов). Advanced опции

• Clickhouse + Lakehouse, Iceberg REST.
• Фичи Сlickhouse 26.x и другие нововведения

Старт 11 июня

ИСТОЧНИК

СКАЧАТЬ
]]> https://many-courses.net/programmirovanie/14975-devhands-aleksey-rybak-proizvoditelnost-i-masshtabiruemost.html https://many-courses.net/programmirovanie/14975-devhands-aleksey-rybak-proizvoditelnost-i-masshtabiruemost.html https://many-courses.net/programmirovanie/14975-devhands-aleksey-rybak-proizvoditelnost-i-masshtabiruemost.html Sun, 24 May 2026 12:09:58 +0300 native-yes Кому подойдет курс?

Middle/Senior разработчикам

• Изучите особенности системного дизайна хайлоад-проектов
• Научитесь масштабировать веб-серверы, приложения, кеши, СУБД
• Получите уникальную практику тюнинга производительности и управления кластерными системами

Техлидам и архитекторам

• Изучите основы управления Linux- инфрой, погрузившись «под капот», поближе к инфраструктуре
• Выжмете 100K RPS из своих сервисов и освоете искусство планирования мощностей
• Изучите особенности разработки распределенных систем, шардинг, CAP/PACELC-теоремы
• Спроектируете проект на 100M DAU

EM/CTO

• Систематизируете знания в области разработки больших проектов
• Переосмыслите архитектурные подходы в более прагматичном, экономичном, инженерном ключе
• Изучите современные тренды и классификацию компонент, из которых "собираются" хайлоад-проекты

С какими запросами приходят на курс?

• Не понимаю, как оценить количество ресурсов
• Хочу научиться говорить на одном языке с системными аналитиками, devops, другими командами
• Хочу систематизировать знания в разработке хайлоад-проектов
• Хочу глубже понимать, как управляется Linux-инфраструктура
• Хочу научиться планировать нагрузки и считать бюджет
• Хочу понять, как шардировать классические СУБД, как работают кластерные СУБД
• Хочу прокачать знания, необходимые для моего карьерного роста

Ваши цели в обучении

1. Получить фундамент компетенций архитектора сложных и высоконагруженных информационных систем
2. Получить навыки управления своей собственной инфраструктурой
3. Получить навыки нагрузочного тестирования и тюнинга Linux-серверов
4. Получить навыки масштабирования бекенд-систем в собственном облаке
5. Получить практику проектирования высоконагруженных систем с архитектурными брейншторм-сессиями, практикой разработки архитектур и разбором ваших решений с подробной обратной связью
6. Получить практику прохождения и проведения секций системного дизайна на интервью

Программа:

Цели практикума

Практикум можно условно разбить на три части:

• управление виртуальными машинами Linux
• нагрузочное тестирование собственного стэка и подходы к планированию мощностей
• масштабирование СУБД

Управление виртуальными машинами Linux

Участники ставят, собирают, конфигурируют свой собственный стэк — мы поддерживаем практически любой стэк (Java, Python, PHP, C#, Golang, node.js; MySQL или PostgreSQL), поскольку вопросы масштабируемости и производительности общеуниверсальны и не зависят от стэка.

Вы изучите основы администрирования Linux: управление пакетами при помощи пакетного менеджера apt, ручная сборка из исходников и управление ручными сборками, конфигурация и управление systemd-сервисами, мониторинг и базовый анализ производительности с Prometheus и Grafana.

Мы обсудим основы параллелизма в Linux, модели серверов, почему nginx работает супер-быстро и лучше, чем Apache, почему MySQL имеет лучшую серверную модель, чем PostgreSQL, и как с этим бороться и успешно использовать PostgreSQL в больших проектах. В дополнение к вашему любимому серверу приложений вы будете использовать nginx в качестве балансировщика и обратного прокси, MySQL или PostgreSQL в качестве базы данных и Memcached или Redis в качестве кэш-сервера.

Нагрузочное тестирование собственного стэка и подходы к планированию мощностей

Мы изучим основы настройки производительности, тестирования производительности и выжмем максимальную пропускную способность из вашей виртуальной машины. Наш текущий студенческий «рекорд» — 100K «синтетических» RPS с Golang/Fiber на довольно скромной виртуалке.

Участники построят latency/RPS-диаграммы и сравнят показатели производительности и ограничения компонент вашего стэка. Мы используем wrkx (нашу доработку wrk2), но поскольку у нас настоящая программа R&D, мы будем рады использовать любой инструмент, поддерживающий независимо управляемые клиентские потоки и пул соединений.

Масштабирование СУБД

В этом модуле мы изучим (всё будет доступно на вашей собственной инфраструктуре):

• кластерный Redis
• кластерная СУБД CockroachDB
• шардинг-прокси SPQR поверх классического PostgreSQL 17

Везде изучим, как сделано шардирование, переключение мастера, решардинг и т.д.

Занятие 1. Управление Linux-сервером
Знакомство с виртуальной машиной, управление пакетами, сборка open source софта для исследований, работа в screen/tmux, systemd-юниты и управление сервисами, grafana/prometheus/экспортеры.

Занятие 2. Основы нагрузочного тестирования
Основы нагрузочного тестирования. Архитектура стрелялки, соединения, треды/воркеры, интенсивность и связь между ними. Coordinated omission. Перцентили. Знакомство с wrkx и подходами к автоматизации (lsmt). Проведение тестов, тюнинг nginx (выжать не менее 100K RPS на статику с одной ноды).

Занятие 3. Проведение нагрузочного тестирования
Создание собственного сервиса с динамически конфигурируемой нагрузкой на CPU (для языков с корутинами/горутинами/async-io — с особыми оговорками).

Занятие 4. обсуждение результатов нагрузочного тестирования и планирование мощностей
Проведение нагрузочных тестов, анализ данных мониторинга, построение и анализ latency/throughput-диаграмм (показать диаграмму и рассказать, что она значит). Применение полученных данных в оценках планирования мощностей.

Занятие 5. Резервная встреча (сдача «хвостов»)
Резервная встреча для сдачи «хвостов» по практике «с инфрой». Краткое введение в принципы масштабирования приложений, кешей, СУБД. Что мы посмотрим в практикуме по масштабированию СУБД и почему именно это решение.

Занятие 6. Redis-кластер
Архитектура, принципы работы и практикум с кластерным Redis.

Занятие 7. Stateless PostgreSQL Query Router (кластер SPQR + PostgreSQL)
Архитектура, принципы работы и практикум с прокси-роутером SPQR и PostgreSQL.

Занятие 8. Кластер CockroachDB
Архитектура, принципы работы и практикум с кластером CockroachDB.
Автор курса Алексей Рыбак.

• CTO с 20-летним опытом высоконагруженных проектов
• Одним из первых разработчиков Bumble/Badoo, руководил платформенной разработкой, CTO (300 млн пользователей, IPO по оценке $8 млрд)
• В Badoo прошёл путь от стартап-камикадзе до CTO (300 инженеров) и генерального директора Московского офиса разработки
• В роли CTO/VP создавал продукты и строил разработку в российских и глобальных компаниях:
  • «Везёт» — второй по размеру такси-агрегатор в России
  • Yum! Brands
  • Fortune 1000 Restaurant Company
• Член Программного Комитета конференции Highload++

ИСТОЧНИК

СКАЧАТЬ
]]> https://many-courses.net/programmirovanie/13929-devhands-aleksey-belozerskiy-lakehouse-dlya-analitikov-i-inzhenerov-dannyh.html https://many-courses.net/programmirovanie/13929-devhands-aleksey-belozerskiy-lakehouse-dlya-analitikov-i-inzhenerov-dannyh.html https://many-courses.net/programmirovanie/13929-devhands-aleksey-belozerskiy-lakehouse-dlya-analitikov-i-inzhenerov-dannyh.html Mon, 13 Apr 2026 13:33:06 +0300 native-yes Lakehouse для аналитиков и инженеров данных
Научитесь эффективно использовать Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.

• Познакомиться с архитектурой LakeHouse, последним поколением аналитических систем
  с разделенными слоями хранения (Iceberg/S3) и вычисления (Trino/k8s).
• На практике научиться использовать кластер Trino over k8s, который будет обращаться к данным на S3 в формате Iceberg.
• Научиться строить гибридные пайплайны обработки данных с использованием SQL, Python, Spark.
• Освоить масштабирование до х100 раз без смены парадигм и технологий.

Программа обучения
Встречи: 6 недель (1 встреча в неделю)

Занятие 1. Lakehouse, Iceberg, разделение Compute и Storage
Занятие 2. Структура формата Iceberg. Формат Parquet
Занятие 3. Практика
Занятие 4. Метрики запросов в Trino
Занятие 5. Еще раз о формате Iceberg
Занятие 6. Пайплайны и финальная Q&A-сессия

Middle/Senior - Старт 20-го ноября - 6 недель
Живые онлайн-сессии, обсуждения, демо и практика

ИСТОЧНИК

СКАЧАТЬ
]]> https://many-courses.net/programmirovanie/11563-devhands-vladimir-perepelica-intensiv-po-ocheredyam-kafka-i-nats.html https://many-courses.net/programmirovanie/11563-devhands-vladimir-perepelica-intensiv-po-ocheredyam-kafka-i-nats.html https://many-courses.net/programmirovanie/11563-devhands-vladimir-perepelica-intensiv-po-ocheredyam-kafka-i-nats.html Fri, 06 Feb 2026 14:33:49 +0300 native-yes Изучите архитектуру и принципы работы брокеров и очередей за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах

О курсе

• Погрузиться в «мир брокерев и очередей» за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах
• Изучить асинхронное взаимодействие с помощью очередей: подходы, свойства и гарантии
• Получить практику использования очередей на Python или Golang
• Изучить и сравнить Kafka/Rabbit/NATS/Redis:
• Архитектуру проектов, и чем они отличаются
• На что нужно смотреть при использовании очереди
• Как правильно конфигурировать системы очередей

Ваши цели в обучении

• Получить навыки проектирования с использованием самых «топовых» систем очередей: Kafka и NATS
• Получить фундамент компетенций архитектора сложных, высоконагруженных информационных систем
• Получить навыки масштабирования и обеспечения надежности систем, использующих очереди
• Получить навыки сравнения и выбора систем очередей под конкретную задачу

Программа обучения
Встречи: 2.5 недели (2 встречи в неделю)
Живые лекции и живые демо с ведущим, Владимиром Перепелицей. Ведется запись, ссылка выкладывается в чат. С первого же занятия мы выдаем доступ к настроенной инфраструктуре для выполнения практических заданий + можно забрать докер-образ. Все встречи начинаются в 17:00 МСК (GMT+3), проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.

Занятие 1
Вводная теория по очередям. Для чего нужны очереди и где они применяются. Подходы в использовании очередей. Основные системы очередей (брокеры и сервисы) их плюсы и минусы. Алгоритмическая составляющая очередей. Как достигнуть exactly once? Топологические схемы систем очередей. Золотые правила мониторинга очередей

Занятие 2, 3
Apache Kafka. Архитектура Apache Kafka. Основные понятия, свойства и принципы Потоковая обработка с помощью Kafka Streams. Сценарии применения. Практика. Пошаговый запуск Kafka в различной конфигурации от минимального single instance до production grade кластера с отказоустойчивостью. Разбор основных настроек кластера и на что они влияют. Базовая реализация клиентов на Python и Go

Занятие 4
Достижение консистентности между БД и очередью. Transactional Outbox. Deduplication key. Практика: Реализация “сценария оплаты” между двумя БД (postgresql) с использованием очереди

Занятие 5
Обзор архитектуры NATS. Ключевые подходы и компоненты (pub/sub, req/res, streaming). Кластеризация (кластер, суперкластер, федерация, edge). Практика: запуск суперкластера и разбор сценариев.

Автор курса: Владимир Перепелица
Эксперт по большим проектам, очередям и TarantoolРегулярный спикер и член ПК конференций HighloadСоздатель S3 в VK Cloud

Старт следующего потока: 8-го апреля 2025 года.
Вторник, четверг (17-00 мск).

ИСТОЧНИК

СКАЧАТЬ
]]>