В России впервые в мире внедрили систему акустического мониторинга по волоконно-оптическим линиям на действующей автомобильной дороге протяженностью около 240 километров. Система позволяет в режиме реального времени отслеживать большое количество событий на дороге с точностью до 1 метра по акустическим следам от участников дорожного движения.

Проект был реализован компанией "СМАРТС", за программную часть отвечала ИТ-компания Haulmont. Собственно далее рассказ пойдет от лица разработчиков о сложностях и нюансах этого уникального проекта.

https://habr.com/ru/post/712788/?utm_source=habrahabr&utm_medium=rss&utm_campaign=712788

Привет, Хабр.

Меня зовут Владимир Евсеев, я Senior Java developer, Teamlead в SSP SOFT.

Наша команда приступила к масштабному проекту: системе, обеспечивающей транспортный уровень документооборота банка. Сегодня я расскажу, как мы справились с первым этапом: выстроили магистраль, способную передавать около 150 000 файлов в сутки, или 1,5 терабайта информации. Поделюсь, что получилось и что еще предстоит довести до совершенства.

https://habr.com/ru/post/710770/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710770

Netflix ушел, а технологии остались. Поэтому мы решили перевести оригинальную статью за авторством Meenakshi Jindal о том, как стриминговый сервис обрабатывает данные с помощью Apache Kafka.

https://habr.com/ru/post/710498/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710498

Исходное положение

Этап первый - боремся с регулярками.

Этап второй - разделяй топики и властвуй.

Этап третий - просто автоматизируй это.

Этап четвертый - как правильно удалять aclы.

https://habr.com/ru/post/706892/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706892

Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с последующим получением сохранённых данных в агрегированном виде.

Решение задачи, описанной выше, было бы простым и вряд ли заслуживающим отдельной статьи на Хабре. Но наш случай представлял собой ряд нюансов: здесь есть технические дубли записей и бизнес-дубли (обновления), есть агрегированные данные и необходимость обновления агрегированных данных. А это уже пример не совсем типичного использования ClickHouse, которым мы и хотим поделиться.

https://habr.com/ru/post/703124/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703124

Привет, Хабр!

Меня зовут Миша Кабищев, я руковожу направлением базовых сервисов в платформе Ozon.

Платформа в Ozon – это разработка для разработки, мы снабжаем инженеров библиотеками, фреймворками и подходами, которые решают их повседневные проблемы - быстрый старт нового сервиса, работа с очередями и базами данных, балансировка нагрузки, рейт лимитинг, circuit-breaking и многое другое. Одним словом, мы упрощаем жизнь коллег, чтобы Time to market сокращался, и пользователи получали больше новых фич без потери качества.

Приглашаю в гости на открытый Ozon Tech Сommunity Platform Meetup, который состоится 8 декабря в 18:00 в Алматы. Онлайн формат тоже будет.

https://habr.com/ru/post/703094/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703094

Программные брокеры сообщения уже стали стандартом при построении больших и сложных систем. Однако до сих пор не все ИТ-специалисты понимают, как работают эти инструменты. Главный системный аналитик «Иннотех» Павел Малыгин помогает разобраться в брокерах сообщениях и их работе.

https://habr.com/ru/post/698838/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698838

У нас есть традиция: каждые полгода до того, как провести конференцию DotNext, мы публикуем на Хабре десять докладов с предыдущей конференции, которые особенно понравились участникам.

Сейчас до осеннего DotNext остаются считанные дни (он пройдёт 3–4 ноября в онлайне, 20 ноября в Москве с возможностью онлайн-просмотра). Так что публикуем десятку с весеннего. Как обычно, в тексте доклады расположены от десятого места к первому — для максимальной интриги.

https://habr.com/ru/post/696440/?utm_source=habrahabr&utm_medium=rss&utm_campaign=696440

В 2022 году искушённого хабрачитателя уже не удивить очередной статьёй о том, как готовить Kafka. На эту тему уже есть куча полезных материалов. Например: тут, тут, тут и тут. А вот информации об инструментах, входящих в экосистему Kafka, ещё не так много.

Когда у вас тысячи топиков и десятки брокеров в нескольких дата-центрах, то вручную балансировать реплики партиций ещё возможно. Но где-то на этом этапе работа по переносу реплик с одного брокера на другой становится рутиной. А при увеличении объёмов без автоматизации уже не обойтись. Поэтому мы задумались о том, какие инструменты могут в этом помочь.

Сегодня я поделюсь нашей историей запуска инструмента Kafka Cruise Control от LinkedIn. Наш путь по запуску на наших объёмах был тернист, и получился интересным, почти детективным рассказом. А если вы думаете, как автоматизировать рутинные операции по администрированию Kafka-кластеров, то, уверен, почерпнёте для себя что-то полезное.

https://habr.com/ru/post/694030/?utm_source=habrahabr&utm_medium=rss&utm_campaign=694030

Подружить REST и Apache Kafka кажется нетривиальной задачей. Однако с ней удалось справиться экспертам Группы «Иннотех». Ведущий разработчик Кирилл Воронин рассказал подробности решения задачи перевода асинхронных запросов в синхронные.

https://habr.com/ru/post/693380/?utm_source=habrahabr&utm_medium=rss&utm_campaign=693380

Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafka.

Мы рассмотрим несколько вариантов: кастомная реализация, Kafka Streams, Kafka Connect, Spring Framework и Parallel Consumer. Вы увидите, как Uber, CrowdStrike и Santander Bank реализуют надёжные механизмы обработки ошибок в реальном времени и в огромном масштабе.

https://habr.com/ru/post/691682/?utm_source=habrahabr&utm_medium=rss&utm_campaign=691682