|
rss_habr
[Перевод] Повторная обработка данных на платформе управления цифровыми ресурсами в NetflixПятница, 13 Января 2023 г. 17:03 (ссылка)
Netflix ушел, а технологии остались. Поэтому мы решили перевести оригинальную статью за авторством Meenakshi Jindal о том, как стриминговый сервис обрабатывает данные с помощью Apache Kafka. Читать далееhttps://habr.com/ru/post/710498/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710498
rss_habr
Синхронный «запрос-ответ» с использованием REST и Apache KafkaПятница, 14 Октября 2022 г. 17:16 (ссылка)
Подружить REST и Apache Kafka кажется нетривиальной задачей. Однако с ней удалось справиться экспертам Группы «Иннотех». Ведущий разработчик Кирилл Воронин рассказал подробности решения задачи перевода асинхронных запросов в синхронные. Читать далееhttps://habr.com/ru/post/693380/?utm_source=habrahabr&utm_medium=rss&utm_campaign=693380
rss_habr
[Перевод] Очередь недоставленных сообщений для обработки ошибок в Apache KafkaСреда, 05 Октября 2022 г. 16:07 (ссылка)
Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafka. Мы рассмотрим несколько вариантов: кастомная реализация, Kafka Streams, Kafka Connect, Spring Framework и Parallel Consumer. Вы увидите, как Uber, CrowdStrike и Santander Bank реализуют надёжные механизмы обработки ошибок в реальном времени и в огромном масштабе. Читать далееhttps://habr.com/ru/post/691682/?utm_source=habrahabr&utm_medium=rss&utm_campaign=691682
rss_habr
[Перевод] Apache Kafka в цепочке поставок в пищепроме и ритейлеСреда, 21 Сентября 2022 г. 15:54 (ссылка)
Цепочка поставок в пищевой промышленности и ритейле — это сложная, медленная и ненадёжная система. В этой статье мы рассмотрим развёртывание Apache Kafka для обработки данных в реальном времени в таких сферах, как производство, логистика, розничная торговля, доставка, рестораны и другие части бизнеса. Это будут примеры из настоящих компаний: Walmart, Albertsons, Instacart, Domino’s Pizza, Migros и т. д. Читать дальшеhttps://habr.com/ru/post/689460/?utm_source=habrahabr&utm_medium=rss&utm_campaign=689460
rss_habr
[Перевод] Обзор UI-инструментов для мониторинга и управления кластерами Apache KafkaЧетверг, 15 Сентября 2022 г. 09:46 (ссылка)
Прим. перев.: автор этого материала — Герман Осин, старший архитектор решений в Provectus. Осин сравнивает функциональность восьми UI-инструментов, которые помогают решить проблемы наблюдаемости и мониторинга Apache Kafka. Стоит отметить, что обзор скорее вводный. Он будет полезен для первоначального знакомства с возможностями решений. Apache Kafka — незаменимый инструмент для обработки данных в реальном времени и отслеживания активности приложений. К сожалению, мониторинг кластеров Apache Kafka и управление ими — непростая задача. Решить ее помогают сторонние коммерческие или Open Source-инструменты с графическим интерфейсом и дополнительными функциями в области администрирования и мониторинга. В статье представлен краткий обзор таких инструментов. Читать далееhttps://habr.com/ru/post/688190/?utm_source=habrahabr&utm_medium=rss&utm_campaign=688190
rss_habr
Kafka как интеграционная платформа: от источников данных к потребителям и в хранилище (часть 1)Среда, 07 Сентября 2022 г. 10:48 (ссылка)
Меня зовут Илья Макаров, я работаю архитектором решений и в статье расскажу про архитектуру цифровой платформы НЛМК, из каких компонент, помимо Apache Kafka, она состоит, к каким соглашениям по именованию топиков и договоренностям по передаче данных мы пришли, как всем этим управляем. Читать далееhttps://habr.com/ru/post/682978/?utm_source=habrahabr&utm_medium=rss&utm_campaign=682978
rss_habr
Распределенная трассировка: подключить всех и не умеретьВторник, 06 Сентября 2022 г. 11:45 (ссылка)
Всем привет! Меня зовут Филипп Бочаров, я руководитель центра мониторинга и наблюдаемости в МТС Digital. Мы с командой делаем платформу Наблюдаемости – это набор сервисов, который позволяет сделать работу других продуктов МТС прозрачной и понятной. Сегодня я расскажу про распределенную трассировку экосистемы МТС. Давайте вместе спроектируем коммунальную систему, в которой соберем распределенную трассировку всей нашей экосистемы. Отмасштабируем ее от 0 до 50 тысяч документов в секунду и посмотрим, как меняется наша архитектура, откуда берутся потери и пиковые нагрузки, какие есть пределы и ограничения. В общем, постараемся выжить под нагрузкой! Читать далееhttps://habr.com/ru/post/686512/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686512
rss_habr
[Перевод] Почему KRaft заменил ZooKeeperСреда, 31 Августа 2022 г. 17:02 (ссылка)
Зачем менять ZooKeeper на встроенный лог Apache Kafka® для управления метаданными? В этой статье вы узнаете, зачем нужна была эта замена, какие преимущества даёт протокол консенсуса на основе кворума, вроде Raft, и как работает контроллер кворума поверх протоколов KRaft. Читать далееhttps://habr.com/ru/post/685694/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685694
rss_habr
Разбираемся в Apache Kafka: подборка полезных статей и кейсовСреда, 17 Августа 2022 г. 20:00 (ссылка)
Разрабатываете приложения с применением Apache Kafka? Мы собрали для вас статьи, которые помогут освоить инструмент, познакомят с рабочими кейсами с использованием ПО. Делимся пользой и свежими идеями, подборками книг и реализованными задумками. https://habr.com/ru/post/683168/?utm_source=habrahabr&utm_medium=rss&utm_campaign=683168
rss_habr
Как собрать платформу обработки данных «своими руками»?Четверг, 28 Июля 2022 г. 11:06 (ссылка)
Предыстория (очень короткая)Один заказчик, который заинтересовался нашими компетенциям в построении инфраструктур, предложил крупный интеграционный проект. Архитекторы клиента придумали сложную и большую платформу, которая включала в себя машинное обучение, обработку данных и управлялась с помощью Kubernetes. Нам поставили задачу реализовать проект платформы, настроить связность элементов, построить и запустить инфраструктуру в эксплуатацию. В итоге всё прошло хорошо и заказчик доволен. А у нас возникла идея скомпоновать свою платформу — такую, чтобы она была доступной не только большому бизнесу, но и компаниям среднего и малого масштаба. То есть сделать так, чтобы можно было получать большие возможности и не платить при этом огромные деньги. Читать дальше → https://habr.com/ru/post/679516/?utm_source=habrahabr&utm_medium=rss&utm_campaign=679516
rss_habr
Обкафкился по полной: 3 фейла с Apache KafkaСреда, 22 Июня 2022 г. 17:42 (ссылка)
Недавно мы проводили вебинар «Обкафкился по полной. Фейлы с Apache Kafka». На нём спикер Всеволод Севостьянов, Engineering Manager в HelloFresh, поделился фейлами из личной практики, а ещё рассказал, как мастерски ходить по тонкому льду Kafka и прокачать свой бэкенд. Для тех, кто пропустил или предпочитает читать, а не смотреть, подготовили текстовый вариант. Читать далееhttps://habr.com/ru/post/672918/?utm_source=habrahabr&utm_medium=rss&utm_campaign=672918
rss_habr
Вебинар «Битва брокеров сообщений: Kafka, RabbitMQ, SQS»: 23 июня в 19.00Понедельник, 20 Июня 2022 г. 17:54 (ссылка)
23 июня Яндекс Практикум проведёт вебинар «Битва брокеров сообщений: Kafka, RabbitMQ, SQS». На вебинаре менторы курса «Go-разработчик» расскажут, что такое брокеры сообщений, почему без них невозможно построить высоконагруженную систему и поделятся опытом использования брокеров на своих реальных проектах. Кроме этого, обсудят плюсы и минусы каждого брокера и разберут, как они помогут вам вырасти в специалиста мидл-уровня. https://habr.com/ru/post/672424/?utm_source=habrahabr&utm_medium=rss&utm_campaign=672424
rss_habr
Apache Kafka для магазиновПонедельник, 07 Июня 2022 г. 01:14 (ссылка)
Всем привет! Меня зовут Игорь, я работаю системным архитектором в CSI. Хочу поделиться историей появления в нашем стеке технологий надежного и универсального брокера сообщений. Расскажу, как и для чего мы его используем, поделюсь полезными нюансами и примером с сетью Fix Price. Статей про Apache Kafka уже более, чем достаточно, но наш кейс немного отличается от стандартного использования. Надеюсь, опыт пригодится кому-то ещё. Читать далееhttps://habr.com/ru/post/669974/?utm_source=habrahabr&utm_medium=rss&utm_campaign=669974
rss_habr
Apache Kafka и RabbitMQ: в чем разница и что лучше изучать?Среда, 18 Мая 2022 г. 10:50 (ссылка)
Мы решили внести свой скромный вклад в развитие комьюнити и перевели оригинальную статью. Статья опубликована на сайте Simplilearn. Мы все больше полагаемся на данные для выполнения задач в работе и повседневной жизни. Приложения, сервисы, ПО, мобильные устройства и другие элементы объединяются в сложную и разветвленную паутину, которая затрагивает большинство сфер нашей жизни. В результате возрастает потребность в обработке потока информации между элементами этой системы. Устройства и приложения должны четко и безошибочно взаимодействовать друг с другом. Именно поэтому программисты используют брокеры сообщений и аналогичные инструменты для обмена информацией и коммуникации. Читать далееhttps://habr.com/ru/post/666326/?utm_source=habrahabr&utm_medium=rss&utm_campaign=666326
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |