|
|
![]() Apache NiFi & Jolt TransformПонедельник, 14 Ноября 2022 г. 13:53 (ссылка)
Продолжаем изучать Jolt Transform JSON в Apache NiFi. Читать далееhttps://habr.com/ru/post/699222/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699222
![]() Мониторинг в NiFi. Часть третья. Задачи отчетности Site-to-SiteЧетверг, 10 Ноября 2022 г. 10:28 (ссылка)
В предыдущих частях мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi и задач отчетности. В этой части поближе познакомимся с задачами отчетности Site-to-Site. При отправке данных из одного экземпляра NiFi в другой можно использовать множество различных протоколов, однако, предпочтительным является NiFi Site-to-Site. Данный протокол предлагает безопасную и эффективную передачу данных из узлов в одном экземпляре NiFi, производящем данные, на узлы в другом экземпляре, являющимся приемником этих данных. Читать далееhttps://habr.com/ru/post/698288/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698288
![]() Мониторинг в Apache NiFi. Часть втораяВторник, 01 Ноября 2022 г. 18:38 (ссылка)
Задачи отчетности (Reporting Tasks) В первой статье мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi. Теперь рассмотрим, как передать необходимые метрики и отчеты об ошибках и состоянии кластера во внешние системы. NiFi предоставляет возможность сообщать о состоянии, статистике, показателях и информации мониторинга внешним службам с помощью интерфейса задач отчетности (Reporting Task). Apache NiFi предоставляет несколько вариантов задач отчетности для поддержки внешних систем мониторинга, таких как Ambari, Grafana, Prometheus и т. д. Разработчик может создать пользовательскую задачу отчетности или настроить встроенные задачи для отправки метрик NiFi во внешние системы мониторинга. Читать далееhttps://habr.com/ru/post/695926/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695926
![]() Мониторинг в Apache NiFi. Часть перваяПонедельник, 10 Октября 2022 г. 09:55 (ссылка)
Apache NiFi динамично развивается и на сегодняшний день обладает достаточно большим набором возможностей, позволяющим отслеживать состояние потоков данных, ошибки и предупреждения, возникающие в процессорах и на кластере, а также состояние кластера. Первая статья посвящена мониторингу потоков данных с помощью инструмента GUI NiFi. В последующих материалах мы рассмотрим задачи отчетности, опишем примеры сбора метрик и визуализации при помощи таких популярных систем, как Prometheus и Grafana. Читать далееhttps://habr.com/ru/post/692154/?utm_source=habrahabr&utm_medium=rss&utm_campaign=692154
![]() Kafka как интеграционная платформа: от источников данных к потребителям и в хранилище (часть 2)Среда, 21 Сентября 2022 г. 12:11 (ссылка)
Привет! Продолжаю рассказ про интеграционную платформу на базе Apache Kafka и про то, как мы постарались гармонично вписать ее в непростую ИТ инфраструктуру группы НЛМК. Напомню, что в первой части статьи были описаны соглашения об именовании топиков, подход к реализации ролевой модели и соглашение по базовой схеме данных. Здесь расскажу, как сделали универсальное охлаждение для всех данных из Kafka в корпоративное хранилище на базе Hadoop, про сервис доставки сообщений в ИС и про разработанные сервисы, доступные на нашем Self-Serves портале. Читать далееhttps://habr.com/ru/post/686778/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686778
![]() Kafka как интеграционная платформа: от источников данных к потребителям и в хранилище (часть 1)Среда, 07 Сентября 2022 г. 10:48 (ссылка)
Меня зовут Илья Макаров, я работаю архитектором решений и в статье расскажу про архитектуру цифровой платформы НЛМК, из каких компонент, помимо Apache Kafka, она состоит, к каким соглашениям по именованию топиков и договоренностям по передаче данных мы пришли, как всем этим управляем. Читать далееhttps://habr.com/ru/post/682978/?utm_source=habrahabr&utm_medium=rss&utm_campaign=682978 ![]() Технологии NiFi & Kafka: применение (часть 2)Среда, 24 Августа 2022 г. 06:17 (ссылка)
Добрый день, меня зовут Рустам Ахметов, я архитектор ГК Юзтех и интеграционной шины данных UseBus. В предыдущей статье я рассказывал о Kafka и её аналогах, а сегодня хочу рассмотреть NiFi. Вы узнаете: Читать далееhttps://habr.com/ru/post/684312/?utm_source=habrahabr&utm_medium=rss&utm_campaign=684312
![]() Технологии NiFi & Kafka: применение (часть 1)Среда, 17 Августа 2022 г. 10:02 (ссылка)
Добрый день, меня зовут Рустам Ахметов, я архитектор ГК Юзтех и интеграционной шины данных UseBus. В этой статье я расскажу о нашем опыте разработки продукта и выборе технического стэка. Хочу добавить, что я буду давать лишь поверхностный Helicopter view на продукты и их аналоги. Из статьи вы узнаете: Читать далееhttps://habr.com/ru/post/683022/?utm_source=habrahabr&utm_medium=rss&utm_campaign=683022
![]() Apache NiFi: как решить ошибки, которые не гуглятсяВторник, 07 Июня 2022 г. 10:11 (ссылка)
Настройка и запуск Apache NiFi и Zookeeper, настройка авторизации по LDAP и работа NiFi по HTTPS, настройка и запуск Apache NiFi Registry, пример запуска NiFi c Kerberos — вот темы, которые будут в этой статье. https://habr.com/ru/post/669812/?utm_source=habrahabr&utm_medium=rss&utm_campaign=669812
![]() Как сделать инициирующую загрузку в NiFiПятница, 08 Апреля 2022 г. 11:54 (ссылка)
Давайте поговорим про Apache NiFi. Этот ETL-инструмент все чаще используют при загрузке данных в хранилище, правда, не всегда по назначению. Об одном из таких сценариев я рассказывал на конференции SmartData. Видео можно посмотреть на Ютубе, но я все равно рекомендую вам прочитать этот текст: здесь я собрал новые мысли и идеи. Речь пойдет об инициирующей загрузке, или перегрузке данных из источника. Читать далееhttps://habr.com/ru/post/659795/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659795
|
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |