|
|
![]() Управление на основе данных. Что общего между электронным дневником и базой налоговой?Четверг, 02 Февраля 2023 г. 17:00 (ссылка)
Сегодня о подходе к управлению, основанному на данных, не говорит только ленивый. Кто уже имеет с этим дело в своей работе, предлагаем сразу переходить к разделу с описанием опыта Татарстана по управлению данными. А для тех, кто этим направлением раньше не интересовался, Центр цифровой трансформации Татарстана дает пару вводных. Читать далееhttps://habr.com/ru/post/714492/?utm_source=habrahabr&utm_medium=rss&utm_campaign=714492
![]() Виброакустический мониторинг дорожной обстановкиЧетверг, 26 Января 2023 г. 12:02 (ссылка)
В России впервые в мире внедрили систему акустического мониторинга по волоконно-оптическим линиям на действующей автомобильной дороге протяженностью около 240 километров. Система позволяет в режиме реального времени отслеживать большое количество событий на дороге с точностью до 1 метра по акустическим следам от участников дорожного движения. Проект был реализован компанией "СМАРТС", за программную часть отвечала ИТ-компания Haulmont. Собственно далее рассказ пойдет от лица разработчиков о сложностях и нюансах этого уникального проекта. Читать далееhttps://habr.com/ru/post/712788/?utm_source=habrahabr&utm_medium=rss&utm_campaign=712788
![]() Цвет сезона – слива. Что мы сделали с GreenPlum в 2022-м и что планируем в 2023-мСреда, 18 Января 2023 г. 12:07 (ссылка)
Привет, Хабр! Меня зовут Марк Лебедев, работаю архитектором в GlowByte. В июне 2022 года на митапе DataPeople мы с командой рассказывали о наших планах в части GreenPlum (запись выступления). Если коротко, тогда мы сфокусировались на развитии open-source и собирались выложить в публичный доступ наши наработки относительно мониторинга кластера и мониторинга запросов, плейбуки по инсталляции и наши подходы для нагрузочного тестирования. Собственно про них и хотелось бы поговорить подробно. В этой статье мы подведём итоги, что нам удалось сделать за прошедшие 6 месяцев, и расскажем о планах на будущий год. В конце статьи укажем все ссылки на репозитории. Читать далееhttps://habr.com/ru/post/711206/?utm_source=habrahabr&utm_medium=rss&utm_campaign=711206
![]() [Перевод] Знакомство с Fugue — уменьшаем шероховатости при работе с PySparkЧетверг, 12 Января 2023 г. 22:27 (ссылка)
Автор оригинальной статьи: Kevin Kho Повышение производительности разработчиков и снижение затрат на проекты Big Data Читать далееhttps://habr.com/ru/post/710338/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710338
![]() SQL за 2 месяца. Подробный план обученияСреда, 04 Января 2023 г. 23:29 (ссылка)
То, что данные называют нефтью 21 века известно уже давно: на них учатся нейросети, их мгновенная обработка и передача сильно упростили нашу жизнь, и одной из самых распространенных структур хранения данных является реляционная. Именно с ней знакомы большинство разработчиков и, скорее всего, знания как с ней работать вам тоже понадобятся. Основным инструментом для взаимодействия с реляционными БД является структурированный язык запросов или же SQL. Читать далееhttps://habr.com/ru/post/709116/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709116
![]() Pyspark. Анализ больших данных, когда Pandas не достаточноЧетверг, 29 Декабря 2022 г. 15:27 (ссылка)
Pandas - одна из наиболее используемых библиотек Python с открытым исходным кодом для работы со структурированными табличными данными для анализа. Однако он не поддерживает распределенную обработку, поэтому вам всегда придется увеличивать ресурсы, когда вам понадобится дополнительная мощность для поддержки растущих данных. И всегда наступит момент, когда ресурсов станет недостаточно. В данной статье мы рассмотрим, как PySpark выручает в условиях нехватки мощностей для обработки данных. Ну что же, приступим... Читать далееhttps://habr.com/ru/post/708468/?utm_source=habrahabr&utm_medium=rss&utm_campaign=708468
![]() Как вы себе представляете современную птицеферму?Пятница, 23 Декабря 2022 г. 12:32 (ссылка)
Если первое, что приходит вам на ум – это страшного вида покосившийся сарай, то это очень далеко от истины. А как насчет светлого, кондиционируемого помещения, оборудованного диско-светом, игровой площадкой, роботом-пылесосом, подключенного к датчикам на основе IoT и находящегося под круглосуточным мониторингом с помощью облачных технологий? Это уже гораздо ближе к правде. Давайте разбираться. Читать далееhttps://habr.com/ru/post/707304/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707304
![]() Реидентификация 2.0: как сделать камеры умнееВторник, 13 Декабря 2022 г. 10:00 (ссылка)
Реидентификация 2.0: как сделать камеры умнее Специалисты компании «Криптонит» разработали эффективный подход к обработке видеоданных с помощью искусственных нейронных сетей. Читать далееhttps://habr.com/ru/post/704914/?utm_source=habrahabr&utm_medium=rss&utm_campaign=704914
![]() Обновить данные в ClickHouse без UPDATE: кейс IBSВторник, 06 Декабря 2022 г. 11:41 (ссылка)
Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с последующим получением сохранённых данных в агрегированном виде. Решение задачи, описанной выше, было бы простым и вряд ли заслуживающим отдельной статьи на Хабре. Но наш случай представлял собой ряд нюансов: здесь есть технические дубли записей и бизнес-дубли (обновления), есть агрегированные данные и необходимость обновления агрегированных данных. А это уже пример не совсем типичного использования ClickHouse, которым мы и хотим поделиться. Интересно? Переходите под кат.https://habr.com/ru/post/703124/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703124
![]() 33 питона: зоопарк позиций, которые требуют знания pythonВторник, 29 Ноября 2022 г. 12:53 (ссылка)
В прошлом году передо мной встала задача собрать команду для разработки платформы обработки данных. Причём не только команды разработки самой платформы, но ещё и команды дата-инженеров, которые будут пользоваться этой самой платформой: писать конфигурации дата-пайплайнов и наполнять дата-лейк данными. И ещё были нужны аналитики данных, кто бы разбирался в предметных областях и понимал о чём те или иные таблицы. А так как данных много (пару тысяч таблиц) понадобились дата-сайентисты, кто бы не просто мог ответить на вопрос о качестве данных, но и предложить как это качество данных проверять на масштабе нескольких тысяч таблиц, нескольких сотен дата-пайплайнов и нескольких сотен гигайбайт данных каждый день. Начну с темы найма. Найма питонистов всех мастей. Завораживающие предисловие, не правда ли? Прошло почти два года со старта проекта, и я готов подвести некоторые итоги и поделиться опытом. Читать далее про разных питонистовhttps://habr.com/ru/post/701588/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701588
![]() [Перевод] Начало работы с языковой моделью GalacticaВоскресенье, 21 Ноября 2022 г. 01:58 (ссылка)
Galactica — это большая языковая модель с открытым исходным кодом от Meta AI. Модель справляется с множеством научных задач, используя единую модель, выполняет логические рассуждения, создает конспекты лекций, прогнозирует цитаты и имеет ещё массу других талантов. В этой статье ты научишься загружать модель Galactica и напишешь свой первый запрос к ней. Читать далееhttps://habr.com/ru/post/700482/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700482
![]() Машинное обучение в помощь диагностам и инженерам по надёжностиВторник, 15 Ноября 2022 г. 15:40 (ссылка)
Данных много, а я один: трудовая рутина специалистов по диагностике и инженеров по надежности тесно связана с архивами SCADA, журналами дефектов и ремонтов, многостраничной документацией на оборудование. Однако работа с большими данными может быть эффективной и простой, если в арсенале есть современные инструменты. Сегодня мы расскажем о возможностях выявления отклонений в работе оборудования с помощью решения F5 PMM от российского разработчика Factory5, который может прийти на помощь диагностам даже с минимальным количеством имеющихся данных телеметрии. Читать далееhttps://habr.com/ru/post/699496/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699496
![]() Интеллектуально-гастрономическая аналитика или как испечь тыквенный пирог с аналитической системойПятница, 11 Ноября 2022 г. 15:14 (ссылка)
![]() Мониторинг в Apache NiFi. Часть втораяВторник, 01 Ноября 2022 г. 18:38 (ссылка)
Задачи отчетности (Reporting Tasks) В первой статье мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi. Теперь рассмотрим, как передать необходимые метрики и отчеты об ошибках и состоянии кластера во внешние системы. NiFi предоставляет возможность сообщать о состоянии, статистике, показателях и информации мониторинга внешним службам с помощью интерфейса задач отчетности (Reporting Task). Apache NiFi предоставляет несколько вариантов задач отчетности для поддержки внешних систем мониторинга, таких как Ambari, Grafana, Prometheus и т. д. Разработчик может создать пользовательскую задачу отчетности или настроить встроенные задачи для отправки метрик NiFi во внешние системы мониторинга. Читать далееhttps://habr.com/ru/post/695926/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695926
![]() Автоматический подбор параметров для Spark-приложенийЧетверг, 27 Октября 2022 г. 11:12 (ссылка)
Всем привет! Меня зовут Валерия Дымбицкая, я технический руководитель команды дата-инженеров в OneFactor. В этой статье я расскажу о том, как мы научились автоматически подбирать параметры для Spark-приложений на основе логов. Проблема, которую мы решали, может встретиться при регулярном, предсказуемом, интенсивном использовании Hadoop-кластера. Я расскажу, как мы простыми средствами сделали рабочую автономную систему тюнинга, сэкономив в итоге 15-16% ресурсов кластера. Вас ждут детали с примерами кода. В первой половине статьи я расскажу про то, какая перед нами стояла задача, и разберу ключевые пункты для её решения. Во второй половине будет рассказ о том, как это решение подготовить к работе на продуктиве и что мы из этого всего получили. Зачем нам вообще понадобился автоматический тюнинг? Начнём с инфраструктуры. Сетап у нас "классический": ограниченный Hadoop-кластер из купленных серверов. В нём на тот момент, когда мы начали всё это делать, было около 30Тб RAM и 5к CPU. В этом кластере запускается множество разноплановых приложений на Apache Spark и в какой-то момент им стало тесновато. Всё больше приложений висели в PENDING значительное время, потребление памяти утроилось за последние 4 месяца. Сохранять такую тенденцию не хотелось. Довольно много приложений были от продукта Лидогенерация. Базово он устроен так: есть список номеров телефонов (база) и есть Spark ML Pipeline, который каким-то образом отбирает из этой базы лидов абонентов для некоего целевого действия – например, для предложения продукта клиенту. База может меняться от раза к разу. Вот такую пару из Читать далееhttps://habr.com/ru/post/695562/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695562
![]() Как понять, что пришло время внедрять платформу для анализа данных?Среда, 26 Октября 2022 г. 15:32 (ссылка)
Эффективные управленческие решения основаны на качественной аналитике данных. Но информации становится больше, а ее анализ — труднее. Всё чаще на помощь компаниям приходит прогнозная или предиктивная аналитика, позволяющая справиться с экспоненциальным ростом информации благодаря использованию методов машинного обучения. В этой статье мы рассмотрим предпосылки и признаки необходимости внедрения платформенных решений, а также укажем на аспекты, о которых надо помнить перед или при внедрении системы. Читать далееhttps://habr.com/ru/post/695622/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695622
![]() Линейный прогноз в Tableau. Терапевтический очеркВоскресенье, 16 Октября 2022 г. 10:08 (ссылка)
Линейный прогноз. Такой простой, понятный и востребованный, практически, в любой коммерческой отрасли. Казалось бы, посчитать его можно где угодно без особого труда. Но у Tableau на этот счет есть иное мнение... Читать далееhttps://habr.com/ru/post/692692/?utm_source=habrahabr&utm_medium=rss&utm_campaign=692692
|
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |