|
|
![]() К вопросу о внедрении процессов разработки в международные распределённые командыСреда, 14 Декабря 2022 г. 18:26 (ссылка)
На текущем проекте я столкнулся с необходимостью внедрения единого процесса разработки и деплоймента для нескольких команд дата-инженеров. “Несколько команд” - это 5 команд дата-инженеров из разных стран (Америка, Индия, СНГ) плюс команда, которая отвечает за DataOps, назовём их админами. Разные часовые пояса, немного разная культура работы, немного разный уровень дисциплины и менеджмента. Мысль о том, что нужно менять процессы работы сразу в 5 командах для 40+ человек, приводила в небольшой трепет. Как разрабатывать и внедрять SDLC (software development lifecycle) для команд разработчиков я знал, но тут и люди другие, и специфика проекта другая. В общем, я ждал сложностей. И они были. Что там за сложности? Как их преодолели?https://habr.com/ru/post/705446/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705446
![]() [Перевод] Что ждёт дата-инжиниринг в 2023 году? Семь прогнозовСреда, 14 Декабря 2022 г. 16:00 (ссылка)
https://habr.com/ru/post/705000/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705000 ![]() [Перевод] Что ждёт дата-инжиниринг в 2023 году? Семь прогнозовСреда, 14 Декабря 2022 г. 16:00 (ссылка)
https://habr.com/ru/post/705000/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705000 ![]() [Перевод] Создаем интерпретатор Python на основе ChatGPTСреда, 14 Декабря 2022 г. 15:20 (ссылка)
Вдохновившись постом Building A Virtual Machine inside ChatGPT , я решил попробовать что-то подобное, но на этот раз вместо инструмента командной строки Linux давайте попробуем превратить ChatGPT в интерпретатор Python! Читать далееhttps://habr.com/ru/post/705252/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705252
![]() Количество партиций в Spark DataFrame, DataSet на основе Relational Data Base tableСреда, 07 Декабря 2022 г. 13:03 (ссылка)
В прошлой статье мы рассмотрели количество партиций, которое по умолчанию создается Apache Spark при инициализации DataFrame, DataSet. В текущей статье продолжим рассматривать количество партиций у Spark DataFrame и DataSet, созданных на основе таблицы в Relational Database. Читать далееhttps://habr.com/ru/post/704010/?utm_source=habrahabr&utm_medium=rss&utm_campaign=704010
![]() Актуальные подходы к формированию технологических карт в 2023 годуСреда, 07 Декабря 2022 г. 11:39 (ссылка)
По данным «Коммерсанта», под влиянием западных санкций промышленное производство в России снизилось почти на 4% — предприятия столкнулись с дефицитом импортных компонентов, нарушились привычные партнерские связи и логистические цепочки. Если верить прогнозам инвестгруппы «Финам», отрицательная тенденция в российской промышленности в ближайшее время сохранится. Рост цен на комплектующие, увеличение затрат на транспортировку, дефицит квалифицированных кадров — «долгоиграющие» факторы. Если вашему предприятию эти трудности знакомы не понаслышке, самый верный путь — заняться оптимизацией расходов на техобслуживание и ремонт оборудования. Сегодня мы хотим поговорить о правильном формировании технологических карт, от которых напрямую зависят затраты на ТОиР. Читать далееhttps://habr.com/ru/post/703984/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703984
![]() Обновить данные в ClickHouse без UPDATE: кейс IBSВторник, 06 Декабря 2022 г. 11:41 (ссылка)
Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с последующим получением сохранённых данных в агрегированном виде. Решение задачи, описанной выше, было бы простым и вряд ли заслуживающим отдельной статьи на Хабре. Но наш случай представлял собой ряд нюансов: здесь есть технические дубли записей и бизнес-дубли (обновления), есть агрегированные данные и необходимость обновления агрегированных данных. А это уже пример не совсем типичного использования ClickHouse, которым мы и хотим поделиться. Интересно? Переходите под кат.https://habr.com/ru/post/703124/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703124
![]() [recovery mode] Генерирование и наблюдение характерных особенностей нормального распределения вероятностей в программе STATISTICAПонедельник, 05 Декабря 2022 г. 17:53 (ссылка)
Всем привет, хочу с вами поделиться небольшим туториалом по работе в программе STATISTICA 10.0. Если кто из вас хочет познакомиться с теорией вероятностей или с математической статистикой, то эта программа одна из лучших в своей сфере. В этой статье я не буду приводить сложные (и не очень) формулы, которые нам расписывали на лекциях в институте, а попытаюсь пошагово показать как работать с данными и как проводить их анализ и визуализацию на примере. Читать далееhttps://habr.com/ru/post/703640/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703640
![]() Превью профессии «говорящий с нейросетями»Воскресенье, 04 Декабря 2022 г. 17:26 (ссылка)
Все уже слышали, что openAI выпустили в свет свою новую нейросеть-ассистента, так что я решил попробовать на что она способна и описать свой опыт взаимодействия с этим.. Этой... Сущностью. https://habr.com/ru/post/703380/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703380
![]() [Перевод] 2003–2023: Краткая история Big DataВоскресенье, 04 Декабря 2022 г. 13:00 (ссылка)
Дисклеймер: изначально я планировал оформить статью логотипами упоминаемых в ней компаний и программ, но на TDS запрещено обширное использование логотипов, поэтому я решил украсить содержание случайными изображениями и справочной информацией. Весело вспоминать, где мы в те времена находились и чем занимались. Читать дальше → https://habr.com/ru/post/702932/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702932
![]() [Перевод] Работа с поверхностными и глубокими копиями в PythonПятница, 02 Декабря 2022 г. 16:00 (ссылка)
«Чем больше я узнаю, тем больше понимаю, как много я ещё не знаю».Читать дальше → https://habr.com/ru/post/702486/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702486 ![]() Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouseВоскресенье, 27 Ноября 2022 г. 13:30 (ссылка)
BigQuery и другие аналитические хранилища в сочетании с современными BI инструментами перевернули работу с данными за последние годы. Возможность обрабатывать терабайты информации за секунды, интерактивные дашборды в DataStudio и PowerBI, сделали работу очень комфортной. Однако если посмотреть глубже, можно увидеть - выиграли от этих изменений в основном профессионалы, владеющие SQL и Python и бизнес пользователи на руководящих позициях, для которых разрабатываются дашборды. https://habr.com/ru/post/701794/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701794
![]() [Перевод] Инженерия данных != инженерия ПОВоскресенье, 27 Ноября 2022 г. 13:00 (ссылка)
https://habr.com/ru/post/701366/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701366
![]() [Перевод] Инженерия данных != инженерия ПОВоскресенье, 27 Ноября 2022 г. 13:00 (ссылка)
https://habr.com/ru/post/701366/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701366
|
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |