За время работы над аналитическими отчетами по рынку отечественных BI-систем, о которых я уже рассказывал, мы поняли, что есть потребность в обзоре еще одного компонента – а вернее, даже двух связанных с BI. Речь про ETL и коннекторы. Им и посвящено наше новое исследование ETL-круг Громова.

Зачем?

Сейчас есть насущная необходимость в агрегированной информации о российских решениях. Да, в какой-то степени этот вопрос может закрыть всем известный реестр отечественного софта. Но, во-первых, там есть далеко не все решения. А во-вторых, информация о ПО там далеко не полная. Ведь кроме технических параметров нужно разобраться со многими другими, причем желательно в сравнении – реестр этого не позволяет сделать.

Вторая причина запуска исследования в том, что не все BI-платформы имеют собственные встроенные ETL, а значит, выбор ETL тесно связан с выбором BI-платформы. И раз уж последние мы регулярно изучаем, то и первым необходимо уделить определенное внимание.

Ну и третье: рынок российских ETL и коннекторов хоть, на наш взгляд, пока недостаточно развит, но он уже сформировался. Есть ряд сильных и сравнительно известных продуктов, но есть и быстро развивающиеся и весьма перспективные, потенциально способные изменить расклад на рынке. И сейчас, когда многим приходится искать замены для ранее используемых решений, информация о наличии российских предложений весьма актуальна.

Читать далее

https://habr.com/ru/post/709996/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709996

Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).



В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.



Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.


Читать дальше →

https://habr.com/ru/post/705586/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705586

Привет, Хабр! Меня зовут Андрей Гончаров, я дата-инженер в Garage Eight, и сегодня я расскажу о том, как мы подходим к батч-процессингу и нашей self-service платформе данных. Почему self-service? Традиционный подход к работе с данными подразумевает, что данные готовят и перемещают между информационными системами дата-инженеры.

Однако, с ростом data-driven компаний растут и потребности бизнеса, нужно анализировать и перемещать все больше данных между все большим количеством информационных систем, и требуется это все большему количеству потребителей данных: аналитикам, продакт-менеджерам, разработчикам и другим. В связи с чем растет и нагрузка на дата-инженеров, они работают со всё растущим количеством данных, бизнес-сущностей, и, по сути, владеют ими. Остается мало времени на модернизацию дата-инженерных инструментов, растет техдолг. Для снижения нагрузки можно увеличивать дата-инженерный штат, что является не лучшим вариантом — в таком случае, нам потребуется дата-департамент, растущий пропорционально с бизнесом.

Давайте посмотрим, как мы решаем описанные проблемы.

Поехали!

https://habr.com/ru/post/707180/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707180

Человечество продолжает создавать все больше информации. Физический мир постепенно оцифровывается, и этот гигантский массив данных требуется где-то хранить. А значит, существует растущая потребность в системах хранения для накопленной информации. В этом посте рассмотрим перспективные технологии, которые будут помогать сохранять информацию в ближайшем будущем.

Читать далее

https://habr.com/ru/post/701394/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701394

Сегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.

В этой публикации я резюмирую свой опыт выбора решения класса reverse ETL:

• Место reverse ETL в схеме потоков данных

• Потребность в решении задач операционной аналитики

• Различные способы организации reverse ETL

• Кейс: Census для синхронизации данных в Pipedrive CRM

Читать далее

https://habr.com/ru/post/700910/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700910

Цветовая гармония является одним из столпов согласованности элементов пользовательского интерфейса, что необходимо как при создании собственного проекта, так и в работе над приложениями для клиентов в Xcode. И Xcode позволяет нам создавать, управлять, совместно и повторно использовать наборы цветов. В этой статье вы узнаете, как создавать цветовые схемы и повторно использовать их в других Xcode-проектах.

Читать далее

https://habr.com/ru/post/700572/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700572

Activity Schema — модель, которая противопоставляется сложным уровням зависимостей, соединениям по внешнему ключу и чрезвычайно сложным SQL-запросам в схемах «звезда» или «снежинка».

Читать далее

https://habr.com/ru/post/699254/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699254

В современном мире приложение — это огромная связка микросервисов. Функционально её протестировать сложнее, чем монолит. Кто-то решает это единым staging’ом и чатиком синхронизации: «займу auth на полчасика». Другой уходит с головой в shift-left или тестирует в canary. Разберём, как катнуть веточку сервиса и получить свой личный staging.

Меня зовут Евгений Харченко, я инженер в платформе Авито. В мою ответственность входят процессы и технологии, которые связаны с разработкой кода и внедрением его в продакшен. Сегодня я хочу поговорить о том, как организовать работу с фича-ветками при разработке.

Читать далее

https://habr.com/ru/post/696112/?utm_source=habrahabr&utm_medium=rss&utm_campaign=696112

Отношение к data-инжинирингу и к профильным специалистам со временем меняется. Возможно ли, что в скором времени data-инженеры перестанут быть востребованными? Команда VK Cloud перевела статью о ближайшем будущем для всех тех, кто работает с данными.

Что такое data-инжиниринг

Давно ли работающие с данными компании открыли новую профессиональную область и мы услышали термин «data-инжиниринг»? Лет десять назад. Когда бизнес осознал, насколько полезными могут быть данные, спрос на data-инженеров резко вырос. По данным Google, отмечается экспоненциальный рост интереса к термину «data-инженер», который достиг пика примерно в 2020 году.







Так что же такое data-инжиниринг, столь стремительно набравший обороты и остающийся востребованным вот уже несколько лет?  В традиционном понимании data-инженерами называют людей, занимающихся перемещением, формированием и преобразованием данных из источников с помощью инструментов извлечения аналитических сведений, которые нужны для работы разных отделов компании.
Читать дальше →

https://habr.com/ru/post/693126/?utm_source=habrahabr&utm_medium=rss&utm_campaign=693126

Классический алгоритм согласованного хеширования решает проблемы, присущие алгоритму модульного хеширования, где хеш-функция (позиция ключа K) привязана к числу элементов хранилища – и, соответственно, при масштабировании как вверх, так и вниз, требуется перераспределение всех этих ключей.



# модульное хеширование

hash = key % N of nodes



В свою очередь, при согласованном хешировании хеширующая функция не зависит от количества узлов хранения. Поэтому можно динамически секционировать данные по мере добавления или удаления узлов, тем самым масштабируясь поступательно.
Читать дальше →

https://habr.com/ru/post/691506/?utm_source=habrahabr&utm_medium=rss&utm_campaign=691506

Привет, Хабр! Сегодня мы решили рассказать вам про очень значимую для Х5 систему и то, как мы искали ей замену.

Система SAP POS DM обеспечивала нашу торговую операционную деятельность более 10 лет. В последнее время она перестала развиваться и теперь полностью снимается с поддержки. Рассказываем, как наши центры экспертизы по продуктам SAP реализовали проект по миграции функционала чекового хранилища на современное решение.

Читать далее

https://habr.com/ru/post/685172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685172

Не так давно нам попался материал BBC, в котором авторы рассказывают о том, что российским айтишникам становится трудно найти работу, доходы падают и вообще единственным адекватным выходом из ситуации является релокация за рубеж. Массовая паника, кажется, начала постепенно сходить на “нет”, мы все еще продолжаем работать, поэтому решили пойти “от противного” и рассказать о том, какие IT-специализации сейчас наиболее востребованы в России. Поделитесь своим мнением и расскажите, работаете ли вы сейчас в России в IT-сфере.

Читать далее

https://habr.com/ru/post/673098/?utm_source=habrahabr&utm_medium=rss&utm_campaign=673098

Команда VK Cloud Solutions перевела краткий конспект с Open Source Data Stack Conference. Конференция была посвящена созданию платформ для работы с данными на базе Open-Source-решений —докладчики представляли свои идеи и технологии на примере вымышленной базы данных интернет-магазина. 



Автор пересказывает выступления о том, как с помощью ПО с открытым исходным кодом можно контролировать потоки клиентских данных в компании, решать задачи управления данными, Data Privacy, повышения эффективности работы Data-специалистов.
Читать дальше →

https://habr.com/ru/post/671642/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671642

https://habr.com/ru/post/669270/?utm_source=habrahabr&utm_medium=rss&utm_campaign=669270