В прошлом году передо мной встала задача собрать команду для разработки платформы обработки данных. Причём не только команды разработки самой платформы, но ещё и команды дата-инженеров, которые будут пользоваться этой самой платформой: писать конфигурации дата-пайплайнов и наполнять дата-лейк данными. И ещё были нужны аналитики данных, кто бы разбирался в предметных областях и понимал о чём те или иные таблицы. А так как данных много (пару тысяч таблиц) понадобились дата-сайентисты, кто бы не просто мог ответить на вопрос о качестве данных, но и предложить как это качество данных проверять на масштабе нескольких тысяч таблиц, нескольких сотен дата-пайплайнов и нескольких сотен гигайбайт данных каждый день.

Начну с темы найма. Найма питонистов всех мастей.

Завораживающие предисловие, не правда ли?

Прошло почти два года со старта проекта, и я готов подвести некоторые итоги и поделиться опытом.

Читать далее про разных питонистов

https://habr.com/ru/post/701588/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701588