Соревнование Data Fusion Contest 2022 завершено. Самое время вспомнить, как это было, обсудить онлайн-трансляцию финала и подробно рассмотреть наиболее интересные и яркие решения победителей и призёров во всех категориях.

В этом году участники на практике осваивали матчинг слияние данных транзакций ВТБ – ключевого организатора соревнования, и кликстримов “Ростелекома”, угадывая одних и тех же клиентов с помощью различных инструментов DS, ML и, возможно, капельки интуиции и везения. С помощью инструментов безопасного матчинга data exchange компании Platforma и наработкам ВТБ в части алгоритмов по генерации данных был сформирован синтетический датасет на обезличенных данных от ВТБ и Ростелекома. При этом данные генерировались таким образом, чтобы сохранить необходимую для решения задачи информацию о пользовательском поведении.

Регистрация была открыта с 3 февраля до 15 мая, и уже в ночь с 16 на 17 мая нам были известны победители.

Для участников были проведены тематические воркшопы и митапы. Такие встречи полезны не только для общего развития и будущих проектов, но и для решения конкретных задач прямо здесь и сейчас. Например, на одном из митапов авторы задачи Matching рассказали про основные подходы к решению, разобрали бейзлайн и даже подкинули пару предложений для его улучшения, а на другой встрече участники обсуждали публичные решения и делились своими идеями.

Подобные мероприятия повысили шансы участников не только на победу, но и на получение памятного мерча, ведь в нашем соревновании призы давались как за места на лидерборде, так и за активность.

https://habr.com/ru/post/673666/?utm_source=habrahabr&utm_medium=rss&utm_campaign=673666

В 2022 году компания Napoleon IT, входящая в ТОП-10 лучших AI-разработчиков России по версии Clutch, совместно с лидером в области компьютерных наук Университетом ИТМО, создали AI Talent Hub — комьюнити специалистов по машинному обучению, объединяющее таланты, мировые компании и экспертов из индустрии. Наша миссия: развивать мир, развивая таланты. Наша задача: вывести начинающего специалиста на Middle уровень в AI-проекты ведущих ИТ-компаний.

С 2018 по 2019 г. количество вакансий специалистов по машинному обучению стало больше в 1,3 раза. С 2020 по 2021 год прирост по количеству вакансий направления Data Science составил 120%. В 2022 году мы видим тренд — возрастает спрос на специалистов Middle и Senior ML Engineer и Data Engineer. А теперь, внимание, знатоки, вопрос: «Где же взять столько талантливых Middle специалистов»?

Правильный ответ, как вы уже догадались, в говорящем названии AI Talent Hub, на базе которого запущена самая крупная проектная магистратура по подготовке специалистов по машинному обучению онлайн. К 2025 году планируется, выпустить 700 AI-специалистов на позиции Middle и выше. В 2022 году на магистерскую программу «Инженерия машинного обучения» выделено 90 бюджетных мест. Бизнес и передовые ВУЗы поняли тот факт, что таланты — это новая энергия, за которой стоят идеи, стремление и следующий этап развития мира.

Napoleon IT уже имеет несколько собственных магистратур: МФТИ — «Индустриальная биоинформатика», Университет ИТМО — «Компьютерное зрение» , ЧелГУ — «Machine Learning». Подробнее об успешном опыте сотрудничества читайте здесь.

https://habr.com/ru/post/672876/?utm_source=habrahabr&utm_medium=rss&utm_campaign=672876

Недавно в Dota 2 появилась возможность создавать видео-ролики при просмотре записей матчей. Я не удержался и решил сделать простой алгоритм поиска интересных моментов aka хайлайтов. Вот что из этого получилось на примере последней карты гранд-финала The International 2021, где Collapse из Team Spirit катал LGD на своем Magnus'е.

https://habr.com/ru/post/672420/?utm_source=habrahabr&utm_medium=rss&utm_campaign=672420

Данными Mediascope ежедневно пользуется большинство участников медиарекламного рынка и каждый день наши клиенты совершают множество запросов как к самим данным, так и к нашим сервисам расчета и анализа медиапоказателей. Поэтому нам нередко приходится решать самые разные задачи, связанные с оптимизацией нагрузки на инфраструктуру. В этой статье вы найдете интересный кейс управления нагрузкой на кластер ClickHouse (CH), который решили внутри Mediascope. Команда нашего отдела разработки систем расчета и доставки прошла большой путь: от неуместного применения МL до простого, но рабочего решения.

https://habr.com/ru/post/670560/?utm_source=habrahabr&utm_medium=rss&utm_campaign=670560

Рассказываем, как rdl by red_mad_robot помогли «Полиметаллу» решить проблему с анализом гранулометрического состава руды и определением негабарита при производстве золота.

https://habr.com/ru/post/670132/?utm_source=habrahabr&utm_medium=rss&utm_campaign=670132

Недавно мы поговорили о том, что такое causal inference или причинно-следственный анализ, и почему он стал так важен для развития машинного обучения. А в этой статье - под катом - хотелось бы рассказать о трендах в развитии Causal Inference в ML в 2021 г.

https://habr.com/ru/post/667730/?utm_source=habrahabr&utm_medium=rss&utm_campaign=667730

В 2021-2022 годах уже ни для кого не секрет, что понимать логику работы моделей машинного обучения важно и нужно. Иначе можно насобирать множество проблем: от того, что модель не будет принята конечным пользователем, потому что непонятна, до того, что она будет работать неправильно, а поймем мы это уже слишком поздно.

Для интерпретируемости в машинном обучении устоялись термины Interpretable ML и Explainable AI (XAI). Объединяет их одно - стремление сделать модели машинного обучения понятными для конечного пользователя.

Под катом поговорим о том, что интересного произошло в интерпретируемости в 2021 г.

https://habr.com/ru/post/667492/?utm_source=habrahabr&utm_medium=rss&utm_campaign=667492

Нам удалось поработать с заказчиком, который решил выпустить на рынок сервис по определению птиц вкупе с камерами. Нам предстояло обучить камеры определять птиц в своем объективе, а затем, научить сервис определять вид и пол птиц.

Мы уже рассказывали, как обучали нейронную сеть в камерах распознавать птиц. В этой статье речь пойдет про видовое определение снятых птиц. История оказалась еще более сложной, чем первая.

https://habr.com/ru/post/667194/?utm_source=habrahabr&utm_medium=rss&utm_campaign=667194

Данная статья описывает работу пакета nnhelper, предназначенного для создания и использования нейронных сетей в программах на языке Go.

Если Вы уже знакомы с машинным обучением и используете его в своей работе, то эта статья и описанные в ней примеры могут показаться вам слишком простыми. Если Вы в начале пути и хотите познакомиться с этой темой или вам хотелось бы научиться использовать нейроматрицу в ваших программах на языке Go, то вы попали точно по адресу.

Go пакет nnhelper разработан для быстрого создания нейронной сети и использовании ее в приложениях, написанных на языке Go. Для использования nnhelper не потребуется ничего дополнительного, кроме Go. Пакет nnhelper является надстройкой над пакетом gonn. И это единственная внешняя зависимость.

https://habr.com/ru/post/664838/?utm_source=habrahabr&utm_medium=rss&utm_campaign=664838

Нейронные сети используются для множества задач, но слышали ли вы когда-нибудь про распознавание птиц? Мы – нет, поэтому возможность поработать над этим проектом очень нас захватила, а опыт по итогу оказался крайне интересным.

Птицы миллионы лет эволюционировали в сторону незаметности и слияния с окружающей средой, чтобы избежать хищников. Поэтому ученым и любителям птичек достаточно сложно искать птиц среди деревьев и кустарников. Но вот наблюдать за ними с помощью видеокамеры, не выходя из дома, — прекрасный способ, который сильно экономит время. Особенно если искусственный интеллект избавит пользователя от необходимости просматривать часы видеозаписей в поисках птиц, просто отправив уведомление на телефон, когда птица попала в поле зрения камеры. Более того, искусственный интеллект еще и автоматически определит её вид.

https://habr.com/ru/post/662770/?utm_source=habrahabr&utm_medium=rss&utm_campaign=662770

Программа получается отличной: Андрей Цветцких (Тинькофф), Дмитрий Цепелев (Злые Марсиане), Серёжа Попов (HTML Academy), Андрей Смирнов (X5), Алексей Бородкин (Ozon), Елена Насыбуллина (Selectel), Дмитрий Калаев (ФРИИ), Максим Рогожников (Тинькофф), Антон Назаров (Autodesk), Александр Кириллов (Evrone), Филипп Терехов (Уфимский городской планетарий) — и это не всё. Под катом — подробности программы.

https://habr.com/ru/post/662347/?utm_source=habrahabr&utm_medium=rss&utm_campaign=662347

Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.

https://habr.com/ru/post/661453/?utm_source=habrahabr&utm_medium=rss&utm_campaign=661453

https://habr.com/ru/post/661749/?utm_source=habrahabr&utm_medium=rss&utm_campaign=661749

В этой статье я расскажу о первой серии экспериментов для проверки гипотезы влияния данных Twitter на тренд стоимости Bitcoin. Цель не угадать ценник, а предсказать рост, убывание или относительную неизменность цены

https://habr.com/ru/post/661141/?utm_source=habrahabr&utm_medium=rss&utm_campaign=661141

Недавно, постигая азы Машинного Обучения и изучая классификацию, я наткнулся на precision и recall. Диаграммки, которые часто вставляют, объясняя эти концепции, мне не помогли понять отличия между ними. Но чудо, я придумал объяснение, которое понятно мне, и я надеюсь, что оно поможет кому-нибудь из вас на пути изучения ML (возможно это объяснение кто-то придумал до меня) .

Перед тем как начинать, давайте представим горку песка, но в этом песке ещё есть песчаные камни, они ведь тоже являются песком, так? Также в этом песке есть некоторый мусор. Наша задача - просеять песок...

https://habr.com/ru/post/661119/?utm_source=habrahabr&utm_medium=rss&utm_campaign=661119