В предыдущей части мы рассматривали вероятностную постановку задачи машинного обучения, статистические модели, модель регрессии как частный случай и ее обучение методом максимизации правдоподобия.

В данной части рассмотрим метод максимизации правдоподобия в классификации: в чем роль кроссэнтропии, функций сигмоиды и softmax, как кроссэнтропия связана с "расстоянием" между распределениями вероятностей и почему модель регрессии тоже обучается через минимизацию кроссэнтропии. Данная часть содержит много отсылок к формулам и понятиям, введенным в первой части, поэтому рекомендуется читать их последовательно.

В третьей части (статья планируется) перейдем от метода максимизации правдоподобия к байесовскому выводу и его различным приближениям.

Данная серия статей не является введением в машинное обучение и предполагает знакомство читателя с основными понятиями. Задача статей - рассмотреть машинное обучение с точки зрения теории вероятностей, что позволит по новому взглянуть на проблему, понять связь машинного обучения со статистикой и лучше понимать формулы из научных статей. Также на описанном материале строятся более сложные темы, такие как вариационные автокодировщики (Kingma and Welling, 2013), нейробайесовские методы (M"uller et al., 2021) и даже некоторые теории сознания (Friston et al., 2022).

Читать далее

https://habr.com/ru/post/714670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=714670

Всем привет! Меня зовут Рома Смирнов. Я работаю продуктовым аналитиком в Lamoda. Как и во многих других продуктовых компаниях, решения о том, раскатывать ли новую фичу, принимаются в Lamoda на основе данных, в частности на основе результатов A/B-тестирования.

Бутстрэп — один из популярных методов обработки результатов тестов. В этой статье я расскажу о том, каким образом можно определить размер выборки при расчете результатов A/B-теста с помощью бутстрэпа.

Читать далее

https://habr.com/ru/post/707816/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707816

В текущем состоянии индустрии разработки подход к эффективности работы какой-то странный. Мы пользуемся не привязанными к жизни метриками, уповаем на локальные оптимизации и мучаем людей.

Всё может быть куда лучше, и эта статья предлагает методику непрерывного совершенствования эффективности разработки. Рассуждение построено на уже зарекомендовавших себя теориях, включая философию Деминга, теорию ограничений, бережливое производство и других.

Вперёд к оптимизациям систем!

https://habr.com/ru/post/711930/?utm_source=habrahabr&utm_medium=rss&utm_campaign=711930

Дано:
1. 2 команды, по 10 чел. каждая
2. найм - 2 человека в квартал.
3. средняя ЗП сотрудника - 3500 евро/мес., 20 евро/час
4. средняя ЗП руководителя - 4500 евро/мес, 25 евро/час
5. бизнес-процессы требуют доработок

Найти:
Сколько потеряет бизнес за квартал/год?

Читать далее

https://habr.com/ru/post/711326/?utm_source=habrahabr&utm_medium=rss&utm_campaign=711326

Всем привет! Меня зовут Дима Лунин, я аналитик в компании Авито. В этой статье я расскажу про критерий Манна-Уитни и проблемы при его использовании.

Если вы анализировали A/B-тест, где вас интересовал прирост или падение какой-то метрики, то наверняка использовали критерий Манна-Уитни. Я хочу рассказать про подводные камни этого критерия, и почему мы в компании его не используем. А в конце вы поймёте, откуда такой холиварный заголовок)

Читать далее

https://habr.com/ru/post/709596/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709596

Фразе Гиппократа «Ты — то, что ты ешь» уже более тысячи лет. И в 21 веке очевидно, что она относится не только к еде, но и к потребляемому контенту. Это давно доказано различными исследованиями и активно используется бизнесом: анализ историй посещённых веб-сайтов позволяет извлечь как базовые знания о человеке (пол, возраст, уровень зарплаты и т.д.), так и более специфичные вещи, например, интересы человека или факт наличия определённой вещи, будь то кроссовки фирмы Nike или дорогого автомобиля.

В этой статье мы расскажем, как корпорации используют ваши истории браузеров для объединения людей по интересам, причём здесь таргетированная реклама и как эту задачу решают разработчики компании Amberdata. Если более конкретно — поговорим с вами о задаче Look-A-Like.

Читать далее

https://habr.com/ru/post/711060/?utm_source=habrahabr&utm_medium=rss&utm_campaign=711060

Осенью 2022 года мы опубликовали статью «Ниже некуда? Продажи ПК и ноутбуков падают гораздо быстрее прогнозных значений». В ней говорилось о том, что динамика продаж по сравнению с 2021 годом — отрицательная, и падение опережает самые пессимистичные прогнозы аналитиков.



Но оказалось, что «ниже есть куда», если так можно выразиться. Падение продолжается, и его скорость, насколько можно судить, увеличивается. По данным аналитического агентства IDC, в IV квартале 2022 года продажи ПК и ноутбуков упали на 28,1%. Подробности — под катом, там же поговорим и о причинах такого падения и возможных перспективах десктопов и ноутбуков в 2023 году.
Читать дальше →

https://habr.com/ru/post/709870/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709870

Новые модели мобильных телефонов появляются каждый день. Когда приходит время покупать новый телефон, хочется разбираться чуточку лучше в изменениях, произошедших за последнее время. Данный обзор содержит ретроспективный взгляд на историю мобильных телефонов.

Результаты

https://habr.com/ru/post/709226/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709226

Расскажу о быстром и бесплатном способе сбора небольшой статистики для ваших хобби-проектов. Сработает везде, где вы можете отправить интернет запрос. В моем случае это была библиотека и андроид приложение.

Читать далее

https://habr.com/ru/post/708886/?utm_source=habrahabr&utm_medium=rss&utm_campaign=708886

Приветствую, уважаемые читатели Хабра. Меня зовут Николай Французов, я digital-аналитик в компании Tele2, занимаюсь сбором и анализом данных, построением дашбордов и проведением А/В-тестов.

Я хотел бы рассказать вам о том, как мы проводим тесты в нашем проекте, и поделиться опытом, возможно, логикой проведения и приведенными процессами вы сможете воспользоваться в ваших проектах, а python-фишечки по расчету fixed horizon и анализу результатов пригодятся в ваших исследованиях.

Структура

- Кратко про А/В-тесты

- Процесс проведения — первая часть, работа аналитика данных. Расчет fixed horizon и формирование ТЗ;

- Процесс проведения — вторая часть, работа аналитика стрима проекта. Настройка;

- Процесс проведения — третья часть, сбор данных, анализ результатов и выводы.

Читать далее

https://habr.com/ru/post/708782/?utm_source=habrahabr&utm_medium=rss&utm_campaign=708782

Хабр, привет! Сегодня поговорим о том, что такое корректность статистических критериев в контексте А/Б тестирования. Узнаем, как проверить, является критерий корректным или нет. Разберём пример, в котором тест Стьюдента не работает.

Читать далее

https://habr.com/ru/post/706388/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706388

Что нужно знать и уметь айтишнику?

Крепкий IT-специалист должен хорошо разбираться в своей области: писать код, работать с данными, тестировать ПО, защищать сайты от киберугроз. Это хард скилы, на которые работодатели обращают внимание.

Не менее важны и софт скилы — «мягкие» навыки, например, работа в команде, креативное мышление, проактивность. Всё это помогает айтишнику применять знания на практике, выстраивать гармоничные отношения с коллегами, работать продуктивнее.

Разбираемся, какие навыки IT-специалистов оказались важны работодателям в 2022 году. На основе данных из различных источников — от сайтов для поиска работы до рейтингов и опросной статистики — получился такой список:

• SQL


• Python


• JavaScript


• Основы информационной безопасности


• Linux


• Git


• Soft Skills

Читать дальше →

https://habr.com/ru/post/706142/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706142

В данном тексте я хочу порассуждать и поделиться своими мыслями о проблеме исследования профиля клиентов на основе клиентского исследования. Данная тема является для меня новой, поэтому хотелось бы обсудить её с сообществом. Буду рад обсуждению в комментариях о плюсах и минусах предлагаемого мной подхода. В своем подходе я пытаюсь сделать поправку оценки характеристики представителей популяции по некоторой подвыборке. Представители популяции имеют разную вероятность попасть в подвыборку, что создает смешение выбора. Кроме смещения выбора, присутствует смещения ответа, так как попадание в выборку не гарантирует получения информации о представителе популяции. Данный текст является адаптацией моей публикации по теме на medium.

Читать далее

https://habr.com/ru/post/705670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705670

Самые востребованные IT-профессии 2022 года

Согласно исследованию hh.ru, в начале года зарплатные ожидания оказались скромнее зарплатных предложений. Смотрите сами:

Судя по диаграмме, можно говорить, что сфера полностью оправдывает ожидания тех, кто решил изменить свою жизнь. Скромность цифр, по-видимому, связана с усреднением данных по всей России, а не только по крупным городам с высокими зарплатами в IT.

Мы собрали данные о востребованности IT-профессий в уходящем году:

• Обзор данных от Хабр.Карьеры


• Обзор востребованности в мире и в США


• Специалист по кибербезу


• Бекенд


• Фронтенд


• Мобильный разработчик


• Аналитик


• Программист


• DevOps


• Data Science


• Итоги

Читать дальше →

https://habr.com/ru/post/704700/?utm_source=habrahabr&utm_medium=rss&utm_campaign=704700

Привет, Хабр! Сегодня поговорим о том, как криптовалюты помогают использовать финансовые инструменты россиянам, которые переехали в другие страны. Также посмотрим, куда выехало большинство россиян, а также оценим возможность использования криптовалют в этих странах. Еще обсудим нюансы криптовалютного законодательства в разных государствах, о которых идет речь. Пост носит дискуссионный характер, поэтому если у вас есть, что добавить, предложить, то пишите в комментариях.

Читать далее

https://habr.com/ru/post/702826/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702826

КДПВ не будет, извиняйте. Значение имеют только текст, тесты и статистика :) Речь пойдет про подход в написании клиентского ПО, когда процессом рулит статистика, собирающаяся на всех этапах разработки.

Читать далее

https://habr.com/ru/post/702690/?utm_source=habrahabr&utm_medium=rss&utm_campaign=702690

Через нас в getmatch регулярно проходят тысячи вакансий, и в 2022 году многое в них изменилось. В getmatch 300+ компаний. Мы опросили часть из тех, с кем регулярно работаем, и собрали статистику изменений рынка найма в условиях ситуации в мире. Делимся этой статистикой и пытаемся объяснить ее с нашей точки зрения.

Читать далее

https://habr.com/ru/post/700510/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700510