Обзор построения и анализа парной линейной регрессионной модели с использованием библиотеки statsmodels

Вперед

https://habr.com/ru/post/690414/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690414

Уважаемые читатели, хочу представить Вашему вниманию свой небольшой проект https://sugar-beet.herokuapp.com/, который является воплощением идеи описанной в своей предыдущей статье Сколько ты стоишь? Метод анализа вакансий с HR-агрегаторов. Стадию развитию его можно определить как MVP. Однако, к сожалению, Heroku отказывается от бесплатного тарифа 28 ноября 2022 года, что печально. Собственно выкладываю текущую версию на всеобщее обозрение, через 2 месяца она всё равно "превратится в тыкву". Приветствую всех заинтересовавшихся.

Читать далее

https://habr.com/ru/post/689990/?utm_source=habrahabr&utm_medium=rss&utm_campaign=689990

В этой части я рассказываю про Взаимную Информацию – концепцию, которая открывает двери в помехоустойчивое кодирование, алгоритмы сжатия, а также даёт новый взгляд на задачи регрессии и Machine Learning.

Это необходимая компонента, чтобы в следующей части перейти к задачам ML как к задачам извлечения взаимной информации между факторами и прогнозируемой величиной.

Здесь будет три важных картинки.

Первая – про визуализацию энтропий двух случайных величин и их взаимную информацию, вторая – про понимание самой концепции зависимости двух случайных величин и про то, что нулевая корреляция не значит независимость, и третья – про то, что пропускная способность информационного канала имеет простую геометрическую интерпретацию через меру выпуклости функции энтропии.

Между делом мы докажем упрощённый вариант теоремы Шаннона-Хартли о максимальной пропускной способности канала с шумом. Погнали!

Читать далее

https://habr.com/ru/post/687546/?utm_source=habrahabr&utm_medium=rss&utm_campaign=687546

Теория Информации и Machine Learning мне видятся как интересная пара областей, глубокая связь которых часто неизвестна ML инженерам, и синергия которых раскрыта ещё не в полной мере.

Начнём с базовых понятий Энтропии, Информации в сообщении, Mutual Information, пропускной способности канала. Далее будут материалы про схожесть задач максимизации Mutual Information и минимизации Loss-а в регрессионных задачах. Затем будет часть про метрику Фишера, геодезические и градиентные методы, и их связь с гауссовскими процессами.

Читать далее

https://habr.com/ru/post/686806/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686806

Как любой автолюбитель слежу за автомобильным рынком. Последние годы, в силу разных причин, на авторынке наблюдается заметная турбулентность.

По основному роду деятельности я управляю ИТ-проектами, а также занимаюсь DS на фрилансе и мне стало интересно посмотреть в цифрах, что происходит в области продажи поддержанных машин. Для этого я вооружился Python, усилив его джентльменским набором из requests, BeautifulSoup, selenium, pandas, matplotlib и пошел грабить добывать информацию с самой популярной площадки по продаже авто. Дальше не будет технических подробностей и примеров кода, т. к. особых откровений в технике нет, плюс к этом в данной статье хотел поделится именно полученными данными, а также соображениями, на которые эти данные меня натолкнули.

Я сравнил цифры за декабрь 21-го года и цифры с апреля по август 22-го года. Отсутствие данных в промежутке между декабрем и апрелем связано с нехваткой времени, а также усилением защиты, от автоматического сбора данных на площадке, видимо, из-за участившихся хакерских и DDoS-атак на российские сайты.

Читать далее

https://habr.com/ru/post/686646/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686646

Крупнейшие производители электронных устройств в 2022 году столкнулись с очень сильным падением спроса на свою продукцию. И если в начале лета у кое-кого из них, а также у некоторых аналитиков сохранялись надежды на лучшее, то сейчас стало ясно, что впереди — только более сильное падение. Ситуация актуальна для почти всех видов систем, которые еще недавно были в дефиците — ноутбуков, десктопных ПК и планшетов. Что касается смартфонов, то здесь вроде немного получше, но спрос все равно падает, а значит, и продажи. О том, чего можно ждать в ближайшие годы — под катом.
Читать дальше →

https://habr.com/ru/post/685816/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685816

Представление о найме айти-специалистов, которое сложилось на рынке, превращает их в неких мифологических существ: считается, что опытные айтишники не ищут работу дольше трех дней, никогда не откликаются на вакансии, а эйчары ловят кандидатов в Тиндере и Инстаграме, потому что на рекрутинговых площадках уже никто не сидит.

В реальности большинство таких представлений — мифы: синьоры часто ищут работу дольше мидлов, соискатели активно пишут рекрутерам, а предложения им приходят им даже не через Телеграм, а через стандартные HeadHunter и Linkedin. Чтобы подтвердить это цифрами, мы провели исследование среди специалистов в базе нашего агентства. Здесь я хочу не только рассказать о его результатах и развенчать популярные стереотипы, но и попробовать объяснить, почему все-таки бизнесу так сложно заполучить нужного кандидата.

Спринт по трудоустройству

Одно из самых частых заблуждений в айти-рекрутинге — это время, которое соискатели тратят на поиск работы. Почему-то считается, что если не дать специалисту оффер сегодня, то буквально завтра его схантят конкуренты. При этом мало кто задается вопросом, что за спешка вынуждает человека сразу же хвататься за привлекательное предложение (даже если предположить, что за неделю он получил их штук десять).

Как выяснилось в результате нашего опроса (1500 респондентов) по базе айти-специалистов, почти четверть синьоров тратят на поиск работы месяц и больше, 47% — две-три недели. Результаты опроса в нашем телеграм-канале оказались даже более впечатляющими: у 38% синьоров на выбор работодателя уходит не меньше месяца. Для сравнения: большинство мидлов (42%) находят новое место за 1-2 недели.

Читать далее

https://habr.com/ru/post/686112/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686112

«Громкий уход» — это когда ты объявляешь всем, что увольняешься. Когда об этом знают по крайней мере твои работодатели. Но в последнее время резко начал набирать популярность так называемый «тихий уход» («quiet quitting»). Когда о том, что ты по сути перестал стараться, знаешь только ты.

Читать дальше →

https://habr.com/ru/post/685588/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685588

Методический разбор для специалистов DataScience по применению критерия Эппса-Палли для проверки нормальности распределения средствами python

Читать далее

https://habr.com/ru/post/685582/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685582

Совсем недавно мы писали о том, что в мире падают продажи практически любых видов пользовательских устройств — ноутбуков, смартфонов, десктопных ПК. Естественно, все это сказывается и на спросе электронных компонентов, их тоже покупают меньше, но уже не пользователи, а производители тех самых ноутбуков и ПК. Если недавно в мире электронных компонентов и систем бушевал «идеальный шторм дефицита и роста цен», то сейчас ситуация меняется на прямо противоположную, причем быстро.



Все это привело к тому, что на складах производителей компонентов и вендоров систем накопилось максимальное количество товара за много месяцев. И избавиться от этих излишков не так просто — спрос падает, соответственно, товары либо будут продолжать пылиться на полках магазинов и складов, либо придется понижать цены. Скорее всего, производители решатся на снижение цен, чтобы не получить крупные убытки на момент конца 2022 года. И ведь нельзя забывать еще о том, что техника постепенно устаревает — скорее, морально, чем физически, но все же.
Читать дальше →

https://habr.com/ru/post/684148/?utm_source=habrahabr&utm_medium=rss&utm_campaign=684148

Расчет и анализ корреляционного отношения средствами Python.

Читать далее

https://habr.com/ru/post/683442/?utm_source=habrahabr&utm_medium=rss&utm_campaign=683442

Несмотря на надежды представителей отрасли производства электронных компонентов и устройств на рост спроса на эту продукцию в 2022 году, пока что происходит обратное. Рынок постепенно сокращается, заказов становится меньше (хотя критичными эти показатели пока назвать нельзя), пользовательский спрос на устройства снижается. Эта ситуация наблюдается почти везде — среди поставщиков ноутбуков, ПК, процессоров, дисков и SSD, а также оперативной памяти. Подробности — под катом.
Читать дальше →

https://habr.com/ru/post/571872/?utm_source=habrahabr&utm_medium=rss&utm_campaign=571872

Привет! В рамках нашего цикла постов про дашборды в СИБУРе и их практическую пользу для компании не смогли обойти стороной M2F – это обслуживание и ремонты, туда входит множество метрик из различных направлений бизнеса. Это могут быть метрики, которые показывают загруженность ремонтного персонала на предприятии или метрики затрат, например, «Поддержание основных фондов», а также имеется большой блок «Надежность».

В общем и целом, это широкий спектр метрик, выделенных в качестве наиболее приоритетных, с точки зрения влияния на бизнес. Анализ этих метрик помогает бизнесу наиболее эффективно управлять имеющимися ресурсами, а также «подсвечивать» проблемы в самом бизнес-процессе.

Чуть не забыл представиться! Меня зовут Миша Делендик, и я как раз отвечаю в СИБУРе за разработку дашбордов по сквозным процессам M2F. В этом материале подробнее расскажу о том, как мы анализируем различные части процесса, чтобы оборудование работало без, кхм, нештатных ситуаций.

Читать далее

https://habr.com/ru/post/681622/?utm_source=habrahabr&utm_medium=rss&utm_campaign=681622

Индийские технические работники встречаются с предрассудками и дискриминацией по признаку их касты. Подавляющая часть IT-специалистов в Индии из высшей касты. На дворе 21-й век, а в технологических компаниях в Индии вы никогда не будете равным коллегам, если вы из неприкасаемых. И лучше вам об этом не говорить коллегам.

Читать далее

https://habr.com/ru/post/681508/?utm_source=habrahabr&utm_medium=rss&utm_campaign=681508