|
|
rss_habr
Теория вероятностей в машинном обучении. Часть 2: модель классификацииПятница, 03 Февраля 2023 г. 14:19 (ссылка)
В предыдущей части мы рассматривали вероятностную постановку задачи машинного обучения, статистические модели, модель регрессии как частный случай и ее обучение методом максимизации правдоподобия. В данной части рассмотрим метод максимизации правдоподобия в классификации: в чем роль кроссэнтропии, функций сигмоиды и softmax, как кроссэнтропия связана с "расстоянием" между распределениями вероятностей и почему модель регрессии тоже обучается через минимизацию кроссэнтропии. Данная часть содержит много отсылок к формулам и понятиям, введенным в первой части, поэтому рекомендуется читать их последовательно. В третьей части (статья планируется) перейдем от метода максимизации правдоподобия к байесовскому выводу и его различным приближениям. Данная серия статей не является введением в машинное обучение и предполагает знакомство читателя с основными понятиями. Задача статей - рассмотреть машинное обучение с точки зрения теории вероятностей, что позволит по новому взглянуть на проблему, понять связь машинного обучения со статистикой и лучше понимать формулы из научных статей. Также на описанном материале строятся более сложные темы, такие как вариационные автокодировщики (Kingma and Welling, 2013), нейробайесовские методы (M"uller et al., 2021) и даже некоторые теории сознания (Friston et al., 2022). Читать далееhttps://habr.com/ru/post/714670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=714670
rss_habr
ChatGPT как инструмент для поиска: решаем основную проблемуЧетверг, 26 Января 2023 г. 11:55 (ссылка)
Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а Microsoft планирует интеграцию в поисковик Bing - чем, кстати, безумно обеспокоен СЕО Alphabet (Google) Сундар Пичаи. Настолько обеспокоен, что в своём письме-обращении к сотрудникам объявляет "Code Red" ситуацию. В то же время Сэм Альтман, CEO OpenAI - компании, разработавшей эту модель - заявляет, что полагаться на ответы ChatGPT пока не стоит. Насколько мы действительно близки к внедрению продвинутых чат-ботов в поисковые системы, как может выглядеть новый интерфейс взаимодействия, и какие основные проблемы есть на пути интеграции? Могут ли модели сёрфить интернет бок о бок с традиционными поисковиками? На эти и многие другие вопросы постараемся ответить под катом. Погрузиться с головой →https://habr.com/ru/post/709222/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709222
rss_habr
Интерпретируемость ML-моделей: от инструментов до потребностей пользователяЧетверг, 19 Января 2023 г. 14:00 (ссылка)
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенностей задач, которые он решает. В статье разберемся, как эффективно работать с интерпретируемостью ML-моделей в зависимости от потребностей ключевых пользователей. Читать далееhttps://habr.com/ru/post/709688/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709688
rss_habr
Как машинное обучение помогает проекту «ЗабастКом» освещать трудовые конфликтыПонедельник, 16 Января 2023 г. 12:14 (ссылка)
В посте расскажу о моем успешном взаимодействии с некоммерческим проектом ЗабастКом, который поддерживает наемных работников в отстаивании своих трудовых прав и интересов. Моя цель была реализовать что-то похожее на ML4SG проект, где волонтеры-специалисты по анализу данных направляют свою энергию на пользу обществу. Например, применяют алгоритмы искусственного интеллекта для спасения потерявшихся людей, для мониторинга качества воздуха или для анализа новостного потока. Для Забасткома получилось улучшить систему автоматической обработки новостей с помощью алгоритмов машинного обучения. Это привело к увеличению охвата важных событий и уменьшению ручного труда редакторов. Добавлю, что работа с ребятами была похожа на мечту любого DS специалиста: "заказчик" легко шел на контакт; присутствовала заинтересованность и неплохое понимание ML алгоритмов; некоторая продакшн-система уже функционировала; данные для обучения алгоритмов легко собирались. А под катом — поделюсь подробностями и кодом. Читать дальше →https://habr.com/ru/post/707760/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707760
rss_habr
Третья жизнь пет-проекта по распознаванию рукописных цифрПятница, 23 Декабря 2022 г. 14:23 (ссылка)
В этом блогпосте я поделюсь историей о том, как я обновлял свой старенький пет-проект по распознаванию цифр, как делал разметку для него, и почему модель предсказывает 12 классов, хотя цифр всего 10. https://habr.com/ru/post/707046/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707046
rss_habr
13 хаков для перемены карьеры: как поменять карьеру в декрете и не сойти с умаСуббота, 03 Декабря 2022 г. 04:41 (ссылка)
Поворот карьеры – штука, в общем, банальная. Почти каждый меняет карьеру несколько раз за жизнь. Но первый раз такой тревожный, что часто вызывает море опасений. Здесь я расставила по полочкам свои приемы и ключевые изменения привычек, которые помогли мне поменять сферу. Читать далееhttps://habr.com/ru/post/703250/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703250
rss_habr
Что я бы хотел знать про ML System Design раньшеВоскресенье, 20 Ноября 2022 г. 16:48 (ссылка)
Около года назад я начал проходить собеседования в разные компании на позицию Machine Learning Engineer. Одним из этапов в каждой компании было проектирование ML системы. В данной статье я делюсь опытом и ресурсами, которые помогли мне пройти собеседования. В том числе в команду MLE Ленты, в которой сейчас тружусь. Читать далееhttps://habr.com/ru/post/698698/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698698
rss_habr
Практический Metric learningВторник, 01 Ноября 2022 г. 15:05 (ссылка)
В этом посте мы поговорим о задаче metric learning, подходах к её решению, и разберём их на практике, используя open-source проект OpenMetricLearning. В качестве бонуса покажем, как с помощью простых эвристик можно догнать текущие SotA модели. Читать далееhttps://habr.com/ru/post/695380/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695380
rss_habr
Новый запуск курса Natural Language ProcessingПонедельник, 12 Сентября 2022 г. 16:00 (ссылка)
Уже в среду мы делаем новый запуск курса по обработке естественного языка от ODS и Huawei. Ссылка на курс вот. В этом запуске дополнительно расскажу про то, как устроены Github Copilot и OpenAI Codex, ну и в целом про NLP4Code. Читать далееhttps://habr.com/ru/post/686962/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686962
rss_habr
Data Science Pet Projects. FAQЧетверг, 11 Августа 2022 г. 14:00 (ссылка)
Привет! Меня зовут Клоков Алексей, сегодня поговорим о пет-проектах по анализу данных. Идея написать эту статью родилась после многочисленных вопросов о личных проектах в сообществе Open Data Science (ODS). Это моя третья статья на Хабре, до этого делал разбор алгоритма SVM и рассказывал о крутом NLP курсе от ребят из DeepPavlov. Итак, дадим определение пет-проекта и разберем частые вопросы: Data science pet project – это внерабочая активность, целью которой является решение некоторой задачи с помощью обработки данных, улучшающая ваши профессиональные навыки
Читать дальше → https://habr.com/ru/post/681718/?utm_source=habrahabr&utm_medium=rss&utm_campaign=681718
rss_habr
Эй-Яй, крипта, MLOps и командный пет-проджектЧетверг, 30 Июня 2022 г. 16:01 (ссылка)
В этой статье я расскажу, как мы командой пилили пет-проджект в рамках курса ODS по MLOps. Покажу не только финальный результат, но и немного расскажу про процесс работы, какие были сложности, как организовывали эффективную работу в команде. Может оказаться полезным для тех, кто хочет окунуться в Machine Learning и сделать свой пет-проджект, но пока чего-то не хватало. Также будет полезно тем, кто уже работает в области Data Science, но пока не окунулся в атмосферу DS, нет крутых коллег и разгвооров про фреймворки у кофемашины, а опыт командной работы именно в области DS получить хочется. Сразу про то, что получилось на выходе: https://cryptobarometer.org/ Читать далееhttps://habr.com/ru/post/673376/?utm_source=habrahabr&utm_medium=rss&utm_campaign=673376
rss_habr
Как мы заняли 1-е место в задаче Matching в соревновании Data Fusion Contest 2022, или как нейронка обогнала бустингЧетверг, 09 Июня 2022 г. 19:01 (ссылка)
На платформе ODS.ai прошло соревнование по машинному обучению Data Fusion Contest 2022 от банка ВТБ. Мы, команда Лаборатории ИИ Сбера и Института искусственного интеллекта AIRI, приняли решение поучаствовать в контесте, когда увидели, что тема соревнования сильно пересекалась с нашими исследованиями. Мы заняли первое место на private leaderboard в основной задаче Matching. Здесь я хотел бы описать решение, которое у нас получилось. В рамках соревнования предлагались: датасет, содержащий транзакции, совершенные клиентами ВТБ по банковским картам, кликстрим (данные о посещении web-страниц) клиентов Ростелекома и разметка соответствия между клиентами из этих двух организаций. Соответствие устанавливается если два клиента – это один и тот же человек. Все данные были обезличены, а сами датасеты синтезированы на основе реальных данных таким образом, чтобы сохранить информацию о поведении пользователей. В программу мероприятия входило пять задач разной сложности с разным призовым фондом. Мы решили сосредоточится на главной задаче Matching, как на самой сложной и самой интересной. Читать далееhttps://habr.com/ru/post/670572/?utm_source=habrahabr&utm_medium=rss&utm_campaign=670572
rss_habr
DIY. Книги для всех, даромСреда, 08 Июня 2022 г. 15:32 (ссылка)
Два года назад я начал делать небольшой проект, связанный с обработкой текстов на иностранных языках. Он постепенно развивался и стал использоваться лингвистами в НКРЯ, а энтузиасты сохранения малых языков используют его для расширения своих параллельных корпусов. Сегодня же я расскажу как при помощи него создать полноценную параллельную книгу на разных языках. Книга будет красиво сверстана в PDF, иметь содержание, обложку и две выровненные по смыслу колонки текста. Такие книги служат отличным подспорьем при изучении иностранного языка. Найти их, однако, не так просто, и скорее всего это будут книги для детей или избранная классика. Полный пример готовой книги можно посмотреть здесь. Под капотом у приложения NLP модели, поддерживаемых языков более ста. Проект открытый и любой может в нем поучаствовать. Во многом благодаря сообществу и вашему участию он за несколько лет дошел до сегодняшнего дня. В общем штука годная, давайте уже посмотрим, что к чему. Сделать книжкуhttps://habr.com/ru/post/669990/?utm_source=habrahabr&utm_medium=rss&utm_campaign=669990
rss_habr
Причинно-следственный анализ в машинном обучении: итоги 2021 гСреда, 01 Июня 2022 г. 14:00 (ссылка)
Недавно мы поговорили о том, что такое causal inference или причинно-следственный анализ, и почему он стал так важен для развития машинного обучения. А в этой статье - под катом - хотелось бы рассказать о трендах в развитии Causal Inference в ML в 2021 г. Читать далееhttps://habr.com/ru/post/667730/?utm_source=habrahabr&utm_medium=rss&utm_campaign=667730
rss_habr
Система распознавания шрифта Брайля. Читаем написанное белым по беломуВторник, 31 Мая 2022 г. 13:34 (ссылка)
В 2018 году мы взяли из детдома в семью слепую девочку Анжелу. Тогда я думал, что это чисто семейное обстоятельство, никак не связанное с моей профессией разработчика систем компьютерного зрения. Но благодаря дочери через два года появилась программа и интернет-сервис для распознавания текстов, написанных шрифтом Брайля - Angelina Braille Reader. Сейчас этот сервис используют сотни людей и в России, и за ее пределами. Тема оказалась хайповой, сюжет о программе даже показали в федеральных новостях на ТВ. Но что важнее - за свою многолетнюю карьеру в ИТ ни в одном проекте я не получал столько искренних благодарностей от пользователей. Ниже расскажу о том, как делалась эта разработка и с какими трудностями пришлось столкнуться. Более развернутое описание приведено в публикациях [1,2]. Возможно, кто-то захочет внести в проект свой вклад. Читать далееhttps://habr.com/ru/post/668786/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668786
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |