В статье рассмотрим, как машинное обучение помогает обрабатывать большие объемы данных и извлекать ключевую информацию, скрытую в них. И, разумеется, приведем примеры совместного использования Big Data и Machine Learning (ML), а также расскажем об интересных проектах для тех, кто хотел бы начать работать с большими данными и ML.

https://habr.com/ru/post/692978/?utm_source=habrahabr&utm_medium=rss&utm_campaign=692978

Каждая компания, принимающая платежи на своем сайте или в магазине, рано или поздно сталкивается с фродом (fraud) и несет убытки. Есть разные методы борьбы с ними. 80% всех задач обычно решаются скриптами, а потом к ним уже докручивается дата-сайнс. Правда не всегда понятно для чего. Но давайте пока не будем останавливаться на этом, а попробуем решить типичные проблемы. Такие, как сбор данных, долгий этап оценки гипотез и снижение нагрузки на внешние системы.

Меня зовут Александр Сальков. Я разработчик в Sportmaster Lab. Руковожу направлением дата инженерии и больше 10 лет разрабатываю базы данных и все системы, которые так или иначе с ними связаны. Когда я был молод, написал свой вариант Кафки, который делал то же самое, что делает Кафка, только между инстансами Oracle. Участвовал во всяких разных датасаентистских вещах. В частности, делал систему идентификации людей по венам на ладонях. И много всякого интересного.

https://habr.com/ru/post/691486/?utm_source=habrahabr&utm_medium=rss&utm_campaign=691486

«Хтоническая логика Haskell, тяжеловесная мощь «плюсов» и грязная гибкость скриптовых языков наталкивают человека на экзистенциальный поиск. Если апатия приводит в Python, то конструктивный поиск в итоге ведёт к Rust или Go», — считает Игорь Нетай, специалист отдела перспективных исследований компании «Криптонит».

https://habr.com/ru/post/690992/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690992

Сегодня мы попробуем разложить по полочкам концепцию Сегодня мы попробуем разложить по полочкам концепцию Confidential Cloud Computing и содержательно поговорить о конфиденциальных вычислениях в Web 3.

Термин «облако» несколько раз пересматривался в истории Интернета. Для первопроходцев на заре Интернета идея заключалась в создании распределенной системы взаимосвязанных мейнфреймов, которая сама стала бы облаком. В более позднем видении облако будет означать возможность пользователей получать доступ к своим ресурсам (в основном данным) с любого устройства, которое к нему подключено.

Облако начало приобретать современные очертания только в начале 2000 года. Что произошло? До этого Интернет был в основном в руках нескольких энтузиастов. Затем произошла удивительная вещь: сотрудники Amazon (в то время интернет-магазина) не были удовлетворены скоростью, с которой они могли разрабатывать новые продукты и услуги. Проще говоря, они внедрили новый процесс для своих команд разработчиков и построили инфраструктуру с двумя ключевыми функциями:

позволить инженерам создавать новые сервисы быстрее и не затрачивать слишком много ресурсов на обслуживание;

обеспечить масштабирование и рост успешных услуг (тех, которые удовлетворяют спрос клиентов)

https://habr.com/ru/post/690892/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690892

Для ML-моделей не нужны (и даже вредны) персональные данные. Но пригодятся данные, которые описывают не отдельных людей, а их группы, то есть обезличенные. Как их получить и как с ними работать? Как убедиться, что права того, чьи данные были взяты за основу, не нарушены? И где граница между персональными и анонимными данными?

Меня зовут Алексей Нейман, я исполнительный директор Ассоциации больших данных. В этой статье попробуем разобраться в этих вопросах.

https://habr.com/ru/post/688116/?utm_source=habrahabr&utm_medium=rss&utm_campaign=688116

UX-дизайн может улучшить повседневную жизнь людей. А если вы работаете UX-дизайнером в сфере здравоохранения, то ставки ещё выше. По данным Grand View Research, сектор медицинских технологий является одним из самых быстрорастущих в мире с ожидаемым доходом в размере 1305,1 млрд долларов США в 2030 году. Как у UX-дизайнера, у вас есть возможность помочь определить будущее здравоохранения. Давайте рассмотрим роль UX-дизайна в сфере здравоохранения, влияние пандемии COVID-19 на цифровые медицинские решения, феномен старения населения и ключевую роль проектирования для новых технологий, таких как виртуальная реальность (VR) и искусственный интеллект (ИИ).

Большинство цифровых решений для здравоохранения разрабатывается на базе уникального программного обеспечения, которое имеет высокий спрос и у которого практически отсутствует конкуренция. Поэтому компании часто пренебрегают UX медицинских продуктов. Однако спрос на цифровые решения для здравоохранения, такие как телемедицина, резко возрос из-за пандемии COVID-19, и они стали гораздо более востребованными. Компании делают ставки на цифровые решения для здравоохранения и разрабатывают гораздо больше продуктов, чем до пандемии, что и вызвало необходимость в улучшении UX-дизайна.

https://habr.com/ru/post/686876/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686876

Пару лет назад, как и многие другие владельцы сайтов в рунете, я столкнулся с резким ростом посетителей из социальных сетей. Поначалу это радовало, пока дело не дошло до детального изучения поведения таких “пользователей” - оказалось что это боты. Мало того, они еще и сильно портили поведенческие факторы, которые критически важны для хорошего ранжирования в Яндексе, да и в Гугле.

https://habr.com/ru/post/686572/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686572

Привет! Сегодня расскажем большую историю: как мы разработали корпоративную платформу отчётности и решили сделать её общедоступной и бесплатной.

https://habr.com/ru/post/685604/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685604

Несмотря на общую популярность и тренд, Massive Parallel Processing (MPP) РСУБД всё ещё очень редко используются для целей автоматизации маркетинга (платформы aCRM). Часто быстрее и удобнее использовать классическую РСУБД. Однако рано или поздно организации приходят к тому, что вертикальное масштабирование уже не спасает, а бизнес продолжает расти.

В рамках данной статьи хотим поделиться опытом использования Massive Parallel Processing (MPP) РСУБД на примере GreenPlum в проекте внедрения платформы aCRM для автоматизации маркетинговых процессов в крупном Retail.

https://habr.com/ru/post/685426/?utm_source=habrahabr&utm_medium=rss&utm_campaign=685426

Привет, username! Меня зовут Иван Васенков и я джуниор дата-инженер в дирекции данных и аналитики Lamoda. Но к этой профессии я пришел не сразу: окончив университет, я начал работать аналитиком данных, затем стал BI-разработчиком, а уже после этого — дата-инженером.

На моем пути были простые и сложные участки: где-то помогал опыт предыдущей работы, а где-то приходилось доучиваться практически на ходу. Именно поэтому я хочу поделиться советами из своего опыта, которые помогут начинающим специалистам быть максимально готовыми к вступлению в мир дата-инжиниринга.

https://habr.com/ru/post/684658/?utm_source=habrahabr&utm_medium=rss&utm_campaign=684658

Всем привет!

Иногда кажется, что для решения проблемы недостаточно простого выполнения расчётов в Spark и хочется более эффективно использовать доступные ресурсы. Меня зовут Илья Панов, я инженер данных в одном из продуктов X5 Tech, и хочу поделиться некоторыми подходами параллельных вычислений в Apache Spark.

https://habr.com/ru/post/684024/?utm_source=habrahabr&utm_medium=rss&utm_campaign=684024

Я часто пользуюсь функциями для работы с большими данными. Они позволяют упросить и ускорить работу. Некоторые я нашел на просторах интернета, другие написал сам. Сегодня хочу поделиться четырьмя из них, может кому-то будет полезно.

https://habr.com/ru/post/682694/?utm_source=habrahabr&utm_medium=rss&utm_campaign=682694

Обзор различий и сходств различных трансформеров BERT из библиотеки Hugging Face и как их использовать

https://habr.com/ru/post/680986/?utm_source=habrahabr&utm_medium=rss&utm_campaign=680986

Интеллектуальные алгоритмы машинного обучения уже умеют распознавать голос и изображения, занимаются аналитикой бизнес-процессов и используются в решении массы других задач.

Их внедрение позволило не просто облегчить процесс программирования, но и совершило настоящую революцию во многих отраслях человеческой деятельности. Сегодня предлагаем обсудить, что представляет собой машинное обучение и его алгоритмы и как заставить технику выполнять обязанности людей.

https://habr.com/ru/post/680436/?utm_source=habrahabr&utm_medium=rss&utm_campaign=680436