Всем привет! Я работаю в MaritimeAI, и вместе с Yandex Cloud мы строим систему, которая позволяет учёным в НИИ биологии Иркутского государственного университета мониторить экологию озера Байкал.



Ещё недавно подсчёт и определение разнообразных видов планктона сотрудники выполняли вручную: с помощью микроскопа, глаз и бланка, в котором отмечали наличие того или иного организма. Мы решили это автоматизировать — а заодно поделиться датасетом с сообществом на Гитхабе. В конце поста поясню, кому может быть полезен датасет, как он будет обновляться и что ещё появится в репозитории. Но давайте обо всём по порядку.
Читать дальше →

https://habr.com/ru/post/689592/?utm_source=habrahabr&utm_medium=rss&utm_campaign=689592

Я часто пользуюсь функциями для работы с большими данными. Они позволяют упросить и ускорить работу. Некоторые я нашел на просторах интернета, другие написал сам. Сегодня хочу поделиться четырьмя из них, может кому-то будет полезно.

https://habr.com/ru/post/682694/?utm_source=habrahabr&utm_medium=rss&utm_campaign=682694

Относительная доступность методов секвенирования ДНК и большое количество доступной в открытых источниках генетической информации сделала актуальной разработку нейронных сетей, предназначенных для анализа цепочек ДНК и поиска корреляций между признаками и геномной последовательностью. В статье мы рассмотрим основы кодирования генетической информации и обсудим дополнение от исследовательской команды генетики Google Nucleus для Tensorflow, который позволяет считывать основные форматы кодирования генетической информации и представлять их в виде набора данных, которые могут быть проанализированы с использованием тензорных графов на основе Tensorflow.

https://habr.com/ru/post/683094/?utm_source=habrahabr&utm_medium=rss&utm_campaign=683094

Качественная визуализация данных не менее важна для анализа данных, чем методы математической обработки. На сегодняшний день существуют десятки (если не сотни) библиотек для визуализации наборов данных на Python, но иногда в них встречаются уникальные возможности и хотелось бы иметь возможность объединить различные инструменты в единой панели. В статье мы рассмотрим основы библиотеки panel для реализации реактивной модели интерактивных визуализаций и попробуем объединить визуализации из разных библиотек в одном dashboard.

https://habr.com/ru/post/682500/?utm_source=habrahabr&utm_medium=rss&utm_campaign=682500

Развитие методов глубокого машинного обучения привело к росту популярности нейронных сетей в задачах распознавания образов, машинного перевода, генерации изображений и текстов и многих других. С 2009 года нейронные сети попытались применить напрямую в задачах обработки графов (к которым могут относиться системы веб-страниц, связанных ссылками, словари с определенными отношениями между словами, граф социальных связей и другие) и среди возможных задач можно определить поиск кластеров узлов, создание новых графов на основе имеющейся информации о структуре графа, расширение графа и предсказание новых связей и другие. Сейчас выделяют несколько типов нейронных сетей на основе графов - сверточные графовые сети (Convolutional Graph Network), графовые изоморные сети (Graph Isomorphism Network) и многие другие и они часто используются для анализа цитирования статей, исследования текста (представление предложения как графа с указанием типов отношений между словами), изучения взаимосвязанных структур (например, исследования белковых молекул, в частности сеть Alphafold использует модель GNN) и т.д. В статье мы рассмотрим некоторые общие вопросы создания и обучения графовых сетей на основе библиотеки Python Spektral.

https://habr.com/ru/post/681686/?utm_source=habrahabr&utm_medium=rss&utm_campaign=681686

Протокол OData (или Open Data Protocol) не часто встречается на практике. Чаще мы видим собственные решения по поводу проектирования RESTful API и тратим на это много времени. Но за долгое время существования REST, уже были собраны лучшие практики, которые слились в OData. На просторах интернета не много ресурсов для изучения. Давайте исправим это. В этой статье приведены основные варианты использования OData с примерами.

https://habr.com/ru/post/678614/?utm_source=habrahabr&utm_medium=rss&utm_campaign=678614

Современные языковые модели достигли впечатляющих результатов в некоторых задачах, которые раньше были под силу только человеческому разуму. Так, например, некоторые модели могут без затруднений искать ответы на вопросы, сформулированные на естественном языке в огромных массивах текстовой информации, при этом они не "подсматривают" во внешние источники, а хранят все знания в своей памяти (например, некоторые модели архитектуры T5). Можно пойти дальше и задаться целью создать языковую модель для решения специфичной изобретательской задачи, которая может стоять перед техническим экспертом. В рамках данной публикации попробуем ответить на вопрос могут ли современные нейронные сети генерировать решения изобретательских задач по описанию текущего состояния технической системы и проблемы, которую необходимо устранить.

https://habr.com/ru/post/676128/?utm_source=habrahabr&utm_medium=rss&utm_campaign=676128

На днях мне позвонил друг и сказал, что хочет остановиться в Питере на пару-тройку дней и посмотреть старинные памятники архитектуры нашей культурной столицы. Спросил совета, — где бы ему остановиться поближе к центру города, чтобы успеть посмотреть Летний сад и все такое

А поскольку буквально на днях я завершил вводную часть курса Аналитик данных, то и решил потренироваться на друге в применении логики такого анализа. Забегая вперед, скажу, что результат меня несколько удивил, возможно где-то в моей логике ошибка. Если так, то поправьте меня. Я только учусь.

https://habr.com/ru/post/674476/?utm_source=habrahabr&utm_medium=rss&utm_campaign=674476

В стремительно развивающемся мире важно соответствовать заданным темпам совершенствования технологических процессов. Однако, не все предприятия готовы к модернизации. Это может быть связано и с излишней экономией на оборудовании, либо отсутствием такой возможности в финансовом отношении.

Один из основных вопросов, с которым сталкивается руководство таких предприятий – «Как с помощью морально устаревшего парка станков реализовывать тот же объем продукции, который бы исполнялся на самом современном оборудовании?». Сложно, но не невозможно.

https://habr.com/ru/post/672348/?utm_source=habrahabr&utm_medium=rss&utm_campaign=672348

В июне прошлого года вышла первая версия программы Organic Maps - бесплатных мобильных карт для Android и iOS с открытым исходным кодом. Об этом событии я опубликовал небольшую заметку на Хабре. Весь год шла интенсивная разработка, а число установок превысило 100 тысяч. Я решил взять небольшое интервью у разработчиков Organic Maps и обсудить с ними итоги года работы и планы на будущее.

https://habr.com/ru/post/671860/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671860

Это Анастасия Карасева и Елена Веретённик, научные сотрудники Прикладного Центра МАСТ при Европейском университете в Санкт-Петербурге, и в этом тексте мы подробно расскажем о регламентных работах в единой информационной системе «Закупки» и о том, как они связаны со сверхурочной работой специалистов по госзакупкам.

Единая информационная система «Закупки» (ЕИС) — цифровая среда, где в России осуществляются государственные закупки. В ЕИС есть две части: открытая и закрытая. Данные из открытой части доступны для анализа: их можно использовать as is или взять обработанными с сайта «Госзатраты». Нам довелось поработать с ЕИС в ходе проекта про сверхурочную работу специалистов по госзакупкам. Наше исследование было посвящено сверхурочной работе «закупщиков». Мы оценивали долю закупок, опубликованных в ЕИС в нерабочее время (в будни с 19:00:01 до 07:59:59 и в выходные) в разных регионах и у разных организаций. Мы обнаружили, что открытыми данными из ЕИС не так-то легко воспользоваться. Но это было не единственное открытие.

В какой-то момент мы увидели, что в отдельные рабочие дни доля неурочных закупок могла достигать 100%.

https://habr.com/ru/post/671780/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671780