Это Анастасия Карасева и Елена Веретённик, научные сотрудники Прикладного Центра МАСТ при Европейском университете в Санкт-Петербурге, и в этом тексте мы подробно расскажем о регламентных работах в единой информационной системе «Закупки» и о том, как они связаны со сверхурочной работой специалистов по госзакупкам.

Единая информационная система «Закупки» (ЕИС) — цифровая среда, где в России осуществляются государственные закупки. В ЕИС есть две части: открытая и закрытая. Данные из открытой части доступны для анализа: их можно использовать as is или взять обработанными с сайта «Госзатраты». Нам довелось поработать с ЕИС в ходе проекта про сверхурочную работу специалистов по госзакупкам. Наше исследование было посвящено сверхурочной работе «закупщиков». Мы оценивали долю закупок, опубликованных в ЕИС в нерабочее время (в будни с 19:00:01 до 07:59:59 и в выходные) в разных регионах и у разных организаций. Мы обнаружили, что открытыми данными из ЕИС не так-то легко воспользоваться. Но это было не единственное открытие.

В какой-то момент мы увидели, что в отдельные рабочие дни доля неурочных закупок могла достигать 100%.

https://habr.com/ru/post/671780/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671780

Привет, Хабр.

Мы — Анастасия Карасева и Елена Веретённик, научные сотрудники Прикладного Центра МАСТ Европейского университета в Санкт-Петербурге, а этот текст — о боли работы с открытыми неагрегированными данными госзакупок. Мы сделали свой первый самостоятельный дата-проект на данных из xml контрактов по 44-ФЗ, которые доступны в российской единой информационной системе «Закупки». Эта история — о страданиях, возрождении и ряде небольших открытий, которые помогут начинающим дата-сайентистам легче и увереннее пройти похожий путь в открытых хранилищах данных.

ЕИС «Закупки» — база открытых данных, в которой размещается различная документация о закупках начиная с 2011 года: извещения, контракты и пр. Данные, как правило, хранятся в зазипованных xml на ftp сервере. Структура папок и документов строго регламентирована справочниками, альбомами и схемами. Но не всё так однозначно…

(Помимо ЕИС, открытые данные о госзакупках — уже структурированные и обработанные — можно найти на сайтах «Госзатраты» и «Госрасходы», но там представлены не все тэги из оригинальных xml-файлов. Далее мы будем использовать для сравнения обработанные версии контрактов с «Госзатрат».)

Целью нашего проекта было исследование сверхурочной работы в госзакупках в разных регионах России, и нам лучше подходили открытые и необработанные данные: там была метка о времени (таймстамп). Эта метка создаётся автоматически и отражает действие специалиста по закупкам в режиме реального времени, а значит, может служить надёжным цифровым следом его работы.

https://habr.com/ru/post/671760/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671760

Привет, Хабр.

Мы — Анастасия Карасева и Елена Веретённик, научные сотрудники Прикладного Центра МАСТ Европейского университета в Санкт-Петербурге, а этот текст — о боли работы с открытыми неагрегированными данными госзакупок. Мы сделали свой первый самостоятельный дата-проект на данных из xml контрактов по 44-ФЗ, которые доступны в российской единой информационной системе «Закупки». Эта история — о страданиях, возрождении и ряде небольших открытий, которые помогут начинающим дата-сайентистам легче и увереннее пройти похожий путь в открытых хранилищах данных.

ЕИС «Закупки» — база открытых данных, в которой размещается различная документация о закупках начиная с 2011 года: извещения, контракты и пр. Данные, как правило, хранятся в зазипованных xml на ftp сервере. Структура папок и документов строго регламентирована справочниками, альбомами и схемами. Но не всё так однозначно…

(Помимо ЕИС, открытые данные о госзакупках — уже структурированные и обработанные — можно найти на сайтах «Госзатраты» и «Госрасходы», но там представлены не все тэги из оригинальных xml-файлов. Далее мы будем использовать для сравнения обработанные версии контрактов с «Госзатрат».)

Целью нашего проекта было исследование сверхурочной работы в госзакупках в разных регионах России, и нам лучше подходили открытые и необработанные данные: там была метка о времени (таймстамп). Эта метка создаётся автоматически и отражает действие специалиста по закупкам в режиме реального времени, а значит, может служить надёжным цифровым следом его работы.

https://habr.com/ru/post/671760/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671760

Владельцы компаний знают: перед тем как подписывать договор, контрагента хорошо бы проверить. Иначе рискуешь отдать деньги мошеннику или банкроту. Только времени и сил на проверку часто не хватает. Рассказываем, что с этим делать.

https://habr.com/ru/post/671120/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671120

Блокчейн – это парадигма программирования, которая позволяет строить институты.

Впервые за долгое время появилась технология, которая способна резко улучшить качество жизни всего человечества и привести к появлению абсолютно новых институтов на WEB3 протоколах.

Глубокой ошибкой будет считать, что основная ценность блокчейна заключается в появлении криптовалют и развитии финансового рынка. Bitcoin и другие монеты являются только вершиной огромного айсберга

https://habr.com/ru/post/671336/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671336

Представлены соображения, о сути гравитации, основанные на концепции изложенной в статье «Энергия».

Закон всемирного тяготения был открыт Исааком Ньютоном. Согласно этому закону между любой парой тел во Вселенной действует сила взаимного притяжения. Его действие распространяется на все без исключения физические материальные тела во Вселенной, начиная атомом и заканчивая самыми известными и самыми крупными объектами вселенной – галактиками. Материальные тела состоят из протонов, электронов и нейтронов. Протоны и электроны являются элементарными частицами. А свободный нейтрон - составная частица, состоящая из протона и электрона [1].

Свободные протон и электрон являются квантами двух видов энергии, которые не обладают гравитацией, но обладают полноценными энергетическими квантовыми уровнями. Элементарная частица — это набор энергетических квантовых уровней. Энергетический квантовый уровень элементарной частицы – это траектория движения составляющей квантового уровня находящейся на расстоянии:

https://habr.com/ru/post/669370/?utm_source=habrahabr&utm_medium=rss&utm_campaign=669370

Как менялись зимние температуры в Алматы за сто лет, анализ на Streamlit.

https://habr.com/ru/post/668672/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668672

В последние годы в области NLP произошла настоящая революция: огромные нейросети, предобученные на сотнях гигабайт текстов, бьют все известные рекорды качества. Но обладают ли такие нейросети чутьём на «естественность» текста, которое есть у носителей языка? Оценка предложения по внутреннему чутью в лингвистике получила название приемлемости; умение давать подобную оценку — ещё один шаг на пути к общему пониманию языка. Чтобы узнать, насколько хорошо нейросети для русского языка справляются с этой задачей, мы публикуем RuCoLA (Russian Corpus of Linguistic Acceptability) — датасет русскоязычных предложений, размеченных по бинарной шкале приемлемости. Это совместный труд команды исследователей и NLP-разработчиков из SberDevices, ABBYY, Yandex Research, Huawei Noah’s Ark Lab и Факультета компьютерных наук ВШЭ. Также мы открываем лидерборд на данных RuCoLA, чтобы любой желающий мог проверить способности своих моделей или поучаствовать в развитии методов для оценки приемлемости.
Читать дальше →

https://habr.com/ru/post/667336/?utm_source=habrahabr&utm_medium=rss&utm_campaign=667336

API ВКонтакте используют не только для сбора статистики, но и для отложенного постинга, отправки сообщений. Мы с командой активно применяем его для автоматизации отчетности по SMM и таргету. Поэтому поговорим про сценарии использования, когда нужно получить статистику из ВКонтакте для обработки в других системах. Кратко расскажем, как в целом работает API, поделимся методами, которыми пользуемся сами. В конце пройдемся по сложностям, от которых зависит результат.

https://habr.com/ru/post/662858/?utm_source=habrahabr&utm_medium=rss&utm_campaign=662858

Результат исследования данных из открытых источников по тюрьмам США, России и Европы. Статья расскажет вам о численности тюрем, заключённых, их распределению по возрасту, полу, совершённым преступлениям и о многом-многом другом... Каков процент наполнения тюрем в России и США? Каков уровень рецидивизма? За что сидит большинство заключённых? Сколько приходится заключённых на одного охранника? Сколько тратит правительство на уголовную систему?

https://habr.com/ru/post/648701/?utm_source=habrahabr&utm_medium=rss&utm_campaign=648701

Результат исследования данных из открытых источников по тюрьмам США, России и Европы. Статья расскажет вам о численности тюрем, заключённых, их распределению по возрасту, полу, совершённым преступлениям и о многом-многом другом... Каков процент наполнения тюрем в России и США? Каков уровень рецидивизма? За что сидит большинство заключённых? Сколько приходится заключённых на одного охранника? Сколько тратит правительство на уголовную систему?

https://habr.com/ru/post/648701/?utm_source=habrahabr&utm_medium=rss&utm_campaign=648701

Статья является продолжением статьи: История утечки персональных данных через Github.

Сегодняшняя подборка:

1. Персданные, пароли, рабочие секреты, все в куче

2. Пасхалка с персональными данными в рабочем проекте

3. Креды для доступа в даркнет

https://habr.com/ru/post/659915/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659915

История про одного нерадивого участника воркшопа от GeekBrains и, как он случайно слил персональные данные и иную конфиденциальную информацию.

https://habr.com/ru/post/659489/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659489

Давно известно, что солнечная активность и, как ее следствие, геомагнитные бури на Земле, оказывают влияние на здоровье и самочувствие людей. И раз так, то возникает закономерный вопрос: может быть солнечная активность как-то влияет и на количество совершаемых преступлений? Типа взяла геомагнитная буря повоздействовала на человека и сподвигла/не сподвигла его совершить противоправные действия.

По ходу повествования поищем связь между двумя количественными переменными (солнечная активность и количество преступлений), определим, какие статистические методы (параметрические или непараметрические) нужно использовать, применим коэффициент корреляции и интерпретируем результаты.

Для начала немного теории по предмету исследования. Геомагнитная буря - это сильные и быстрые изменения в магнитном поле Земли, возникающие в периоды повышенной солнечной активности. Солнечная активность – это процессы в солнечной атмосфере, связанные с образованием и распадом сильных магнитных полей. Для оценки солнечной активности принято использовать два индикатора - число и параметры солнечных пятен и уровень радиоизлучения на длине волны 10.7 см. При этом мощность потока радиоизлучения Солнца на длине волны 10.7 см хорошо коррелирует с суммарной площадью солнечных пятен и уровнем ультрафиолетового излучения. Поэтому для анализа влияния солнечной активности на уровень криминала для целей данной статьи используется этот второй параметр – мощность потока радиоизлучения.

Данные измерений потока радиоизлучения публикуются на сервере сервиса космической погоды Канады , где и был взят набор данных для текущего анализа. Загруженные данные о среднемесячных по годам значениях солнечного потока на длине волны 10,7 см содержат значения наблюдаемого (observed) потока, скорректированного (adjusted) к расстоянию от Земли до Солнца в 1 А.Е. потока, абсолютного (приведенного к абсолютной радиоастрономической шкале URSI, равное 0.9xF10.7) потока.

https://habr.com/ru/post/659155/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659155