Вы настроили в приложении краш-репортинг, всё протестировали и выложили в магазин. Постоянно мониторите crash rate, в котором всегда четыре девятки, — приложение работает отлично и все довольны. Но всё-таки вы смотрите на него как будто сквозь замочную скважину и не видите полной картины. Чтобы это исправить, нужен полноценный лог ошибок.

Читать далее

https://habr.com/ru/post/681752/?utm_source=habrahabr&utm_medium=rss&utm_campaign=681752

Далеко не все компании и пользователи задумываются о легальности использования чужой базы данных без согласия его владельца. А зря, это может привести к штрафам и судебным разбирательствам. Давайте попробуем разобраться, когда брать информацию из базы данных легально, а когда это является нарушением.

Читать далее

https://habr.com/ru/post/681090/?utm_source=habrahabr&utm_medium=rss&utm_campaign=681090

Всем привет!

Одной из самых больших проблем при решении задач веб-парсинга данных является риск блокировки аккаунта. В общем случае эта проблема возникает только по одной причине – это большое количество запросов к веб-порталу за единицу времени.

Существует несколько путей решения этой проблемы с целью сохранить аккаунт:

Читать далее

https://habr.com/ru/post/680922/?utm_source=habrahabr&utm_medium=rss&utm_campaign=680922

https://habr.com/ru/post/676026/?utm_source=habrahabr&utm_medium=rss&utm_campaign=676026

Привет, друзья!

В этой заметке я хочу рассказать о двух вещах:

1. Сканере предварительной загрузки (теоретическая часть).


2. Пропуске невидимого контента (практическая часть).

Обе технологии используются браузером для повышения скорости загрузки веб-приложений.

Теоретическая часть представляет собой адаптированный и дополненный перевод этой статьи. Практическая часть — это небольшой эксперимент по применению новых свойств CSS, о которых рассказывается в этой статье (перевод).

Если вам это интересно, прошу под кат.

Читать дальше →

https://habr.com/ru/post/671762/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671762

Рассмотрим многопоточность как один из подходов, позволяющий быстрее решать задачи, связанные с вводом-выводом, и на его основе напишем парсер.

Читать далее

https://habr.com/ru/post/671198/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671198

Представьте, каково это — найти серьёзный баг в продакшене сразу после выпуска игры. Представьте, что этот баг вредит только платным пользователям. Представьте, что игра зависает сразу после того, как игроки завершают внутриигровую покупку. Представьте, что когда игрок перезапускает игру, она зависает при запуске. Представьте, что игроку так и не удаётся запустить игру и приходится её удалять. Представьте, что ваше приложение в этот момент находится в рекомендованных Apple Store. Эта статья — рассказ о таком баге, худшем из всех, что я видел за тридцать лет программирования. Это история о том, как мы его выявили и совместно с разработчиками Unity работали над его устранением.
Читать дальше →

https://habr.com/ru/post/663962/?utm_source=habrahabr&utm_medium=rss&utm_campaign=663962

Поток информационных новостей сыпется со всех сторон. Поиск достоверной информацией становится всё затруднительнее. Для того, чтобы сделать правильный выбор необходимо лучше всего опираться на первоисточник. В мире экономики и финансов, пожалуй, одним их главных источников является Центральный Банк России.

Читать далее

https://habr.com/ru/post/663670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=663670

В студенческие годы я написал на заказ много парсеров магазинов и социальных сетей. Со временем парсеры усложнялись и из скриптов превращались в полноценные веб-приложения c базой данных и Rest API. В статье описан шаблон веб-приложения, который использую для создания парсеов.

Читать далее

https://habr.com/ru/post/662928/?utm_source=habrahabr&utm_medium=rss&utm_campaign=662928

В декабре 2021 года Github объявил, что открывает общий доступ к точной навигации по коду для всех публичных и приватных репозиториев с Python на сайте GitHub.com. Точную навигацию в коде обеспечивают стековые графы, новый фреймвввооорк с открытым исходным кодом, созданный в Github и позволяющий устанавливать правила привязки имен для языка программирования при помощи декларативного предметно-ориентированного языка (DSL). Стековые графы позволяют генерировать данные о навигации по стеку для конкретного репозитория, не требуя при этом какого-либо участия в конфигурировании со стороны владельца репозитория и не вмешиваясь в процесс сборки или другие задания, связанные с непрерывной интеграцией. В этом посте будет подробно рассказано, как работают стековые графы, и как с их помощью достигаются такие результаты.

(Этот пост написан на основе доклада, прочитанного автором на конференции Strange Loop в октябре 2021 года. Есть видео с этим докладом, там рассказано гораздо больше!)

Читать далее

https://habr.com/ru/post/662662/?utm_source=habrahabr&utm_medium=rss&utm_campaign=662662

Сталкиваетесь ли Вы с необходимостью использовать внешние источники данных? Если да, то Вам пригодится алгоритм автоматизированного сбора информации с сайта – парсер. Разберём процесс создания такого алгоритма на примере сайта ЕФРСБ.

Перед Data Science специалистами регулярно встают задачи, для решения которых необходима информация из внешних источников, и часто её объёмы такие, что ручной поиск занимает непозволительно много времени. Автоматизированный сбор данных с сайта (парсинг) позволяет получить необходимые для задачи сведения, экономя время.

Одна из таких задач встала перед нашей командой: понадобились данные о процедуре признания физических лиц банкротами. Для этого был разработан алгоритм парсинга сайта Единого федерального реестра сведений о банкротстве (ЕФРСБ) с использованием библиотек requests и bs4. В настоящей статье предлагаю рассмотреть процесс создания этого парсера и познакомить Вас с решениями некоторых проблем, с которыми мы столкнулись.

Разработку алгоритма мы решили разбить на 2 части:

Читать далее

https://habr.com/ru/post/659569/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659569

В новой записи я вам покажу PHP библиотеку для парсинга (скрапинга) сайтов. С помощью данной библиотеки вы сможете забирать любую информацию со стороннего сайта, переходить по ссылкам, автоматически отправлять формы.

Читать далее

https://habr.com/ru/post/659315/?utm_source=habrahabr&utm_medium=rss&utm_campaign=659315