Система сбора распределенной телеметрии на Cassandra и Kotlin Spring |
Сердцем любого backend являются данные. Существует два сценария использования данных. В одном из них данные изменяются редко, но при этом активно используются в сыром или агрегированном виде и применяются для целей аналитики в реальном времени (такие системы принято называть OLAP). В других системах важно обеспечить сохранение с высокой скоростью большого количество неструктурированных или полуструктурированных объектов, поступающих от устройств Интернета вещей, из источников произвольных событий, наблюдений за активностью пользователя (такие системы называются OLTP - Online Transaction Processing, ориентированные на большое количество транзакций с минимальной задержкой обработки). Для таких систем важно обеспечить надежность хранения данных, поддержку распределенного хранения на нескольких серверах и/или дата-центрах и сохранение консистентности распределенного хранилища.
При этом сами объекты могут отличаться от привычной реляционной модели данных и представляться, например, в виде json-документов с произвольной схемой, объектов с полями со множественными значениями или графов. Разумеется это приводит к необходимости изучения новых подходов к поиску и добавлению данных, использованию специальных драйверов. Но что если соединить распределенное надежное хранилище и синтаксис запросов, близкий к SQL? В этой статье мы познакомимся с проектом Apache Cassandra и обсудим на примере разработки API на Kotlin для сбора телеметрии с датчиков, расположенных по всему миру (с поддержкой отказоустойчивости и управляемой репликации между дата-центрами).
Читать далееhttps://habr.com/ru/post/668524/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668524
|
Метки: Блог компании OTUS nosql Big Data Kotlin Умный дом otus spring data cassandra |
Визуализация и анализ зимних температур Алматы за последние сто лет на Streamlit |
Как менялись зимние температуры в Алматы за сто лет, анализ на Streamlit.
Читать далееhttps://habr.com/ru/post/668672/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668672
|
Метки: python Открытые данные визуализация данных Экология streamlit plotly pandas климат алматы казахстан статистика метеорология |
Графический интерфейс с дизайнером форм для сценарного языка OneScript |
Существует огромное множество скриптовых языков. Существует множество графических интерфейсов для скриптовых языков (англ. graphical user interface, GUI). И существует какое то количество дизайнеров для этих интерфейсов. Добавлю к этим разработкам и свои а именно - графический интерфейс и дизайнер форм для сценарного языка OneScript.
Читать далееhttps://habr.com/ru/post/668670/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668670
|
Метки: .NET Графические оболочки Интерфейсы gui onescript designer |
Внедрение автотестов UI web-приложения через связку Python, Selenium и QASE (ч.2) |
Шесть месяцев назад на Habr была написана первая статья по этой теме. В ней описаны процессы, позволившие запустить автотестирование имеющегося web-приложения. Текущая статья описывает доработанный подход к тестированию того же web-приложения.
Читать далееhttps://habr.com/ru/post/668668/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668668
|
Метки: Python Тестирование веб-сервисов web-сервис тестирование автотесты python3 ui ui testing |
Асинхронные моки. Создаем и тестируем telegram-бот на Kotlin |
Любая асинхронность повышает уровень тревожности при разработке автоматических тестов. Особенно в ситуации, когда нужно выполнить проверку корректности работы системы, основанной на графе состояний со взаимодействием с внешним API через Flow. Примером такой системы может быть Telegram-бот, построенный на диалоге с внешним пользователем. В этой статье мы с вами создадим простой бот на Kotlin (с поддержкой многоязычности) и последовательно разберем возможные способы использования асинхронных моков и тестов для Flow с использованием библиотеки mockk и типобезопасной библиотеки для взаимодействия с API Telegram на Kotlin.
Читать далееhttps://habr.com/ru/post/668352/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668352
|
Метки: Блог компании OTUS Тестирование IT-систем Программирование kotlin otus telegram bot testing тестирование асинхронность |
Корутины, компиляторы, кодогенерация и другие «ко...» грядущей C++ Russia |
Как известно, в мире C++ много способов причинить себе боль, но также много высокой производительности, нетипичных амбициозных задач и прочего увлекательного хардкора. Ну и ещё известно, что плюсовиков хлебом не корми, дай немножко похоливарить про Rust или Go.
А в программе C++ Russia нашлось место всему этому: будут доклады и о производительности, и о специализированных задачах вроде систем реального времени, и о способах уменьшить боль. И ещё немножко про Rust и Go. И внезапное, но интересное: доклад про автоматизацию программирования в СССР.
В начале июня пройдёт онлайн-часть конференции, 26 июня пройдёт офлайн-часть, а сейчас про обе сразу можно узнать, какие доклады там будут.
Читать далееhttps://habr.com/ru/post/668132/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668132
|
Метки: безопасность конференция конференции с++ боль c++ производительность rust системное программирование никто не читает теги корутины советские ученые блог компании jug ru group |
Anonymous покушаются на бургеры. DDoS-2022: ждать ли новые серии атак |
Со второй половины февраля 2022 года в рунете начались волнения. Причиной послужили серии кибератак, из-за которых пострадали государственные организации, банки, интернет-ресурсы СМИ, сервисы дистанционного образования и другие компании.
На Хабре и других порталах опубликованы десятки новостей о DDoS-атаках за февраль, март и апрель. Показатели DDoS-атак рекордные и заслуживают внимания.
В этой статье мы постарались прояснить ситуацию с помощью данных систем безопасности Selectel, провайдеров security-сервисов и СМИ. За цифрами приглашаем под кат.
Читать дальше →https://habr.com/ru/post/668650/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668650
Недельный геймдев: #72 — 29 мая, 2022 |
Из новостей: вышли Character Creator 4 и iClone 8, Phoenix 5.0, Azur Games запустил программу по релокации игровых студий за процент от прибыли, стала доступна бетка Construct Animate.
Из интересностей: разбор рендеринга Elden Ring, трёхмерная реконструкция человеческого тела Z-Anatomy, психология проигрыша, Unreal Engine 5 идёт ва-банк с динамическим глобальным освещением и Lumen.
Читать далееhttps://habr.com/ru/post/668662/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668662
|
Метки: разработка игр gamedev gamedevnews новости дайджест |
Дайджест недели от Apple Pro Weekly News (23.05 – 29.05.22) |
В этом дайджесте: Конференция разработчиков WWDC22 уже скоро и теперь есть расписание, магазины техники Apple в России стремительно закрываются, а саму компанию нещадно штрафуют, и немного новинок, обновлений и слухов. Всё это и многое другое в свежей подборке событий от Apple Pro Weekly News.
Перейти к новостямhttps://habr.com/ru/post/668642/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668642
|
Метки: IT-компании смартфоны Компьютерное железо Гаджеты Apple WWDC iOS iPhone Mac macOS Swift стартапы слухи |
Открытый банкинг в России |
Переход на открытую модель обращения с информацией — один из заметных технологических трендов. В большей степени это заметно в сфере услуг, в особенности, в финансовом и банковском секторах.
Читать далееhttps://habr.com/ru/post/668652/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668652
|
Метки: Финансы в IT IT-инфраструктура open banking |
[Перевод] Сегодня паттерн Посетитель в Java уже не нужен – лучше использовать переключатели паттернов |
В современном языке Java паттерн Посетитель (Visitor) уже не нужен. Он отлично компенсируется использованием запечатанных типов и переключателей, использующих сопоставление с шаблоном – в таком случае те же цели достигаются проще и меньшим объемом кода.
Всякий раз, оказываясь в ситуации, где мог бы применяться паттерн Посетитель, подумайте, не воспользоваться ли вместо него более современными возможностями языка Java. Разумеется, эти возможности могут использоваться и в других обстоятельствах, но в этой статье мы обсудим сравнительно узкую тему: чем заменить паттерн Посетитель. Для этого я начну с максимально краткого введения и приведу пример, а затем объясню, как достичь тех же целей более простым (и кратким) кодом.
Читать далееhttps://habr.com/ru/post/668646/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668646
|
Метки: Блог компании Издательский дом «Питер» java ООП Программирование Проектирование и рефакторинг паттерны проектирования оптимизация api |
Все должно быть под контролем. Резервное копирование для Kubernetes. Часть 2 |
В первой части мы рассмотрели подходы к созданию резервных копий контейнеров в кластере Kubernetes с использованием restic над каталогом данных и относительно новых возможностей CSI для создания и восстановления мгновенных снимков. Пришло время поговорить о возможностях автоматизации управления резервными копиями, о мониторинге процесса и иных важных DevOps-задачах.
Читать далееhttps://habr.com/ru/post/668308/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668308
|
Метки: Блог компании OTUS IT-инфраструктура Администрирование баз данных devops kubernetes csi stash backup резервное копирование |
[Перевод] ИИ, который читает ваши мысли |
Бионические протезы, работающие на основе выводов ИИ о сигналах мозга, стали реальностью уже вчера. Материалом, в котором кандидат наук в области физики на простом примере показывает, что у этих протезов под капотом, делимся к старту флагманского курса по Data Science.
Читать далееhttps://habr.com/ru/post/668612/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668612
|
Метки: медицина мысли психика человек мозг ээг интерфейсы научно-популярное машинное обучение skillfactory блог компании skillfactory |
Анонс: митап «Быстрый бэкенд». MongoDB, оптимизация алгоритмов и диагностика проблем в больших проектах |
https://habr.com/ru/post/668598/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668598
|
Метки: Блог компании Joom Python Программирование MongoDB Go бэкенд |
Сборка мусора во Flutter |
В РСХБ мобильную разработку мы ведём преимущественно на Flutter. В новой статье поговорим об алгоритме, который используется в любом приложении – о сборщике мусора (англ. Garbage collection). Его основной задачей, как в любом высокоуровневом языке программирования, является наблюдение за ссылками и очистка областей памяти с целью предотвращения переполнения памяти. Под катом рассказываем о том, как во Flutter работает процесс сборки “мусора” - неактивных и неиспользуемых ссылок, а также локальных и глобальных экземпляров языка Dart.
В языке Dart применяется сборщик мусора по поколениям объектов. Сборщик мусора для сборки экземпляров с коротким жизненным циклом и сборщик мусора для долгоживущих экземпляров, переживших более одного цикла сборки мусора.
В процессе сборки мусора слой Framework Dart создает канал взаимодействия со слоем Flutter Engine, посредством которого узнает о моментах простоя приложения и отсутствия пользовательского взаимодействия. В эти моменты Framework Dart запускает процесс оптимизации памяти, что позволяет сократить влияния на пользовательский опыт и стабильность приложения. Кроме того, в процессе работы приложения используется скользящее сжатие, что сводит к минимуму нагрузку на память за счет уменьшения фрагментации памяти.
Читать далееhttps://habr.com/ru/post/668600/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668600
|
Метки: Блог компании Россельхозбанк Разработка мобильных приложений dart flutter россельхозбанк сборщик мусора framework garbage collector |
Сравни: как мы использовали ML на лендингах финансовых продуктов и что из этого получилось? |
Сравни: как мы использовали ML на лендингах финансовых продуктов и что из этого получилось?
Привет, Хабр! Меня зовут Дмитрий Лучкин, я управляю развитием одного из видов финансовых продуктов в Сравни, мой соавтор — Марк Мережников, DS нашей команды. Мы решили поделиться с вами опытом использования ML на лендингах финансовых витрин и рассказать, к каким результатам мы пришли.
В Сравни много ресурсов выделяется на аналитику и ML. В компании работают более 40 аналитиков в разных продуктовых и аналитических командах. Мы используем SnowFlake в качестве DWH, в том числе H2O-решение для ML-задач. Сейчас в трех командах работают датасаентисты — они сфокусированы на решении конкретных задач по росту монетизации и улучшению пользовательского опыта. Сегодня мы хотим поговорить про опыт внедрения ML в наших витринах финансовых продуктов.
Наш пользователь видит витрину, на которой есть 100 или далее больше разных вариантов продуктов. Мы с командой задумались, как показать разные варианты предложений так, чтобы увеличить монетизацию. Наш кейс должен решать проблему ранжированиия вариантов финансовых продуктов на витрине (кластере лендингов).
Это стандартная задача для ML. Самая близкая аналогия для такого типа задачи: как эффективно показывать товары одной категории в поисковой выдаче на e-commerce площадках. Но наша задача не решается просто, потому что целевая метрика — выручка — зависит от суммы в каждой воронке по каждому офферу. Мы используем несколько метрик: клики, заявки, оформленные финансовые продукты. Есть трекинговая система, которая получает обратные данные по результатам успешного прохождения воронки пользователем. Есть фактор точности данных по выручке и всем показателям, также существует влияние маркетинговых затрат и влияние позиции (расположения оффера на витрине из более 80 офферов) на выручку по каждому офферу и целевые метрики продаж. Еще нужно учитывать, является ли пользователь новым или повторным для каждой конкретной финансовой организации, — от этого зависит, сколько мы заработаем за оформленный финансовый продукт.
Читать далееhttps://habr.com/ru/post/668596/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668596
|
Метки: Блог компании Сравни Big Data Машинное обучение Управление продуктом Data Engineering data science machine-learning системы рекомендаций регрессия |
Блюда из ресторанов: свежий взгляд на доставку от «ВкусВилл» |
Доставка — ключевой сервис бизнеса сферы e-commerce. Доступность, скорость и удобство привлекает покупателей, поэтому ритейлеры конкурируют именно на этом поле. Несмотря на появление различных агрегаторов курьерской доставки, ритейлеры выделяются на их фоне за счет экспресс-доставки из «dark stores» или «dark kitchen».
Среди российских ритейлеров в плане организации доставки особенно заметен быстрорастущий бренд «ВкусВилл», которая регулярно запускает и тестирует собственные сервисы. Такой подход позволяет своевременно отказываться от неэффективных действий и стратегий, которые являются главной опасностью для любого бизнеса. Так, в августе 2021 года был реализован проект «Сгоряча» по доставке блюд из более 50 «темных кухонь» в Москве, Санкт-Петербурге, Волгограде и Чебоксарах. Недавно ассортимент предложений для покупателей «ВкусВилл» расширился — через приложение можно заказать еду из ресторанов-партнеров. Блюда бесплатно доставляют собственные курьеры сети за 1-1,5 ч. с момента оформления заказа.
Читать далееhttps://habr.com/ru/post/668594/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668594
СИБУР на Highload++ 2022. Как это было |
Привет!
13 и 14 мая прошёл Highload++ 2022, где наши ребята выступали с докладами, а для всех желающих познакомиться с цифровой нефтехимией мы собрали специальный стенд. Хотим поделиться с вами, как всё прошло и о чём мы рассказывали.
Читать далееhttps://habr.com/ru/post/668218/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668218
|
Метки: Блог компании Цифровой СИБУР конференции IT-компании Highload+++ СИБУР нефтехимия девопс devops |
Английский для тестировщиков — как надо |
В прошлой статье “QA-обучение без границ” мы поговорили про возможное превращение карьерной лестницы начинающего тестировщика “обучение -> получение первого опыта на русскоязычном проекте -> получение опыта на англоязычном проекте” в более стремительное “обучение -> получение опыта на англоязычном проекте”.
И про то, как с задачей обучить специалиста, на выходе способного работать QA-джуном сразу в международной компании справляются самообразовательная, массовая и менторская модель обучения.
Сегодня мне как специалисту, который более 15 лет занимается подготовкой QA с нуля, хочется продолжить эту тему и поговорить собственно про обучение тестировщиков английскому. Сначала рассмотрим существующие на рынке решения, а потом обрисуем нечто идеальное.
Итак, наша задача - максимально короткое вхождение в QA-английский для обучающегося тестированию или трейни/джуна.
Читать далееhttps://habr.com/ru/post/668586/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668586
[recovery mode] Реализация очереди на C |
Привет, сегодня я покажу как сделать очередь на C. Ко мне пришла идея сделать зацикленную работу в очереди. То есть добавляются данные от конца в начало и если указатель дошел до начала, то начинать добавлять с конца. Статья маленькая, но может кому будет полезно. Кстати, я решил посмотреть как у других сделано и решил, что мой пример тоже не помешает.
Сама очередь состоит из такой структуры.
Читать далееhttps://habr.com/ru/post/668580/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668580
|
Метки: *nix Алгоритмы linux |
