|
rss_habr
[Перевод] Генерация конвейеров обработки данных в DataflowПятница, 23 Декабря 2022 г. 16:00 (ссылка)
https://habr.com/ru/post/707006/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707006
rss_habr
В DWH только PythonПятница, 23 Декабря 2022 г. 12:03 (ссылка)
Вопреки названию, мы используем далеко не только Python. Но большой проект на любом языке требует к себе вдумчивый подход, особенно в плане учета особенностей языка и технологий. Пройдя все стадии от отрицания до принятия в программировании на Python, могу сказать, что он нам подошел. Но будет неправдой сказать, что нас обошли стороной трудности и проблемы, связанные с особенностями разработки. Про жизненные неурядицы и то, как мы их решали и продолжаем решать — об этом и немного об устройстве DWH в inDrive я и расскажу. А еще на примере кейсов разберу, что в проекте может пойти не так. Читать далееhttps://habr.com/ru/post/706842/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706842
rss_habr
Автоматический подбор параметров для Spark-приложений на примере spark.executor.memoryЧетверг, 24 Ноября 2022 г. 11:41 (ссылка)
Привет! Я – Валерия Дымбицкая, технический руководитель команды дата-инженеров в OneFactor. Это вторая часть статьи о том, как автоматически подбирать параметры для Spark-приложений на примере spark.executor.memory. В первой части мы разбирали, как читать логи событий Spark и как достать из них три показателя того, насколько можно уменьшить память экзекьюторам (а также зачем это делать). Здесь я расскажу о том, как превратить это всё в работающую систему на продуктиве, используя довольно простые средства. Читать далееhttps://habr.com/ru/post/701136/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701136
rss_habr
Автоматический подбор параметров для Spark-приложений на примере spark.executor.memoryЧетверг, 24 Ноября 2022 г. 11:41 (ссылка)
Привет! Я – Валерия Дымбицкая, технический руководитель команды дата-инженеров в OneFactor. Это вторая часть статьи о том, как автоматически подбирать параметры для Spark-приложений на примере spark.executor.memory. В первой части мы разбирали, как читать логи событий Spark и как достать из них три показателя того, насколько можно уменьшить память экзекьюторам (а также зачем это делать). Здесь я расскажу о том, как превратить это всё в работающую систему на продуктиве, используя довольно простые средства. Читать далееhttps://habr.com/ru/post/701136/?utm_source=habrahabr&utm_medium=rss&utm_campaign=701136
rss_habr
[Перевод] Функциональный поиск событий с помощью cats-effectПонедельник, 14 Ноября 2022 г. 18:00 (ссылка)
Достижение максимальной выразительности и абстракции домена при сохранении точности протокола актора с помощью библиотеки endless4s Scala. Код, описывающий бизнес-логику, несомненно, является самым ценным активом в системе программного обеспечения. Также называемый кодом домена среди специалистов по доменно-ориентированному проектированию, он отражает опыт и ценностное предложение и постепенно аккумулирует в себя все богатство знаний. Хотя для зрелости таких углубленных моделей требуется время, тенденции и технологии программного обеспечения быстро меняются и даже подвергаются лицензионным изменениям, как это недавно произошло с Akka. Вместе с тем, по мере устаревания языка, методов и фреймворков, ценность программного обеспечения растет по мере расширения клиентской базы. Читать далееhttps://habr.com/ru/post/699294/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699294
rss_habr
[Перевод] Функциональный поиск событий с помощью cats-effectПонедельник, 14 Ноября 2022 г. 18:00 (ссылка)
Достижение максимальной выразительности и абстракции домена при сохранении точности протокола актора с помощью библиотеки endless4s Scala. Код, описывающий бизнес-логику, несомненно, является самым ценным активом в системе программного обеспечения. Также называемый кодом домена среди специалистов по доменно-ориентированному проектированию, он отражает опыт и ценностное предложение и постепенно аккумулирует в себя все богатство знаний. Хотя для зрелости таких углубленных моделей требуется время, тенденции и технологии программного обеспечения быстро меняются и даже подвергаются лицензионным изменениям, как это недавно произошло с Akka. Вместе с тем, по мере устаревания языка, методов и фреймворков, ценность программного обеспечения растет по мере расширения клиентской базы. Читать далееhttps://habr.com/ru/post/699294/?utm_source=habrahabr&utm_medium=rss&utm_campaign=699294
rss_habr
Физика вращения 3д телСуббота, 05 Ноября 2022 г. 13:50 (ссылка)
Когда я раньше задумывался о вращении в 3д, мне было неуютно. Оно казалось сложным. Вспомнить, например, эффект Джанибекова с прецессией свободно вращающейся гайки. Настало время разобраться! В статье Вас ждут математика, физика, а заодно численное моделирование и визуализация в libgdx. Можно провести аналогии между массой тела в поступательном движении и моментом инерции. Разница только в том, что масса выражается одним-единственным числом, а момент инерции - матрицей 3х3. В большинстве примеров ограничиваются вращением в 2д, где существует только одна возможная ось вращения, либо симметричными телами типа мяча, когда момен инерции по всем осям одинаковый. Вместо этого я рассмотрю наиболее общий случай. Читать далееhttps://habr.com/ru/post/697534/?utm_source=habrahabr&utm_medium=rss&utm_campaign=697534
rss_habr
Физика вращения 3д телСуббота, 05 Ноября 2022 г. 13:50 (ссылка)
Когда я раньше задумывался о вращении в 3д, мне было неуютно. Оно казалось сложным. Вспомнить, например, эффект Джанибекова с прецессией свободно вращающейся гайки. Настало время разобраться! В статье Вас ждут математика, физика, а заодно численное моделирование и визуализация в libgdx. Можно провести аналогии между массой тела в поступательном движении и моментом инерции. Разница только в том, что масса выражается одним-единственным числом, а момент инерции - матрицей 3х3. В большинстве примеров ограничиваются вращением в 2д, где существует только одна возможная ось вращения, либо симметричными телами типа мяча, когда момен инерции по всем осям одинаковый. Вместо этого я рассмотрю наиболее общий случай. Читать далееhttps://habr.com/ru/post/697534/?utm_source=habrahabr&utm_medium=rss&utm_campaign=697534
rss_habr
[Перевод] Умные конструкторы для кейс-классовЧетверг, 03 Ноября 2022 г. 11:59 (ссылка)
В число огромных преимуществ использования Scala входит безопасность типов. Если мы четко и внимательно относимся к используемым нами типам, компилятор способен направить нас в правильном направлении и указать, где мы можем ошибиться. Существуют способы, с помощью которых мы можем положиться на систему типов и язык в целом, для большей уверенности в создаваемом коде. Читать далееhttps://habr.com/ru/post/697248/?utm_source=habrahabr&utm_medium=rss&utm_campaign=697248
rss_habr
[Перевод] Умные конструкторы для кейс-классовЧетверг, 03 Ноября 2022 г. 11:59 (ссылка)
В число огромных преимуществ использования Scala входит безопасность типов. Если мы четко и внимательно относимся к используемым нами типам, компилятор способен направить нас в правильном направлении и указать, где мы можем ошибиться. Существуют способы, с помощью которых мы можем положиться на систему типов и язык в целом, для большей уверенности в создаваемом коде. Читать далееhttps://habr.com/ru/post/697248/?utm_source=habrahabr&utm_medium=rss&utm_campaign=697248
rss_habr
Автоматический подбор параметров для Spark-приложенийЧетверг, 27 Октября 2022 г. 11:12 (ссылка)
Всем привет! Меня зовут Валерия Дымбицкая, я технический руководитель команды дата-инженеров в OneFactor. В этой статье я расскажу о том, как мы научились автоматически подбирать параметры для Spark-приложений на основе логов. Проблема, которую мы решали, может встретиться при регулярном, предсказуемом, интенсивном использовании Hadoop-кластера. Я расскажу, как мы простыми средствами сделали рабочую автономную систему тюнинга, сэкономив в итоге 15-16% ресурсов кластера. Вас ждут детали с примерами кода. В первой половине статьи я расскажу про то, какая перед нами стояла задача, и разберу ключевые пункты для её решения. Во второй половине будет рассказ о том, как это решение подготовить к работе на продуктиве и что мы из этого всего получили. Зачем нам вообще понадобился автоматический тюнинг? Начнём с инфраструктуры. Сетап у нас "классический": ограниченный Hadoop-кластер из купленных серверов. В нём на тот момент, когда мы начали всё это делать, было около 30Тб RAM и 5к CPU. В этом кластере запускается множество разноплановых приложений на Apache Spark и в какой-то момент им стало тесновато. Всё больше приложений висели в PENDING значительное время, потребление памяти утроилось за последние 4 месяца. Сохранять такую тенденцию не хотелось. Довольно много приложений были от продукта Лидогенерация. Базово он устроен так: есть список номеров телефонов (база) и есть Spark ML Pipeline, который каким-то образом отбирает из этой базы лидов абонентов для некоего целевого действия – например, для предложения продукта клиенту. База может меняться от раза к разу. Вот такую пару из Читать далееhttps://habr.com/ru/post/695562/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695562
rss_habr
Автоматический подбор параметров для Spark-приложенийЧетверг, 27 Октября 2022 г. 11:12 (ссылка)
Всем привет! Меня зовут Валерия Дымбицкая, я технический руководитель команды дата-инженеров в OneFactor. В этой статье я расскажу о том, как мы научились автоматически подбирать параметры для Spark-приложений на основе логов. Проблема, которую мы решали, может встретиться при регулярном, предсказуемом, интенсивном использовании Hadoop-кластера. Я расскажу, как мы простыми средствами сделали рабочую автономную систему тюнинга, сэкономив в итоге 15-16% ресурсов кластера. Вас ждут детали с примерами кода. В первой половине статьи я расскажу про то, какая перед нами стояла задача, и разберу ключевые пункты для её решения. Во второй половине будет рассказ о том, как это решение подготовить к работе на продуктиве и что мы из этого всего получили. Зачем нам вообще понадобился автоматический тюнинг? Начнём с инфраструктуры. Сетап у нас "классический": ограниченный Hadoop-кластер из купленных серверов. В нём на тот момент, когда мы начали всё это делать, было около 30Тб RAM и 5к CPU. В этом кластере запускается множество разноплановых приложений на Apache Spark и в какой-то момент им стало тесновато. Всё больше приложений висели в PENDING значительное время, потребление памяти утроилось за последние 4 месяца. Сохранять такую тенденцию не хотелось. Довольно много приложений были от продукта Лидогенерация. Базово он устроен так: есть список номеров телефонов (база) и есть Spark ML Pipeline, который каким-то образом отбирает из этой базы лидов абонентов для некоего целевого действия – например, для предложения продукта клиенту. База может меняться от раза к разу. Вот такую пару из Читать далееhttps://habr.com/ru/post/695562/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695562
rss_habr
Нагрузочное тестирование GatlingВоскресенье, 05 Сентября 2022 г. 01:24 (ссылка)
Последние несколько недель в рамках спринта наша команда занималась написанием нагрузочного тестирования. Чтобы протестировать основные сценарии работы новой группы сервисов. Сервисы взаимодействуют по GRPC, что осложняло процесс тестирования. В рамках нагрузочного тестирования мы собирались проверить целесообразность выбора в пользу GRPC. А также понять допустимые лимиты и пропускную способность, написанного сервиса. Читать далееhttps://habr.com/ru/post/686330/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686330
rss_habr
Нагрузочное тестирование GatlingВоскресенье, 05 Сентября 2022 г. 01:24 (ссылка)
Последние несколько недель в рамках спринта наша команда занималась написанием нагрузочного тестирования. Чтобы протестировать основные сценарии работы новой группы сервисов. Сервисы взаимодействуют по GRPC, что осложняло процесс тестирования. В рамках нагрузочного тестирования мы собирались проверить целесообразность выбора в пользу GRPC. А также понять допустимые лимиты и пропускную способность, написанного сервиса. Читать далееhttps://habr.com/ru/post/686330/?utm_source=habrahabr&utm_medium=rss&utm_campaign=686330
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |