Summary: Сотрудники Лиги Цифровой Экономики Юлия Крашеница, DBA PostgreSQL, Андрей Ходус, ведущий эксперт, и Елена Жикривецкая, старший эксперт PostgreSQL, рассказали об особенностях миграции с системы управления базами данных Oracle на PostgreSQL и возникших сложностях, а еще поделились своим опытом их решения.

Читать далее

https://habr.com/ru/post/712950/?utm_source=habrahabr&utm_medium=rss&utm_campaign=712950

Summary: Сотрудники Лиги Цифровой Экономики Юлия Крашеница, DBA PostgreSQL, Андрей Ходус, ведущий эксперт, и Елена Жикривецкая, старший эксперт PostgreSQL, рассказали об особенностях миграции с системы управления базами данных Oracle на PostgreSQL и возникших сложностях, а еще поделились своим опытом их решения.

Читать далее

https://habr.com/ru/post/712950/?utm_source=habrahabr&utm_medium=rss&utm_campaign=712950

В ряде статей планирую рассказать о подготовке данных, основных этапах разработки и дальнейшего использования данных в Microsoft Analysis Services (SSAS), о процессе построения аналитического хранилища данных на Microsoft SQL Server (MS SQL), о взаимодействии с базами данным Oracle и другими источниками нашего банка Совкомбанк, а также рассказать о возможностях MS SQL которые мы используем.

Основной задачей для создания аналитического хранилища является автоматизация сбора информации с источников, ее трансформации и представления готовых данных бизнес – аналитикам, помощи в анализе данных в управленческом учете, что помогает и упрощает исследования деятельности организации, нахождения проблем в бизнесе и последующих решений выявленных проблем.

Чаще всего аналитики сталкиваются с проблемами оперативного изменения агрегированных данных и выявлении факторов влияющими на эти данные. Довольно часто аналитики получают и анализирую данных в плоском сгруппированном виде, не всегда есть возможность без подключения технических специалистов разложить составляющие на самый низкий уровень гранулярности, определить неточности в данных. И физически человек не способен воспринимать многомиллионные строки данных, например в excel. Для этого на помощь приходит SSAS. В него можно загрузить большой объем данных и при необходимости развернуть до основных составляющих данных.

Дополнительно поставлю вопросы как цели: как мы упрощаем жизнь для бизнес – аналитиков, как вовремя и качественно сдаем отчетность в ЦБ, как с легкостью обрабатываем терабайты данных для предоставления их пользователям?

Читать далее

https://habr.com/ru/post/705538/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705538

В ряде статей планирую рассказать о подготовке данных, основных этапах разработки и дальнейшего использования данных в Microsoft Analysis Services (SSAS), о процессе построения аналитического хранилища данных на Microsoft SQL Server (MS SQL), о взаимодействии с базами данным Oracle и другими источниками нашего банка Совкомбанк, а также рассказать о возможностях MS SQL которые мы используем.

Основной задачей для создания аналитического хранилища является автоматизация сбора информации с источников, ее трансформации и представления готовых данных бизнес – аналитикам, помощи в анализе данных в управленческом учете, что помогает и упрощает исследования деятельности организации, нахождения проблем в бизнесе и последующих решений выявленных проблем.

Чаще всего аналитики сталкиваются с проблемами оперативного изменения агрегированных данных и выявлении факторов влияющими на эти данные. Довольно часто аналитики получают и анализирую данных в плоском сгруппированном виде, не всегда есть возможность без подключения технических специалистов разложить составляющие на самый низкий уровень гранулярности, определить неточности в данных. И физически человек не способен воспринимать многомиллионные строки данных, например в excel. Для этого на помощь приходит SSAS. В него можно загрузить большой объем данных и при необходимости развернуть до основных составляющих данных.

Дополнительно поставлю вопросы как цели: как мы упрощаем жизнь для бизнес – аналитиков, как вовремя и качественно сдаем отчетность в ЦБ, как с легкостью обрабатываем терабайты данных для предоставления их пользователям?

Читать далее

https://habr.com/ru/post/705538/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705538

Собираетесь ли вы развертывать базу данных в кластере Kubernetes? Если так – то это отличный выбор. Kubernetes – это инструмент оркестрации контейнеров, который при помощи множества инструментов координирует эксплуатацию приложений в контейнерах (подах). Один из этих контроллеров называется StatefulSet и используется для эксплуатации приложений, сохраняющих состояние. Читать дальше →

https://habr.com/ru/post/703550/?utm_source=habrahabr&utm_medium=rss&utm_campaign=703550

ETL и ELT — самые широко используемые способы доставки данных из одного или нескольких источников в централизованную систему для удобства доступа и анализа. Обе этих методики состоят из этапов extract (извлечения), transform (преобразования) и load (загрузки). Разница заключается в последовательности действий. Хотя можно подумать, что небольшое изменение в порядке этапов никак не влияет, на самом деле для потока интеграции это меняет всё.



В этом посте мы подробно рассмотрим процессы ETL и ELT, а также сравним их по важным критериям, чтобы вы могли понять, какой лучше подходит для вашего конвейера данных.
Читать дальше →

https://habr.com/ru/post/695546/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695546

Цель данной статьи не просто порядок установки системы, нюансы, которые могут при неправильной последовательности давать, в итоге, разные результаты.

Первое: - Это Изолированность системы, которая связана с её особенностями поведения именно в Виртуальной машине и выражается в подключении к ней внешних накопителей.

Второе: - Это опять изолированность из-за устаревших сертификатов подлинности вложенных в Браузеры. Они просто не могут подключится к интернет ресурсам, допустим, к тому же облачному сервису, или к почте. Отсутствует поддержка новшеств которыми изобилую Браузеры, настоящего. Но Браузеров под UNIX системы найти практически невозможно, а Solaris именно к этому семейству и относится.

Цель установки Solaris не из праздного любопытства, а для дела. Смотреть там особо то и нечего.

Дело в том, что в 2006 году был куплен лицензионный комплект дисков для разработчиков, в который входит и Sun Studio 12 c подробной документацией по всему что только можно. Но, прогресс идёт, и вот новые компьютеры уже привязаны к новой системе загрузки EFI. Хоть и есть в них возможность загружать старые системы, Solaris на этапе инициализации оборудования виснет. Перепробовано было достаточно конфигураций, что бы от этой затеи отказаться.

Зачем пытаться устанавливать архаичную систему, если есть более совершенные?

Да. Есть. Но, они все устанавливаются из интернета, а под санкционным давлением все связи обрубили... Вот и приехал Митя в школу...

Вернуться в старую Solaris можно посредством Oracle VM VirtualBox. Моя конфигурация: v. 1.6.40 / Oracle_VM_VirtualBox_Extension_Pack-6.1.38.vbox-extpack / VBoxGuestAdditions_6.1.40.iso

Сначала добавил VBoxGuestAdditions_6.1.40.iso, распаковав образ обычным архиватором, у меня "7z." в отдельную папку, а от туда уже выбрал версию AMD64.exe и установил. затем подключил пакет расширений. В меню окна выбираем: файл -> настройки -> плагины. Либо 2 раза кликаем по плагину при работающей VM, которая его подхватывает и он устанавливается.

Читать далее

https://habr.com/ru/post/700060/?utm_source=habrahabr&utm_medium=rss&utm_campaign=700060

ORM (Object-Relational Mapping) используется во многих языках программирования, в том числе и в 1С. Однако реализация высоконагруженных решений, приводит к мысли что разработчики ORM не учитывали ее влияния на производительность СУБД. Такая ситуация и в 1С и ORM на Java, и наверняка в других ORM . Причины приоткрывает данная статья.

Читать далее

https://habr.com/ru/post/697504/?utm_source=habrahabr&utm_medium=rss&utm_campaign=697504

ORM (Object-Relational Mapping) используется во многих языках программирования, в том числе и в 1С. Однако реализация высоконагруженных решений, приводит к мысли что разработчики ORM не учитывали ее влияния на производительность СУБД. Такая ситуация и в 1С и ORM на Java, и наверняка в других ORM . Причины приоткрывает данная статья.

Читать далее

https://habr.com/ru/post/697504/?utm_source=habrahabr&utm_medium=rss&utm_campaign=697504

Итак в вашем репозитории накопилось количество сборок превысившее число 1. Настало время задуматься о DevOps(е). Как же уследить за всеми этими сборками?

Классическое решение это запустить сервер сборки. Есть готовая технология, называется Jenkins.

Идея проста. Сервер сборки это инфраструктурный прикладной процесс, который периодически запускает скрипты построения конкретных программных проектов и затем сохраняет бинари в конкретную папку или архив. Обычно сервер сборки работает автономно 24/7 и собирает артефакты из репозитория с кодом.

В этом тексте я написал инструкцию для разворачивания Jenkins на Windows компьютере.

Читать далее

https://habr.com/ru/post/695978/?utm_source=habrahabr&utm_medium=rss&utm_campaign=695978

Привет, Хабр! Сегодня мы, команда Risk and Compliance компании GlowByte, хотим рассказать о большом проекте с топовым банком России, который завершили буквально месяц назад. В общей сложности история длилась более 2 лет. Речь пойдёт о внедрении новой автоматической системы управления операционными рисками (СУОР). Благодаря этому проекту наш заказчик стал первым банком, полностью выполнившим требования ЦБ РФ по положению 716-П "О требованиях к системе управления операционным риском в кредитной организации и банковской группе", вступившему в силу 1 октября 2021 года. Также банк первым перешёл на продвинутый подход к резервированию капитала по операционным рискам.

Читать далее

https://habr.com/ru/post/690626/?utm_source=habrahabr&utm_medium=rss&utm_campaign=690626