|
rss_habr
Администрируем сервер Дельта BI, применяя опыт работы с Tableau ServerЧетверг, 02 Февраля 2023 г. 12:39 (ссылка)
Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS). Читать далееhttps://habr.com/ru/post/714394/?utm_source=habrahabr&utm_medium=rss&utm_campaign=714394
rss_habr
Что такое свой NAS и как его начать делать?Вторник, 31 Января 2023 г. 17:28 (ссылка)
Современный и доступный NAS - понятие довольно растяжимое. Для чего он нужен - для дома или офиса, его размеры, мобильность, стоимость, программное обеспечение, все эти и другие вопросы так или иначе определяют конкретную модель и сферу применения. Рассмотрим то, что будет интересно всем - это системы хранения для дома или малых рабочих групп. Причем существуют не только ограничения по стоимости и локальной доступности, но также и простое желание собрать что-то своими руками. Мы постарались разобраться в ситуации, проанализировать существующие решения и, возможно, предложить свой вариант развития, который будет интересен и тем, кто хочет купить готовое решение, и тем, кто смотрит на NAS как на потенциальное устройство для самостоятельной сборки от железа до софта. Читать далееhttps://habr.com/ru/post/713900/?utm_source=habrahabr&utm_medium=rss&utm_campaign=713900
rss_habr
Зачем вообще защищать данные при передаче?Четверг, 26 Января 2023 г. 11:28 (ссылка)
Привет, Хабр! Меня зовут Федор и я занимаюсь киберкриминалистикой. Не только на работе (в RTM Group), но и на досуге. Мне нравится исследовать, почему и как кого-то взломали, а еще думать, как сделать так, чтобы этого не происходило. В связи с COVIDом и прочими событиями гораздо больше важных данных все стали пересылать посредством электронной почты и мессенджеров. Соответственно, выросло и количество случаев кражи таких данных. И сегодня мы разберемся, как защищать важную информацию при передаче. Читать далееhttps://habr.com/ru/post/712952/?utm_source=habrahabr&utm_medium=rss&utm_campaign=712952
rss_habr
Цвет сезона – слива. Что мы сделали с GreenPlum в 2022-м и что планируем в 2023-мСреда, 18 Января 2023 г. 12:07 (ссылка)
Привет, Хабр! Меня зовут Марк Лебедев, работаю архитектором в GlowByte. В июне 2022 года на митапе DataPeople мы с командой рассказывали о наших планах в части GreenPlum (запись выступления). Если коротко, тогда мы сфокусировались на развитии open-source и собирались выложить в публичный доступ наши наработки относительно мониторинга кластера и мониторинга запросов, плейбуки по инсталляции и наши подходы для нагрузочного тестирования. Собственно про них и хотелось бы поговорить подробно. В этой статье мы подведём итоги, что нам удалось сделать за прошедшие 6 месяцев, и расскажем о планах на будущий год. В конце статьи укажем все ссылки на репозитории. Читать далееhttps://habr.com/ru/post/711206/?utm_source=habrahabr&utm_medium=rss&utm_campaign=711206
rss_habr
Цвет сезона – слива. Что мы сделали с GreenPlum в 2022-м и что планируем в 2023-мСреда, 18 Января 2023 г. 12:07 (ссылка)
Привет, Хабр! Меня зовут Марк Лебедев, работаю архитектором в GlowByte. В июне 2022 года на митапе DataPeople мы с командой рассказывали о наших планах в части GreenPlum (запись выступления). Если коротко, тогда мы сфокусировались на развитии open-source и собирались выложить в публичный доступ наши наработки относительно мониторинга кластера и мониторинга запросов, плейбуки по инсталляции и наши подходы для нагрузочного тестирования. Собственно про них и хотелось бы поговорить подробно. В этой статье мы подведём итоги, что нам удалось сделать за прошедшие 6 месяцев, и расскажем о планах на будущий год. В конце статьи укажем все ссылки на репозитории. Читать далееhttps://habr.com/ru/post/711206/?utm_source=habrahabr&utm_medium=rss&utm_campaign=711206
rss_habr
Жарим TOAST в PostgreSQLЧетверг, 12 Января 2023 г. 16:33 (ссылка)
У нас не подгорит! Как PostgreSQL хранит большие значения столбцов? Какие явные и неявные ограничения есть у существующего механизма хранения? Что за проблемы вызваны этими ограничениями? И как можно решить эти проблемы, и расширить возможности PostgreSQL? Об этом, и чуть больше - данная статья. Читать далееhttps://habr.com/ru/post/710104/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710104
rss_habr
Прокси хранилища 1С (IIS, OneScript)Четверг, 12 Января 2023 г. 15:20 (ссылка)
В этом посте мы поговорим о том, как избавиться от версионной зависимости, проверять комментарии, вызывать веб-хуки и делать красивые пути. И все это на привычном IIS и понятном OneScript. Для чего, зачем и почему Во всех командах разработки рано или поздно возникает потребность привязки изменений кода к номерам задач. В итоге команды приходят к решению в виде комментариев в хранилище 1С. Но часто ли разработчики соблюдают это правило? Также может срабатывать человеческий фактор: можно ошибиться буквой, цифрой, задачей, ее статусом, исполнителем, системой, местом работы. Приходится перевыкладывать хранилище через gitsync, переделывать связи, тратить лишнее время и силы. А ещё хочется в работу добавить эстетики. Например, при подключении к хранилищу через HTTP — почему бы не убрать уродливые *.1ccr и не сделать красивый адрес хранилища? При подключении через tcp на разных версиях 1С надоело угадывать, на каком порту какая версия находится. Плюс есть, например, у меня потребность начать синхронизацию с git-репозиторием по факту помещения очередной версии в хранилище. Прилепим вызов синхронизации? Запросто! Появилась еще одна возможность встроиться в механизм транспорта между конфигуратором и хранилищем 1С, а по пути проверять комментарии, вызывать сторонние сервисы и делать прочие полезности. И все это на знакомом нам, одинэсникам, языке программирования и веб-сервере. Читать далееhttps://habr.com/ru/post/710130/?utm_source=habrahabr&utm_medium=rss&utm_campaign=710130
rss_habr
Как создать свою СУБД с нуля и не сойти с ума. Практическое пособие начинающему некроманту. Часть перваяПятница, 06 Января 2023 г. 06:47 (ссылка)
Наступил Апокалипсис. Нет, не стоит бежать запасаться банками с консервами и крышками отечественной бай-колы! Апокалипсис произошёл только в нашей фантазии и с определённой целью — чтобы проверить, а может ли человек, обладающий только книгами по теме и стандартной библиотекой языка, воссоздать инструмент, который будет служить ему верой и правдой? Так родился учебный проект SicQL, реляционная СУБД, чей символ — сова — это олицетворение силы знаний и мудрости. Олицетворение тех знаний и той мудрости, которые мы получим, создав с нуля то, чем мы пользуемся каждый день, может, не осознавая всей сложности таких инструментов. Приглашаю присоединиться к увлекательному путешествию! Принять приглашение на бортhttps://habr.com/ru/post/709234/?utm_source=habrahabr&utm_medium=rss&utm_campaign=709234
rss_habr
TrueNas: когда Nas реально ТРУСреда, 28 Декабря 2022 г. 09:48 (ссылка)
Вы слышали о TrueNas, но не знаете, стоит ли с ним связываться? Представляю реальный случай применения TrueNas в качестве основного файлового хранилища в компании. Как на практике и из старого сервера и домашних дисков мы получили достаточно неплохой NAS с SMB, NFS, iSCSI, https://habr.com/ru/post/707770/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707770
rss_habr
SSD, CD, HDD, OptiNAND… DNA — выбираем перспективные накопители для резервного копированияВторник, 27 Декабря 2022 г. 16:45 (ссылка)
https://habr.com/ru/post/705586/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705586
rss_habr
В DWH только PythonПятница, 23 Декабря 2022 г. 12:03 (ссылка)
Вопреки названию, мы используем далеко не только Python. Но большой проект на любом языке требует к себе вдумчивый подход, особенно в плане учета особенностей языка и технологий. Пройдя все стадии от отрицания до принятия в программировании на Python, могу сказать, что он нам подошел. Но будет неправдой сказать, что нас обошли стороной трудности и проблемы, связанные с особенностями разработки. Про жизненные неурядицы и то, как мы их решали и продолжаем решать — об этом и немного об устройстве DWH в inDrive я и расскажу. А еще на примере кейсов разберу, что в проекте может пойти не так. Читать далееhttps://habr.com/ru/post/706842/?utm_source=habrahabr&utm_medium=rss&utm_campaign=706842
rss_habr
Что делают дата-инженеры, когда данные сами движутся между десятками систем?Четверг, 22 Декабря 2022 г. 17:41 (ссылка)
Привет, Хабр! Меня зовут Андрей Гончаров, я дата-инженер в Garage Eight, и сегодня я расскажу о том, как мы подходим к батч-процессингу и нашей self-service платформе данных. Почему self-service? Традиционный подход к работе с данными подразумевает, что данные готовят и перемещают между информационными системами дата-инженеры. Однако, с ростом data-driven компаний растут и потребности бизнеса, нужно анализировать и перемещать все больше данных между все большим количеством информационных систем, и требуется это все большему количеству потребителей данных: аналитикам, продакт-менеджерам, разработчикам и другим. В связи с чем растет и нагрузка на дата-инженеров, они работают со всё растущим количеством данных, бизнес-сущностей, и, по сути, владеют ими. Остается мало времени на модернизацию дата-инженерных инструментов, растет техдолг. Для снижения нагрузки можно увеличивать дата-инженерный штат, что является не лучшим вариантом — в таком случае, нам потребуется дата-департамент, растущий пропорционально с бизнесом. Давайте посмотрим, как мы решаем описанные проблемы. Поехали!https://habr.com/ru/post/707180/?utm_source=habrahabr&utm_medium=rss&utm_campaign=707180
rss_habr
Как работают объектные хранилища: объясняем на практике и собственных шишкахПятница, 16 Декабря 2022 г. 11:27 (ссылка)
Объектные хранилища сейчас повсюду. До прихода в Selectel я лишь знал, что они живут в облаках, сложно тарифицируются, а Amazon снова впереди планеты всей… Но, если подумать, так можно сказать почти про любую облачную услугу, и это не расскажет нам о ее реальных особенностях. https://habr.com/ru/post/705908/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705908
rss_habr
Практической опыт проектирования систем графового анализаЧетверг, 15 Декабря 2022 г. 18:25 (ссылка)
Наши коллеги из группы компаний ГлоуБайт не так давно публиковали достаточно развернутый материал по графовой аналитике, в котором содержится базовая теория и приведены области практического применения. В этой статье мы бы хотели поделиться опытом проектирования данного класса систем, какие специализированные движки используем, какую типовую архитектуру применяем и как к ней пришли. Читать далееhttps://habr.com/ru/post/705802/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705802
rss_habr
Как строятся объектные хранилища: объясняем на практике и собственных шишкахЧетверг, 15 Декабря 2022 г. 18:20 (ссылка)
Объектные хранилища сейчас повсюду. До прихода в Selectel я точно знал, что они живут в облаках, сложно тарифицируются, а Amazon снова впереди планеты всей… Но, если подумать, так можно сказать почти про любую облачную услугу, и это не расскажет нам о ее реальных особенностях. https://habr.com/ru/post/705716/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705716
rss_habr
Автоматизация обработки данныхЧетверг, 15 Декабря 2022 г. 11:09 (ссылка)
Основная статья Взаимодействие DWH Oracle и MS SQL Завершающим этапом для загрузки, обработки данных и наполнения данных куба, можно назвать автоматизацию выполнения задач по расписанию. Для реализации этого в MS SQL Server имеется SQL Agent. Предварительно необходимо создать учетную запись (Credential) (см. Рис. 1), из-под которой будет выполняться запуск заданий (Job). Эта учетная запись должна быть связана с доменной учетной записью, которой будет предоставлены привилегии. Этой учетной записи можно выдавать доступы, например, в каталогах для загрузки и выгрузки файлов, доступа к серверам и т.п. Если данную учетную запись не создавать, то необходимо выдавать доступы для учетной записи SQL Agent, что может не соответствовать с вашей политикой безопасности в организации. Читать далееhttps://habr.com/ru/post/705662/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705662
rss_habr
Оптимизация данных в MS SQLЧетверг, 15 Декабря 2022 г. 10:51 (ссылка)
Основная статья Взаимодействие DWH Oracle и MS SQL Одним из методов для оптимизации обработки, хранения и администрирования данных в базе данных и кубах MS SQL — это процесс создании партицирования данных. Partitioning (партицирование или по-другому секционирование) — это разбиение таблицы на несколько частей, а эти части на одну или несколько файловых групп. Партицирование необходимо для целей ускорения доступа чтения или изменения данных и администрирования. Так как выровненный индекс по таблице будет содержаться в каждой условно своей секции, то при чтении или изменении данных будет обращение к конкретной секции и конкретному индексу в этой секции. Со стороны администрирования для процесса переноса (например архивирования) данных в другую таблицу без физического перемещения данных, а перемещения только логической секций, подлежащих этой операции, выполнение этого действия происходит мгновенно, что экономит время и ресурсы машины. Для этого необходимо подготовить таблицу «архив» — копию по структуре с таблицей источника, она может быть не партицированна. Пример кода для переноса в таблицу: Читать далееhttps://habr.com/ru/post/705656/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705656
rss_habr
Взаимодействие DWH Oracle и MS SQLСреда, 14 Декабря 2022 г. 19:14 (ссылка)
В ряде статей планирую рассказать о подготовке данных, основных этапах разработки и дальнейшего использования данных в Microsoft Analysis Services (SSAS), о процессе построения аналитического хранилища данных на Microsoft SQL Server (MS SQL), о взаимодействии с базами данным Oracle и другими источниками нашего банка Совкомбанк, а также рассказать о возможностях MS SQL которые мы используем. Основной задачей для создания аналитического хранилища является автоматизация сбора информации с источников, ее трансформации и представления готовых данных бизнес – аналитикам, помощи в анализе данных в управленческом учете, что помогает и упрощает исследования деятельности организации, нахождения проблем в бизнесе и последующих решений выявленных проблем. Чаще всего аналитики сталкиваются с проблемами оперативного изменения агрегированных данных и выявлении факторов влияющими на эти данные. Довольно часто аналитики получают и анализирую данных в плоском сгруппированном виде, не всегда есть возможность без подключения технических специалистов разложить составляющие на самый низкий уровень гранулярности, определить неточности в данных. И физически человек не способен воспринимать многомиллионные строки данных, например в excel. Для этого на помощь приходит SSAS. В него можно загрузить большой объем данных и при необходимости развернуть до основных составляющих данных. Дополнительно поставлю вопросы как цели: как мы упрощаем жизнь для бизнес – аналитиков, как вовремя и качественно сдаем отчетность в ЦБ, как с легкостью обрабатываем терабайты данных для предоставления их пользователям? Читать далееhttps://habr.com/ru/post/705538/?utm_source=habrahabr&utm_medium=rss&utm_campaign=705538
|
LiveInternet.Ru |
Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат О проекте: помощь|контакты|разместить рекламу|версия для pda |