Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 6 сообщений
Cообщения с меткой

executor - Самое интересное в блогах

Следующие 30  »
rss_habr

[Перевод] Пять советов по исправлению перекошенных соединений в Apache Spark

Среда, 03 Августа 2022 г. 11:00 (ссылка)



Соединения (Joins) являются одними из наиболее фундаментальных преобразований в типичной процедуре обработки данных. Оператор Join позволяет коррелировать, обогащать и фильтровать два входных набора (пакета / блока) данных (Datasets).

Обычно два входных набора данных классифицируются как левый и правый на основе их расположения по отношению к пункту/оператору Join.
По сути, соединение работает на основе условного оператора, который включает логическое выражение, основанное на сравнении между левым ключом, полученным из записи левого блока данных, и правым ключом, полученным из записи правого комплекса данных. Левый и правый ключи обычно называются соединительными ключами (Join Keys). Логическое выражение оценивается для каждой пары записей из двух входных наборов данных. На основе логического вывода, полученного в результате оценки выражения, условный оператор включает условие выбора — для отбора либо одной из записей (из пары), либо комбинированной записи (из записей, образующих пару).
Читать дальше →

https://habr.com/ru/post/678826/?utm_source=habrahabr&utm_medium=rss&utm_campaign=678826

Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<executor - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda