Производительность и масштабируемость

При выполнении узла PolyAnalyst создает новую таблицу только из тех колонок, которые были включены, и индексирует указанные колонки. Обычно на эту операцию требуется меньше секунды. Это — быстрый и детерминируемый процесс. Узел Фильтрация колонок имеет достаточно высокую масштабируемость и производительность.

Преимущества фильтрации колонок

Каждая "копия" таблицы, сохраненная в выходных данных, фактически является особым способом отображения исходных данных. Узел Фильтрация колонок не подразумевает создание и хранение новой таблицы данных, хотя его выходные данные могут выглядеть именно как новая таблица. Фильтрация колонок имеет ряд значительных преимуществ по сравнению с удалением колонок из таблицы данных в ходе ее импорта.

Во-первых, вы можете создать любое количество узлов фильтрации колонок, каждый из которых будет иметь уникальную настройку.

Например, если у вас есть таблица данных с 10-ю колонками, вы можете создать два узла Фильтрация колонок и настроить первый узел на сохранение первых 5 колонок, а второй узел — на сохранение последних 5 колонок. Таким образом вы фактически разделите исходную таблицу данных на две части по вертикали.

Во-вторых, благодаря его высокой производительности, узел Фильтрация колонок легко перенастраивается и быстро перевыполняется, в отличие от операции импорта данных. Повторное выполнение узла-источника данных требует гораздо больше времени и задействует больше ресурсов системы.

В-третьих, фильтрация ранее импортированных данных удобна в том случае, если над одним проектом работает несколько пользователей. Если вы используете несколько узлов для фильтрации данных одной исходной таблицы, другим пользователям будет проще понять логику проекта, чем в ситуации, когда на скрипте присутствует несколько узлов, импортирующих разные данные из одного и того же источника. Если вы удалите колонки в ходе импорта данных, это будет не настолько очевидно для других пользователей, работающих с вашим проектом. Но если соединить узел-источник данных с узлом Фильтрация колонок, то операция по удалению колонок становится вполне понятной (она будет видна на скрипте).