Узел Фильтрация данных

Данный узел или опция доступны, только если они включены в лицензии PolyAnalyst Server.

Узел Фильтрация данных позволяет фильтровать колонки, которые не представляют интереса с точки зрения статистического анализа данных.

Например, пустые колонки совершенно бесполезны. В небольшой таблице выявить такие колонки можно самостоятельно. Если вам приходится иметь дело с несколькими тысячами колонок, поиск пустых колонок займет очень много времени. Узел Фильтрация данных позволяет автоматизировать процесс решения этой задачи.

Данный узел может выполнять и другие типы поиска.

Например, он также может искать колонки, содержащие одно и то же значение в каждой записи (колонки с константами), или колонки, которые полностью дублируют одну или несколько других колонок.

Узел Фильтрация данных представляет собой способ автоматической фильтрации колонок из данных с помощью разных эвристических правил, которые позволяют определить, будет ли колонка (или несколько колонок) полезна в ходе дальнейшего анализа. Выходом узла является отчет, отображающий информацию по каждой исходной колонке, и результаты каждой эвристической процедуры, например, указывается, содержит ли колонка отсутствующие значения (все значения отсутствуют), или только одно значение для всех строк (константа), или колонка является неинформативной (почти каждое значение в строках колонки является уникальным) и т. д. Узел также выдает таблицу данных, состоящую из всех колонок исходной таблицы за исключением тех, которые алгоритм счел неинформативными или бесполезными для дальнейшего анализа.

Узел Фильтрация данных принимает на входе таблицу данных. Выходом узла также является таблица, состав колонок в которой может отличаться от исходной таблицы.