Узел Уникальные тексты предназначен для фильтрации повторяющихся записей в текстовой колонке таблицы. Для данного узла необходимо одно входное соединение с узлом, представляющим таблицу данных. Результатом работы узла является новая таблица. Узел может иметь исходящие соединения с любым количеством узлов, которые принимают на входе таблицу.

Как правило, узел Уникальные тексты используется на подготовительном этапе для улучшения качества данных для последующего анализа. Если вы работаете с "грязными" данными, которые могут содержать большое количество дублирующих друг друга записей, вы можете использовать узел Уникальные тексты для того, чтобы удалить повторяющееся содержимое с помощью специального алгоритма. Узел может использовать различные методы определения сходства документов. Вы можете задать такой порог схожести, при котором два минимально отличных друг от друга документа будут рассматриваться как дубликаты.

При анализе текстовых данных аналитикам часто приходится иметь дело с повторяющимися записями. Например, предположим, что вы объединяете результаты нескольких анкет, содержащих схожие вопросы. Предположим, что данные собраны разными способами (с применением разных методик), и существует вероятность того, что некоторые данные дублируются. Вместо того, чтобы проверять данные самостоятельно, что крайне непрактично, если вы работаете с таблицами большого объема, вы можете использовать узел Уникальные тексты, чтобы удалить повторяющиеся данные прежде, чем приступать к анализу.

Удаление повторяющихся записей очень важно при анализе текста различными статистическими алгоритмами. Частота термина нередко является индикатором его значимости в пределах корпуса текстов (ряда документов). Если дубликаты присутствуют и не фильтруются специальными средствами, например, такими, как этот узел, то статистические выводы алгоритмов, используемых в ходе дальнейшего анализа, и отчеты, созданные различными инструментами, будут содержать искаженную информацию. Например, частота термина сильно искажает результаты таких узлов, как Связь терминов, Кластеризация текстов и Извлечение ключевых слов. Подобно тому, как неисправленные орфографические ошибки приводят к недостаточной репрезентации некоторых терминов, дублирующийся контент приводит к избыточной репрезентации отдельных терминов.

Алгоритмы определения степени схожести документов в системе PolyAnalyst в настоящее время учитывают только посимвольное, но не семантическое, сходство текстов. Другими словами, документ о собаках и документ о семействе псовых не будут считаться схожими документами, поскольку с точки зрения их буквенного состава, собака и пес – разные слова. Если вы хотите исследовать семантическое сходство текстов, попробуйте использовать узел Кластеризация текстов. Вы также можете выполнить предварительную обработку данных, собрав термины в объединенные гиперонимические ряды (гипероним – тип понятийных отношений между терминами, в которых одно понятие – это "тип" другого понятия). Например, и собака, и пес могут входить в класс животные. Получив гиперонимические ряды, можно продолжить исследование текста и удалить дубликаты.