ЕДИНИЦА ПОСЛОВНОЙ СЕГМЕНТАЦИИ

(word segmentation unit WSU)

Форма слова или символьная строка некоторого другого типа, которая трактуется как единица текста.

Примечание - Символьная строка, которая не является формой слова, может состоять из цифровых символов, иностранных символов, знаков пунктуации или некоторых других разнообразных символов, таких как китайские иероглифы, химические знаки, например, , или сочетание латинских и цифровых символов, например, F16.

"ГОСТ Р ИСО 24614-1-2013 Менеджмент языковых ресурсов. Пословная сегментация письменных текстов. Часть 1. Основные концепции и общие принципы" от 08.11.2013 г.