Целевая функция

Наглядной демонстрацией полезности нелинейного анализа главных компонент является следующий простой пример (см. рисунок 4.7).

Рис. 4.7. Анализ главных компонент дает линейное подпространство, минимизирующее отклонение данных (a). Он не способен, однако, выявить одномерный характер распределения данных в случае (b). Для их одномерной параметризации нужны нелинейные координаты

Он показывает, что в общем случае нас интересует нелинейное преобразование

, сохраняющее максимальное количество информации о распределении данных в обучающей выборке

и являющееся наиболее сжатым представлением этих данных. Такое представление данных, не поддающееся дальнейшему сжатию, обладает максимальной энтропией, т.е. их статистическое распределение не отличимо от случайного шума. Таким образом, в общем случае целевой функцией при сжатии данных является максимизация энтропии:

. Естественно, при этом предполагается ограниченность диапазона изменения выходов, например:

во избежании неограниченного роста энтропии.1)

Содержание раздела