Нейрокомпьютинг и его применения в экономике и бизнесе

         

Предикторы


Условие максимизации совместной энтропии выходов можно переписать в виде:

Условные вероятности, входящие в это выражение, характеризуют разброс предсказаний каждого выхода, основанного на знании других выходов, стоящих справа от горизонтальной черты. Предположим, что мы используем дополнительные сети-предикторы, по одной для каждого выхода, специально обучаемые такому предсказанию (рисунок 4.9).


Рис. 4.9.  Выделение независимых компонент с использованием предикторов

Обозначим

. выход сети-предиктора, предсказывающей значение переменной
.. Целевой функцией такой сети будет минимизация ошибки предсказания:

Отталкиваясь от значений

, основная сеть будет, напротив, максимизировать отклонение от предсказаний, ставя себе целью:

Таким образом, в заимном соревновании основная и дополнительные сети обеспечивают постепенное выявление статистически независимых признаков, осуществляющих оптимальное кодирование.

Размер сетей-предикторов определяется количеством выходов сети m, так что их суммарный объем, как правило, много меньше, чем размер декодера в автоассоциативной сети, определяемый числом входов d. В этом и состоит основное преимущества данного подхода.



Содержание раздела