четверг, 9 августа 2007 г.

12.01. Первые прогнозы (исследуем шумы)

В связи с неудачами прогнозировать курсы финансовых инструментов делаем возврат.
Поучимся прогнозировать простые вещи.
Пусть есть два сигнала. Второй сигнал - это первый с добавлением некоторого шума.
Первый сигнал генерируем как случайный по нормальному закону с нормой равной 1.
Разделим данные на две равные выборки - обучающую и тестовую. На тестовой выборке сделаем шум равным нулю. Будем учить прогнозировать из первого сигнала второй на обучающей выборке. А на тестовой посмотрим как точно она угадывает закон.
Учим на нейронной сети. Перед подачей на нейронную сеть сигналы нормируем по logsig к равномерному распределению.
Результат (в равномерном представлении) при разных значениях шума ниже.


По горизонтали - исходный второй сигнал, по вертикази - результат прогнозирования.
Синим показана обучающая выборка, красным тестовая, зеленым - идеал к которому стремимся.
Как видно из результатов, модель угадывает закон даже при больших шумах.
только сильно сжимается при повышении шума. Для устранения этого эффекта нужно поработать с нормированием сигнала.
Выводы.
Раз сеть так хорошо может отделаться от шума нужно использовать это ее свойство.
Значит нужно отфильтровывать шум при помощи сети.
Для этого можно взять комптентную сеть, подать на ее входы все сигналы. Обучить ее.
Затем просимулировать и взять значения к которым она сошлась.
Эти значения будут без шума.
Остается только подобрать сложность такой сети.

пятница, 20 июля 2007 г.

Об устаревании модели

На тесте нет хорошего результата.
Возможно модель устаревает доходя до теста.
Тест слишком далеко от обучения.
Можно использовать смешивание отборочной и обучающих выборок.
Нужно провести эксперименты по исследованию устаревания модели.
На разных уровнях точности учим модель и смотрим результат теста для разных глубин тестовой выборки.

10.13.1. Автоматический поиск с ограничением по точности в комитетах (нейроны,точность)
















пятница, 13 июля 2007 г.

10.12. Остановка обучения по выбранной точности


Теперь проводим экспперимент с остановками на разных уровнях точности.

Будем останавливать обучение на разных степенях точности обучающей выборки.

Смотрим какого уровня доходности удается достигать.

Кроме того усредним будем усреднять рекомендации всех обученных сетей на каждом шаге точности и строить игру. Результаты рисуем пунктиром.
На каждом шаге учим по 10 сетей.






























Как видно из графиков, модель показывает в тесте положительный отрыв по доходности, чего не было в прошлых экспериментах при ограничении валидацией.

Отрыв по доходности игры по усредненной рекомендации выше чем усредненный отрыв доходности всех сетей.


За пределами 0,03 по точности все графики уходят вниз. Там расчеты не велись.


Это хороший результат.

Теперь необходимо выяснить будет-ли расти тестовая выборка вслед за отборочной при использовании технологии ограничения по точности.

четверг, 12 июля 2007 г.

10.11. Автоматический подбор параметров сети.

Теперь попытаемся в пошаговой генетике подобрать параметры сети.

Для этого разобьем выборки как показано на рисунке.





Результаты следующие.


История доходности на тесте.



История доходности на выборке обучение-остановка-отбор.



История изменения коэффициента доли остановочной выборки в выборке обучение-остановка.


История размера выборки обучение-остановка.

История размера скрытого слоя нейронной сети.

История сглаживания прогнозируемого сигнала.


История сглаживаний для входных сигналов.

вторник, 10 июля 2007 г.

10.10.4. Оценка на разных долях обучения и отбора

Теперь посмотрим как может зависеть доходность теста от доли отборочной выборки в общей выборке обучение+отбор.





Можно добавить и это в верхнюю генетику.

10.10.3. Оценка на разных размерах слоев (2-х слойная)

Теперь посмотрим на зависимость от количества нейронов в одном скрытом слое.





10.10.2. Оценка на разных глубинах обучений

Теперь посмотрим зависимость от размера выборки обучения и отбора.

Везде по 25 расчетов с усреднением и вычислением стандартного отклонения.
4/5 выборки для обучения, 1/5 выборки для отбора. Выборки смешаны по случайному равномерному закону.

Для сети с одним скрытым слоем.


Для сети с двумя скрытыми слоями.






Как можно видеть по результатам, есть зависимость от глубины обучения.

10.10.1 Оценка на разных сглаживаниях

Теперь посмотрим как отрыв тестовой доходности может зависеть от величины сглаживания.

Для сети с одним скрытым слоем.


Для сети с двумя скрытыми слоями.



Положительного отрыва достичь не удалось, но есть возвышение на 0,5 и 0,9. При детальном изучении скорее всего удастся получить и положительные результаты.
Варьируя сглаживанием на верхнем уровне можно будет получить лучшие результаты.
Далее будем смотреть зависимости от других параметров.
Делаем дальше.

10.9.2 Смешиваем выборки при автоматической остановке

Теперь смешаем обучающую и отборочную выборки.
Результат ниже.


Теперь обучение стало ближе к тестам. Явного положительного результата не видать.
Но это хорошее направление. Делаем дальше.

10.9 Остановка обучения на разных процентах точности

Пробуем методику автоматической остановки обучения. Останавливаемся в экстремуме ошибки обучения.

Сначала смотрим на общий вид полного обучения с проходом всех эпох.



Теперь останавливаемся при достижении экстремума.




В результате имеем следующую симуляцию игры.




Метод автоматической остановки хорош. На обучении нет сильного отрыва от валидации.
Для хороших результатов в тесте нужно подбирать параметры модели.

Продолжим эксперименты по методу автоматической остановки обучения.

понедельник, 9 июля 2007 г.

Об обобщении и переобучении

Из результатов последних экспериментов стало ясно, что модель сильно переобучается.

На тесте нет таких результатов, как на валидации и обучении. На валидации тоже результаты ниже чем в обучении.

Необходимо отработать технологию получения обобщающих моделей. Необходимо более фундаментально подойти к процессу обучения нейронных сетей.

Возможные пути:
1. Особые подходы к выборкам
2. Фундаментальный подход к обучению

пятница, 6 июля 2007 г.

10.7. Комитет нейросетей на смешанных обучающей и отборочной выборках


Нейропрогноз на смешанных обучающей и отборочной выборках

Эксперимент MM_010.6

Теперь смешиваем обучающую и отборочную выборки по равномерному случайному закону. Как ориентир для отбора будем использовать отрыв по доходности. Результаты ниже.




Как можно видеть, на тесте хорошего результата достичь не удалось. Для усиления результата можно использовать комитет нейронных сетей. Так и попробуем.

Меняем местами обучающую и отборочную выборку

Для решения проблемы устаревания модели описанную в предыдущей статье, переставляем местами отборочную и обучающую выборки.





Как видим это не хорошее решение. Теперь отборочная выборка находится далеко от тестовой. А на отборочную выборку ориентируется вся система. Необходимо смешать отборочную и обучающую выборки.
Делаем!

Три выборки нейропрогноза сглаживаний

Эксперимент MM_010.5

Теперь перейдем к классическому трехвыборочному виду. На обучающей учим. На отборочной отбираем лучшую. На тестовой просто наблюдаем результат.




Как видно из графиков, в тесте результаты плохие. Эти и понятно. Слишком далеко располагаются друг от друга тестовая и обучающая выборка. Модуль устарела для тестовой выборки.
В следующих экспериментах решим задачу устаревания модели.