Три выборки нейропрогноза сглаживаний

Эксперимент MM_010.5

Теперь перейдем к классическому трехвыборочному виду. На обучающей учим. На отборочной отбираем лучшую. На тестовой просто наблюдаем результат.

Как видно из графиков, в тесте результаты плохие. Эти и понятно. Слишком далеко располагаются друг от друга тестовая и обучающая выборка. Модуль устарела для тестовой выборки.

В следующих экспериментах решим задачу устаревания модели.

Анализ переобучения нейропрогноза сглаживаний на обучающей и тестовых выборках

Эксперимент MM_010.4

Теперь смотрим на процесс переобучения сквозь эпохи. Результат ниже.

Результат неожиданный. Долгое обучение снижает точность прогнозов на тестовой выборке, но при этом доходность имеет свой максимум за минимумом ошибки тестовой выборки. Если ориентироваться при отборе модели на доходность, то получаются хорошие решения. Таким образом можно построить рабочую модель.

Нейропрогноз сглаживаний на обучающей и тестовых выборках

Эксперимент MM_010.3

Теперь смотрим как ведет себя модель на тестовой и обучающей выборках. Эксперимент проводим при разных сглаживаниях на 100 эпохах обучения.

На всех графиках видно, что модель сильно переучена.

Нейропрогноз сглаживаний с доходностью

Эксперимент MM_010.2

Теперь посмотрим на доходность которую может дать прогнозная модель.

Не удалось подтвердить предположение предыдущей статьи об уменьшении доходности в связи с увеличением коэффициента сглаживания. Точности прогноза хватает для постоянного роста доходности. Но нам еще предстоит получать серьезные рабочие модели с учетом тестовых выборок. Там предположение должно подтвердиться.

Теперь нужно смотреть как происходит процесс переобучения модели. Желательно это сделать с анализом доходности.

Нейропрогноз сглаживаний

Эксперимент MM_010.1

Теперь попробуем строить прогнозы для сглаженных рядов. Будем искать зависимость относительного сглаживания выхода от относительных сглаживаний входов. Как и ранее осуществляем перевод от нормального к равномерному распределению.

Результаты ниже.

Сглаживание 0,9

Сглаживание 0,5

Сглаживание 0,1

Сглаживание 0,01

Чем меньше коэффициент сглаживания, тем выше точность прогнозирования. Но при этом будет ниже доходность. Значит в будущих экспериментах понадобится оптимизировать модели для достижения лучшей доходности.

Нейропрогноз изменения

Эксперимент MM_010.0

Проводим простое обучение на всем ряде. Учим прогнозировать изменение в зависимости от изменений в предыдущем дне 5-ти входных рядов. Предварительно ряды приводим к равномерному распределению. Результаты ниже.

Результат получается слабый. Что само собой разумеещееся.

Верхняя генетика полной модели (ищем на автомате и смотрим в тесте)

Эксперимент MM_009.0.4

Проводим эксперимент по полной модели. В верхней генетике ищем количество эпох и глубину обучения. Отборочная выборка от 900 до 1100. Тестовая выборка от 1100 до 1300.
Популяция в 20 элементов. Элемент это пошаговая модель из предыдущего эксперимента.
В качестве отчета по эксперименту смотрим на график изменения средней доходности по популяции сквозь эпохи для отборочной и тестовой выборок.

Как видно из результатов, на лицо явное переобучение. Ползущий вверх график отборочной выборки не вытягивает за собой тестовый график. Модель не получена.

Необходимо вернуться к основам и найти метод получения хороших результатов на тесте.