Анализ переобучения нейропрогноза сглаживаний на обучающей и тестовых выборках

Эксперимент MM_010.4

Теперь смотрим на процесс переобучения сквозь эпохи. Результат ниже.

Результат неожиданный. Долгое обучение снижает точность прогнозов на тестовой выборке, но при этом доходность имеет свой максимум за минимумом ошибки тестовой выборки. Если ориентироваться при отборе модели на доходность, то получаются хорошие решения. Таким образом можно построить рабочую модель.

Нейропрогноз сглаживаний на обучающей и тестовых выборках

Эксперимент MM_010.3

Теперь смотрим как ведет себя модель на тестовой и обучающей выборках. Эксперимент проводим при разных сглаживаниях на 100 эпохах обучения.

На всех графиках видно, что модель сильно переучена.

Нейропрогноз сглаживаний с доходностью

Эксперимент MM_010.2

Теперь посмотрим на доходность которую может дать прогнозная модель.

Не удалось подтвердить предположение предыдущей статьи об уменьшении доходности в связи с увеличением коэффициента сглаживания. Точности прогноза хватает для постоянного роста доходности. Но нам еще предстоит получать серьезные рабочие модели с учетом тестовых выборок. Там предположение должно подтвердиться.

Теперь нужно смотреть как происходит процесс переобучения модели. Желательно это сделать с анализом доходности.

Нейропрогноз сглаживаний

Эксперимент MM_010.1

Теперь попробуем строить прогнозы для сглаженных рядов. Будем искать зависимость относительного сглаживания выхода от относительных сглаживаний входов. Как и ранее осуществляем перевод от нормального к равномерному распределению.

Результаты ниже.

Сглаживание 0,9

Сглаживание 0,5

Сглаживание 0,1

Сглаживание 0,01

Чем меньше коэффициент сглаживания, тем выше точность прогнозирования. Но при этом будет ниже доходность. Значит в будущих экспериментах понадобится оптимизировать модели для достижения лучшей доходности.

Нейропрогноз изменения

Эксперимент MM_010.0

Проводим простое обучение на всем ряде. Учим прогнозировать изменение в зависимости от изменений в предыдущем дне 5-ти входных рядов. Предварительно ряды приводим к равномерному распределению. Результаты ниже.

Результат получается слабый. Что само собой разумеещееся.

Верхняя генетика полной модели (ищем на автомате и смотрим в тесте)

Эксперимент MM_009.0.4

Проводим эксперимент по полной модели. В верхней генетике ищем количество эпох и глубину обучения. Отборочная выборка от 900 до 1100. Тестовая выборка от 1100 до 1300.
Популяция в 20 элементов. Элемент это пошаговая модель из предыдущего эксперимента.
В качестве отчета по эксперименту смотрим на график изменения средней доходности по популяции сквозь эпохи для отборочной и тестовой выборок.

Как видно из результатов, на лицо явное переобучение. Ползущий вверх график отборочной выборки не вытягивает за собой тестовый график. Модель не получена.

Необходимо вернуться к основам и найти метод получения хороших результатов на тесте.

Варьируем параметры верхнего уровня (глубина, провежуточные эпохи)

Эксперимент MM_009.0.2

Теперь будем генерировать по случайному равномерному закону количество промежуточных эпох для генетики из диаппазона от 3 до 20 и глубину обучения из диаппазона от 100 до 400. Результаты ниже.

Первый эксперимент для временного интервала от 900 до 1100.

Второй эксперимент для интервала от 1200 до 1400.

Как видно из результатов, в первом эксперименте много моделей с положительным отрывом от рынка. Даже есть результат в 57% отрыва за 200 дней.

Во втором эксперименте для другого диаппазона мало хороших результатов, но есть один в 19% отрыва от рынка за 200 дней.

Это хорошие результаты. Значит модель имеет место быть. Можно строить верхнюю генетику с подбором промежуточных эпох и глубиной обучения и смотреть результат на тэсте.

К сожалению расчет достаточно длителен. Необходимо попробовать его ускорить созданием скомпилированных модулей. Так и сделаем в следующем эксперименте.