пятница, 6 июля 2007 г.
Нейропрогноз на смешанных обучающей и отборочной выборках
Эксперимент MM_010.6
Теперь смешиваем обучающую и отборочную выборки по равномерному случайному закону. Как ориентир для отбора будем использовать отрыв по доходности. Результаты ниже.
Теперь смешиваем обучающую и отборочную выборки по равномерному случайному закону. Как ориентир для отбора будем использовать отрыв по доходности. Результаты ниже.
Как можно видеть, на тесте хорошего результата достичь не удалось. Для усиления результата можно использовать комитет нейронных сетей. Так и попробуем.
Меняем местами обучающую и отборочную выборку
Для решения проблемы устаревания модели описанную в предыдущей статье, переставляем местами отборочную и обучающую выборки.
Как видим это не хорошее решение. Теперь отборочная выборка находится далеко от тестовой. А на отборочную выборку ориентируется вся система. Необходимо смешать отборочную и обучающую выборки.
Делаем!
Три выборки нейропрогноза сглаживаний
Эксперимент MM_010.5
Теперь перейдем к классическому трехвыборочному виду. На обучающей учим. На отборочной отбираем лучшую. На тестовой просто наблюдаем результат.
Теперь перейдем к классическому трехвыборочному виду. На обучающей учим. На отборочной отбираем лучшую. На тестовой просто наблюдаем результат.
Как видно из графиков, в тесте результаты плохие. Эти и понятно. Слишком далеко располагаются друг от друга тестовая и обучающая выборка. Модуль устарела для тестовой выборки.
В следующих экспериментах решим задачу устаревания модели.
четверг, 5 июля 2007 г.
Анализ переобучения нейропрогноза сглаживаний на обучающей и тестовых выборках
Эксперимент MM_010.4
Теперь смотрим на процесс переобучения сквозь эпохи. Результат ниже.
Теперь смотрим на процесс переобучения сквозь эпохи. Результат ниже.
Результат неожиданный. Долгое обучение снижает точность прогнозов на тестовой выборке, но при этом доходность имеет свой максимум за минимумом ошибки тестовой выборки. Если ориентироваться при отборе модели на доходность, то получаются хорошие решения. Таким образом можно построить рабочую модель.
Нейропрогноз сглаживаний на обучающей и тестовых выборках
Эксперимент MM_010.3
Теперь смотрим как ведет себя модель на тестовой и обучающей выборках. Эксперимент проводим при разных сглаживаниях на 100 эпохах обучения.
Теперь смотрим как ведет себя модель на тестовой и обучающей выборках. Эксперимент проводим при разных сглаживаниях на 100 эпохах обучения.
На всех графиках видно, что модель сильно переучена.
Нейропрогноз сглаживаний с доходностью
Эксперимент MM_010.2
Теперь посмотрим на доходность которую может дать прогнозная модель.
Не удалось подтвердить предположение предыдущей статьи об уменьшении доходности в связи с увеличением коэффициента сглаживания. Точности прогноза хватает для постоянного роста доходности. Но нам еще предстоит получать серьезные рабочие модели с учетом тестовых выборок. Там предположение должно подтвердиться.
Теперь посмотрим на доходность которую может дать прогнозная модель.
Не удалось подтвердить предположение предыдущей статьи об уменьшении доходности в связи с увеличением коэффициента сглаживания. Точности прогноза хватает для постоянного роста доходности. Но нам еще предстоит получать серьезные рабочие модели с учетом тестовых выборок. Там предположение должно подтвердиться.
Теперь нужно смотреть как происходит процесс переобучения модели. Желательно это сделать с анализом доходности.
Нейропрогноз сглаживаний
Эксперимент MM_010.1
Теперь попробуем строить прогнозы для сглаженных рядов. Будем искать зависимость относительного сглаживания выхода от относительных сглаживаний входов. Как и ранее осуществляем перевод от нормального к равномерному распределению.
Результаты ниже.
Сглаживание 0,9
Теперь попробуем строить прогнозы для сглаженных рядов. Будем искать зависимость относительного сглаживания выхода от относительных сглаживаний входов. Как и ранее осуществляем перевод от нормального к равномерному распределению.
Результаты ниже.
Сглаживание 0,9
Сглаживание 0,5
Сглаживание 0,1
Сглаживание 0,01
Чем меньше коэффициент сглаживания, тем выше точность прогнозирования. Но при этом будет ниже доходность. Значит в будущих экспериментах понадобится оптимизировать модели для достижения лучшей доходности.
Нейропрогноз изменения
Эксперимент MM_010.0
Проводим простое обучение на всем ряде. Учим прогнозировать изменение в зависимости от изменений в предыдущем дне 5-ти входных рядов. Предварительно ряды приводим к равномерному распределению. Результаты ниже.
Проводим простое обучение на всем ряде. Учим прогнозировать изменение в зависимости от изменений в предыдущем дне 5-ти входных рядов. Предварительно ряды приводим к равномерному распределению. Результаты ниже.
Результат получается слабый. Что само собой разумеещееся.
Верхняя генетика полной модели (ищем на автомате и смотрим в тесте)
Эксперимент MM_009.0.4
Проводим эксперимент по полной модели. В верхней генетике ищем количество эпох и глубину обучения. Отборочная выборка от 900 до 1100. Тестовая выборка от 1100 до 1300.
Популяция в 20 элементов. Элемент это пошаговая модель из предыдущего эксперимента.
В качестве отчета по эксперименту смотрим на график изменения средней доходности по популяции сквозь эпохи для отборочной и тестовой выборок.
Проводим эксперимент по полной модели. В верхней генетике ищем количество эпох и глубину обучения. Отборочная выборка от 900 до 1100. Тестовая выборка от 1100 до 1300.
Популяция в 20 элементов. Элемент это пошаговая модель из предыдущего эксперимента.
В качестве отчета по эксперименту смотрим на график изменения средней доходности по популяции сквозь эпохи для отборочной и тестовой выборок.
Как видно из результатов, на лицо явное переобучение. Ползущий вверх график отборочной выборки не вытягивает за собой тестовый график. Модель не получена.
Необходимо вернуться к основам и найти метод получения хороших результатов на тесте.
Подписаться на:
Сообщения (Atom)
