Матрица решения

Если средняя прибыльность системы отрицательна, то система плохая. Дальнейшее тестирование не требуется. Вернитесь к стадии разработки. Однако если при переоценке системы определено, что диапазоны сканирования переменных были слишком узкими для адекватной оценки эффективности, то установите их правильно и повторите мультипериодную мультирыночную оптимизацию.

Если и пиковая, и средняя эффективность по прежнему остаются на предельно-допустимом уровне, данная система сомнительна и ее ценность, по всей вероятности, невелика. Желательно, чтобы каждый оптимизационный тест давал по меньшей мере небольшой процент прибыльных и предельно-допустимых по прибыльности тестовых результатов. Именно поэтому очень важно оценивать оптимизацию как по пиковой эффективности модели, так и по средней эффективности. Вероятно, при дальнейшем тестировании удастся выделить лишь остров хороших результатов. Вернитесь к стадии разработки.

Если средняя эффективность торговой системы соответствует критерию прибыльности, имеет приемлемый риск и выигрывает по сравнению с другими инвестиционными возможностями, система замечательна. Теперь данную торговую систему необходимо подвергнуть окончательному и решающему тесту: форвардному анализу Переходите к последнему тесту

Форвардный тест

Что такое форвардный тест? Это двухшаговый процесс. Первый шаг состоит из традиционной оптимизации, описанной в предыдущих разделах. Сканируются параметры торговой модели. Значения параметров топ-модели оцениваются не только по прибыльности. Именно второй шаг характерезует форвардный анализ и является источником его необычных признаков.

Этот шаг является критерием оценки постоптимизационной эффективности. Совокупность значений параметров «лучшей» модели, найденная на первом шаге и определяемая целевой функцией, тестируется на дополнительном, смежном отрезке ценовой истории. Другими словами, топ-модель тестируется посредством имитации реальной торговли.

Повторим, что форвардный тест состоит из двух шагов. Сначала торговая модель оптимизируется на некотором историчес-

ком отрезке. Затем она «торгует» на новом отрезке истории. Такой тип тестирования также известен как вневыборочное тестирование или слепое тестирование. Форвардный тест - единственный метод, обеспечивающий точную картину постоптимизационной эффективности торговли.

Цель форвардного теста

У форвардного теста три основных цели. Первые две имеют важное значение для завершения успешного цикла тестирования и оптимизации. Третья цель дает уникальную и очень полезную информацию, обеспечивающую достаточно точные измерения ожвданий прибыли и риска для реальной торговли.

Основная цель форвардного теста - определить, реальна ли эффективность оптимизируемой торговой модели или она является результатом подстройки. Эффективность торговой модели считается «реальной», если модель имеет предсказательную ценность или может эффективно реагировать на непредврщенное рыночное движение. Форвардный анализ также является методом определения того, какие параметры будут работать в будущем. Модель может быть хорошей, но не всегда могут быть найдены правильные ее параметры. Модель, разработанная должным образом, должна приносить прибыль в реальной торговле, в определенной степени соразмерной прибылям, полученным в процессе оптимизации. Если вы собираетесь использовать модель в реальной торговле, сначала она должна пройти форвардный тест.

Вторая цель форвардного теста - определить качество фактического оптимизационного процесса. Есть свидетельства, что даже хорошая модель может быть подстроена. Это могло произойти в результате ограничения степеней свободы слишком многими правилами, использования недостаточно большой выборки данных, сканирования слишком многих переменных или сканирования переменной очень мелким шагом.

Форвардный тест дает уникальную меру эффективности, называемую форвардным показателем эффективности (walk-forward efficiency). Этот показатель сравнивает годовую норму постоптимизационной прибыли с нормой прибыли выборочной оптимизации. В разделе «Какую норму прибыли следует ожидать?» этой главы показано, как вычислять форвардный показатель эффективности.

Модель является подстроенной, если она имеет низкий форвардный показатель эффективности; другими словами, ее форвардные результаты явно ниже результатов выборочного теста. Эта проблема решается путем диагностики и устранения одной из четырех причин подстройки, перечисленных ранее.

Если низкий форвардный показатель эффективности не связан с очеввдной ошибкой, которая может быть исправлена, модель должна быть оценена так, как есть. Если торговая модель демонстрирует более низкую форвардную эффективность, трейдер должен либо отказаться от нее, либо готовиться к принятию данного уровня доходности.

Это приводит к третьей цели форвардного теста: измерению прибыльности и риска модели для определения ожиданий относительно реальной торговли. Идеально разработанная и оптимизированная торговая модель будет иметь при вневыборочном или постоптимизационном трейдинге аналогичную норму прибыли, что и при выборочном или оптимизационном тестировании. Если ее эффективность при вневыборочном тестировании значительно ниже, это может быть знаком подстройки. Работоспособная торговая модель может превысить оптимизационную эффективность, если постоптимизационные рыночные условия обеспечивают больший потенциал прибыли, чем условия оптимизации.

Установни для форвардного теста

Форвардный тест - это двухшаговый процесс: первый шаг - оптимизация, второй - тестирование значений параметров топ-модели. Для форвардного теста необходимы диапазоны сканирования переменных, размер оптимизационного окна и размер торгового или тестового окна.

Размер оптимизационного окна определяется:

• доступностью данных;

• типом торговой системы;

• темпом торговли;

• релевантностью данных;

• долговечностью оптимизации.

Более того, размер оптимизационного окна может быть подобран эмпирически, путем проведения нескольких форвардных тестов посредством оптимизационных окон разного размера.

Другие факторы влияют на то, как долго можно будет торговать данной моделью до реоптимизации, или насколько большим должно быть торговое или тестовое окно. Эти факторы - последовательно изменяемые волатильность и свинги, сила и частота трендовых изменений, полнота модели.

Теоретически, если бы рыночные условия никогда не отличались от условий оптимизационного окна, повторная оптимизация модели вообше никогда бы не потребовалась. Однако на практике, с помощью модели, протестированной на двухлетних данных, можно торговать от трех до шести месяцев. Модель, построенная на данньгх за один год, может работать от одного до двух месяцев. Модель, построенная по шестимесячным данным, может оставаться работоспособной две-четыре недели. Форвардное торговое окно должно составлять приблизительно от 10% до 20% оптимизационного окна.

Пример форвардного теста

В качестве иллюстрации рассмотрим следующий пример сканирования двух переменных, выполненного для торговой системы под названием Blast, на 48-месячном оптимизационном окне ценовых данных по фьючерсам на S&P500:

Ценовая история: Фьючерс на S&P500

Размер

оптимизационного окна: 48 месяцев Исторический период: 01.07.1982 - 30.06.1986 Переменная покупки: Сканирование от О до 300 с шагом 20 Переменная продажи: Сканирование от О до 300 с шагом 20

Первый шаг форвардного теста осуществляет стандартное оптимизационное сканирование двух ключевьгх переменных модели на ценовых данных по S&P с 1 июля 1982 по 30 июня 1986. Затем компьютер просмотрит 256 кандидатур на роль лучшей модели, определенных в ходе этого сканирования двух переменных. С помощью критерия оценки будет выбрана топ-модель. Это стандартная оптимизация.

Второй шаг форвардного теста оценивает постоптимизационную эффективность топ-модели, найденной на первом шаге. Этот шаг добавляет новый отрезок ценовых данных, называемый «торговым окном» или «тестовым окном», к отрезку данных оп-

тимизационного окна. Параметры топ-модели тестируются на этом отрезке данных. Другими словами, топ-модель оценивается (или торгует) на ценовых данных, которые не являются частью данных первоначальной оптимизации. Этот тест будет выглядеть следующим образом:

Ценовая история: Торговое окно:

Исторический период торговли: Прибыль и убыток при оптимизации: Годовые прибыль и убыток при оптимизации: Проседание при оптимизации: Прибыль и убыток при торговле: Годовые прибыль и убыток при торговле:

Форвардная эффективность:

Фьючерс на S&P500 6 месяцев

01.07.1986- 31.12.1986

$47,390

$11,847

$6,175

$20,265

$40,530 341%

В данном примере топ-модель найдена с помощью оптимизации на 48-месячном периоде истории, и поэтому далее по ней идет форвардная торговля или тестирование на 6-месячном историческом периоде, непосредственно следующем за 48-месячным периодом оптимизации. Топ-модель принесла в течение 48-месячного оптимизационного теста прибыль $47,390, что соответствует годовой прибыли $11,847. В течение 6-месячного постоптимизационного теста модель принесла $20,265, что соответствует годовой прибыли $40,530.

Это впечатляет. Тем не менее, один успешный форвардный тест мог быть результатом случая, поэтому важно провести более обширный тест, называемый форвардным анализом. Форвардный анализ - это серия отдельных форвардных тестов. Чтобы быть статистически достоверным, он должен состоять из достаточно большого числа тестов.

Форвардный анализ

Форвардный анализ - это серия отдельных форвардных тестов на обширном и репрезентативном отрезке ценовой истории (См. рис. 7-5). Форвардный анализ имитирует способ, которым планируется торговать по оптимизируемой торговой системе. Говорится, что ме-

Настроить оптимизацию

Выбрать рынок

Выбрать форвардные окна

Выполнить форвардный анализ

Оценить результаты

Рис. 7-5. Форвардный анализ.

тод «идет вперед» оптимизации и торгует в окнах, состоящих из фиксированного числа единиц времени. Это число называется «шаговым окном». Первый шаг данной процедуры - отдельный форвардный тест на первом сегменте ценовой истории. Следующий шаг процедуры - другой форвардный тест на следующем сегменте ценовой истории. Далее этот процесс повторяется, пока не завершится исторический период, на котором проверяется торговля.

В тесте форвардного анализа дается оценка постоптимизационной эффективности торговой модели, что является одним из наиболее драматических моментов среди всех процедур тестирования. Форвардный анализ сравнивает постоптимизационные и оптимизационные результаты.Для сравнения используется совокупность результатов многих оптимизаций. На основе форвардного анализа от неприбыльной модели или модели, показавшей хорошие результаты при оптимизации и очень плохие при форвардном тесте, следует отказаться.