модели или отвергают их, крайне важно применять правильный метод оценивания: именно этот метод обладает наибольшей предсказательной силой и будет успешным в реальном трейдинге. При использовании неправильного или неподходяшего типа оценивания можно пропустить хорошую модель; что еше хуже, можно выбрать для торговли в реальном времени плохую модель.

При выборе типа оценки лучше всего руководствоваться принципом - «Будь внимателен, когда что-то просишь, потому что можешь это получить». Например, если критерием отбора является максимальная чистая прибыль, то будет отобрана модель, приносящая максимальную прибыль. В конечном счете, для трейдера важна именно прибыль. Тогда почему такая модель может быть плохой? Потому что одна лишь максимальная прибыль не является адекватным показателем качества торговой модели. Например, 60% этой максимальной чистой прибыли могли быть получены моделью на одной крупной сделке, которая (будем надеяться) может никогда больше не повториться, такой как короткая продажа во время Краха фондового рынка в октябре 1987 года. Или большая часть этой прибыли могла быть получена в первой половине тестового периода и могла маскировать катастрофические убытки во второй, более актуальной половине. Показатель одной только чистой прибыли игнорирует очень важное требование равномерности распределения прибылей.

Более того, поиск наибольшей чистой прибыли полностью игнорирует вопрос риска. Стратегия с максимальной чистой прибылью может также иметь очень большое и неприемлемое проседание счета. Другой ее недостаток в том, что лучшая прибыль могла быть получена посредством очень небольшого числа сделок. Модель с таким набором сделок имеет ограниченную статистическую валидность.

Метод оценки исключительно по чистой прибыли игнорирует многие важные характеристики, которые необходимо учитывать при выборе топ-модели, обладающей наибольшей предсказательной способностью в отношении будущей реальной прибьши. Подчеркнем некоторые из ключевых характеристик настоящей топ-модели:

• Равномерное распределение сделок.

• Равномерное распределение прибыли.

• Приемлемый риск.

• Статистическая валидность.

Тип оценки должен быть разработан для отбора наиболее устойчивой и стабильной торговой модели, которая не обязательно будет самой прибыльной. Мы выбрали в качестве типа опенива-ния чистую прибыль, чтобы осветить некоторые факторы, влияющие на устойчивость модели.

Неправильный тип оценки может фактически и неумышленно привести в процессе оптимизации к подстройке. Метод оценивания, отбирающий модели не по их устойчивости, ставит под сомнение весь процесс тестирования. При реальном трейдинге устойчивая торговая модель скорее всего принесет прибьшь, а неустойчивая модель - убытки.

Выбор критериев оценки

В этом разделе приводятся различные критерии оценки, распространенные в большей или меньшей степени, а также краткие описания их сильных и слабых сторон.

Чистые прибьши и убытки - чистый выигрыш или проигрыш модели в долларах или каких-то других денежных единицах. Хотя трейдер стремится к максимально возможной прибыли, чистая прибыль, как единственный показатель - ненадежный метод оценки. На нее могут чрезмерно влиять отдельный крупный выигрыш или проигрыш. Она полностью игнорирует число и распределение сделок. Безусловно, чистая прибыль - важный элемент, и она может использоваться в качестве критерия допустимого минимума доходности. Например, учитывая проскальзывание и другие издержки, доходность $100 на сделку может считаться минимально приемлемым показателем.

Норма доходности - альтернативный способ выражения чистых прибылей и убытков и полезная мера эффективности модели, поскольку она облегчает сравнение различных временных периодов и разных инструментов. Однако в качестве метода оценивания она подвергается той же критике, что и чистая прибыль. Она полезна для установки минимальной цели, но неприемлема в качестве единственного показателя.

Максимальное проседание счета - показатель риска и важный показатель эффективности модели. Оно оценивается двумя способами: как долларовая величина крупнейшей последовательности убыточных сделок, или как наибольшее проседание кривой доходности. В любом случае оно представляет «защитный» критерий, поскольку ищет наименьший долларовый проигрыш, а не наи-

больший долларовый выигрыш. В качестве критерия оценки максимальное проседание обладает теми же слабыми сторонами, что и чистая прибыль, и поэтому неприемлемо в качестве единственного показателя. Максимальное проседание полезно в качестве порогового ограничения. Модели, превышаюшие определенное проседание, могут сразу исключаться из рассмотрения. Однако минимальное проседание является недостаточным в качестве единственного критерия: проседание равно нулю тогда, когда у модели нет проигрышных сделок, и, вероятнее всего, выигрышных тоже.

Корреляция между кривой доходности и идеальной прибылью (perfect profit) - критерий оценки, неявно включаюший распределение сделок. Более важно то, что этот показатель рассчитывает коэффициент полезного действия модели на основе реальных прибыльных возможностей, предоставляемых рынком.

Идеальная прибыль - это теоретический показатель рыночного потенциала, а именно, общая долларовая прибыль, получаемая в результате покупки каждой «впадины» и продажи каждого «пика», возникающих в ценовом движении. Очевидно, что данная задача невыполнима, откуда и название - идеальная прибыль. Математически она равна сумме разностей цен, взятых по модулю.

Кривая доходности модели - это накопленная стоимость всех совершенных сделок. Кривая доходности связана с идеальной прибылью стандартным статистическим показателем - коэффициентом корреляции, который находится в интервале между -1 и + 1. Значение -1 будет плохим, поскольку оно показывает, что при повышении идеальной прибыли размер счета снижается. Значение +1 является хорошим, так как свидетельствует о том, что по мере роста идеальной прибыли размер счета тоже растет. Формула коэффициента корреляции между идеальной прибылью и кривой собственности следующая:

Коэффициент корреляции п

Мх My SDx SDy

l(x(i)-Mx){yii)-My) = [(n-l)XSDx:XSD>] = ЧИСЛО дней в расчетном периоде = идеальная прибыль = кривая доходности = среднее значение идеальной прибыли = среднее значение кривой доходности = стандартное отклонение идеальной прибыли = стандартное отклонение кривой доходности

Чем корреляция между кривой доходности торговой модели и идеальной прибылью выше, то есть, ближе к +1, тем более эффективно модель использует рыночные возможности. Почему? Идеальная прибыль представляет собой куммуля-тивный показатель, а поэтому будет расти на протяжении всего торгового периода. Хорошая торговая модель будет также демонстрировать устойчивый рост кривой доходности. Если рынок становится спокойным, для роста идеальной прибыли будет характерна тенденция к повышению с меньшей скоростью. Лучшая модель также будет демонстрировать некоторую стабилизацию или медленный рост, вместо понижения кривой доходности в течение такого периода. Аналогично, когда рыночная волатильность находится на пиковом уровне, это будет отражено резким ростом идеальной прибыли. Лучшая модель будет также демонстрировать сильный рост прибыли, заметный по увеличению угла наклона кривой доходности.

В отличие от чистой прибыли, данный показатель будет отдавать предпочтение торговым моделям, дающим устойчивую прибьшь с тем же темпом, с каким растет идеальная прибыль, и не несушим крупных убытков, когда рост идеальной прибыли замедляется. Это отличный кандидат на роль единственного критерия. Это также хороший кандидат на роль порогового ограничения.

Пессимистическая доходность на маржу (The pessimistic return on margin, PROM) - это годовой доход на маржу, скорректированный на «пессимистическое допущение», согласно которому в реальной торговле система будет выигрывать меньше и проифы-вать больше, чем при тестировании.

PROM корректирует валовую прибыль путем вычисления новой, пессимистической, заниженной валовой прибыли. Первый Шаг - найти число выифышных сделок, уменьшенное на квадратный корень или скорректированное на свою стандартную ошибку. Это скорректированное число выифышных сделок далее умножается на среднюю выигрышную сделку, чтобы получить новую, заниженную валовую прибыль.

Затем PROM корректирует валовой убыток путем вычисления нового, пессимистического, завышенного валового убытка. Первый шаг - вычисляется количество проигрышных сделок, увеличенное на квадратный корень из себя или

скорректированное на свою стандартную ошибку. Затем это скорректированное число проигрышных сделок умножается на среднюю проигрышную сделку, чтобы получить новый, завышенный валовой убыток. Далее новые чистые прибыль и убыток вычисляются по этим скорректированным валовым прибыли и убытку. Это, в свою очередь, делается для получения годовой нормы доходности на маржу. Формула следующая:

PROM = [AW X (#wr - V#wf) - AL

#WT AW #LT AL

Скорректированное число выигрышей (A#WT) Скорректированное число проигрышей

Скорректированная валовая прибыль

Скорректированный валовой

убыток

PROM

X (#LT - V#lf)] / Маржа Число выигрышей Средний выигрыш Число проигрышей Средний проигрыш

#WT- V#wT

#LT + V#Lf

A#WTx Средн. выигрыш А#ЕТхСредн. проигрыш (AGP - AGL) / Маржа

Допустим, годовая валовая прибыль составляет $25,000, годовой валовой убыток - $10,000, и маржа $10,000. В соответствии со стандартными вычислениями, годовой доход на маржу составит 150% ([$25,000-$10,000)]/$10,000=1.5х100=150%). PROM даст заниженную оценку:

Скорректированное число выигрышей

Скорректированное число

проигрышей

Скорректированная

валовая прибыль

Скорректированны й

валовой убыток

PROM

PROM

25 - V25 = 20 15 + Vl5 = 19

($25,000/25) X 20 = $20,000 ($10,000/15) X 19 = $12,667

($20,000-$12,667)/$10,000 73.3%

На этом примере ясно показано, почему данный показатель называется пессимистическим. Он исходит из предположения, что торговая система не будет выигрывать в реальном времени так часто, как при тестировании, а нести убытки в реальном времени будет чаще, чем при тестировании. PROM отражает эти пессимистические допущения посредством корректировки чистой прибыли на стандартную ошибку. А раз так, он является более консервативным показателем. Его ценность также в том, что он включает число выигрышей и проигрышей.

PROM является достоверной мерой эффективности модели, поскольку учитывает валовую прибыль, средний выигрыш, валовой убыток, средний проигрыш, число выигрышей и число проигрышей. Как следует из его названия, PROM пессимистически взвешивает прибыль (путем ее уменьшения) и убыток (путем его увеличения).

Пессимистическая доходность на маржу - очень хороший и достоверный показатель эффективности торговой модели. Будучи «пессимистически» скорректированной, доходность на маржу также представляет хороший способ сравнения эффективностей различных торговых моделей.

Существует две более строгих производных от PROM - PROM минус максимальный выигрыш и PROM минус максимальная выигрышная серия. Как следует из их названий, эти показатели корректируют валовую прибыль еще в большей степени, чем PROM. PROM минус максимальный выигрыш устраняет из валовой прибыли максимальную единичную прибыль, а затем вычисляет PROM. Это более строгий показатель, чем PROM. Его самое большое достоинство в том, что он позволяет оценить торговую систему, устранив влияние максимальной выигрышной сделки, которая могла быть вызвана ценовым шоком. Там, где исключительно крупного выигрыша не было, этот показатель очень близок к PROM. Однако там, где крупный выигрыш был получен за счет Краха фондового рынка 1987 года, PROM минус максимальный выигрыш дает меру эффективности модели, исключающую такую непредсказуемую прибыль.

PROM минус максимальная выигрышная серия устраняет из валовой прибыли наибольшую последовательность прибылей, а затем вычисляет PROM. Это наиболее строгий показатель. Он