Главы     1     2     3     4     5     6     7     8     9     10     11     12     13     14     15   

Путь черепах

Глава 11 Ложь, грязная ложь и тестирование прошлого



Шарлатаны и негодяи прячутся в темных углах, поджидая тех, кто ничего не подозревает. Не становитесь их жертвами.

Все, кто хотя бы немного занимается трейдингом, наверняка видели подобные объявления, равно как и те, кто интересуется трейдингом и получает прямую рассылку по этой теме. Но берегитесь, покупатели: есть много шарлатанов, использующих безответственные маркетинговые тактики и нереалистичные результаты тестирования прошлого для продвижения своих новых изобретений.

Многие из поставщиков сознательно выстраивают системы, которые никогда не принесут доходности, сопоставимой с той, которую обещают в рекламе. Некоторые из них сознательно меняют условия тестов для того, чтобы заставить системы выглядеть лучше, чем они есть на самом деле. Безусловно, не все продавцы столь неразборчивы в средствах. Некоторые верят в то, что продаваемые ими системы будут работать, не понимая, что их системы ошибочны по сути, или не зная, что тестирование данных прошлого имеет свои ограничения, не позволяющие использовать исторические результаты для предсказания будущего. Безусловно, есть и те, кто умеет избегать ошибок, связанных с историческим тестированием. Однако такие продавцы составляют подавляющее меньшинство, и для неискушенного трейдера крайне сложно распознать системы, разработанные с использованием хороших методов тестирования.

Даже профессиональные трейдеры зачастую не знают причин, по которым на практике их системы работают гораздо хуже, чем при историческом моделировании. Они знают о существовании этого феномена и принимают его во внимание, однако не понимают его причин.

 

Трейдеры выделяют четыре основных источника расхождений между результатами исторического тестирования и реальной практики:

– Эффект трейдера: тот факт, что некий метод позволил кому-то заработать много денег, побуждает прочих трейдеров использовать сходные идеи. Чаще всего это приводит к тому, что метод перестает работать так же эффективно, как в самом начале.

– Случайные эффекты: успешные исторические результаты теста могут быть вызваны случайным стечением обстоятельств.

– Парадокс оптимизации: замена одного из параметров (например, использование 25-дневной скользящей средней по сравнению с 30-дневной в изначальной модели) снижает точность прогноза.

– Подгонка результатов или подгонка кривой: система может быть столь сложной, что окажется неприменимой для реальной практики. Система целиком базируется на ситуации прошлого, и небольшое изменение поведения рынка может привести к существенному искажению результатов ее использования.

 

 

    Эффект трейдера
    В физике есть понятие эффект наблюдателя – суть его заключается в том, что измерение явления иногда влияет на само явление; обозреватель нарушает чистоту эксперимента самим фактом обозревания. Неч...
    Эффект трейдера 2
    Что случилось с трейдерами из ACME, которые рассчитывали на перевес при прорыве? Они вошли в крупную позицию по причинам, отличным от тех, которые мог бы показать обратный (исторический) тест. Это...
    Случайные эффекты
    Большинство трейдеров не осознают степени, в которой результаты их работы могут зависеть от совершенно случайных факторов. А типичный инвестор осведомлен о ней еще меньше, чем типичный трейдер. Да...
    Гены удачи
    Суть случайных эффектов можно также понять, если изучить их присутствие в природе. Интеллект, рост, атлетическое сложение, способности к пению – все эти качества являются результатом действия случ...
    Плохие новости для инвесторов
    Если мы проведем расчеты по разделению групп фондов на успешные и недостаточно успешные, то обнаружим результат действия случайных эффектов. Причина этого заключается в том, что средних удачливых...
    Удача и время
    Со временем награда приходит к действительно отличным трейдерам, а не только к удачливым. Если 16 трейдеров удачливы на протяжении 10 лет, то по истечении следующих 15 лет их результаты будут, ско...
    Оптимизация
    Различия между результатами тестирования и реальной работы могут быть вызваны еще одной причиной, которую я называю парадоксом оптимизации. Парадокс часто вызывает путаницу, особенно среди трейдер...
    Парадокс оптимизации
    Парадокс оптимизации предполагает, что оптимизация параметра приводит к возникновению системы, которая с достаточной вероятностью будет эффективно работать в будущем, однако, скорее всего, не буде...
    Парадокс оптимизации 2
    Заметьте, что пиковыми для данной модели являются результаты при ширине канала, равной 2,4 величинам показателя стандартного отклонения. Любое значение входного порога, меньшее или большее 2,4 в р...
    Параметр количества дней в скользящей средней
    На рисунке 11-2 изображен график значений коэффициента MAR при изменении количества дней в скользящей средней (определяющего центр канала волатильности в ленте Боллинджера) со 150 до 500 дней. Зам...
    Основа для прогнозов
    Исторические тесты позволяют делать прогнозы, то есть показывают уровни эффективности, которых можно ожидать в будущем. Чем больше будущее напоминает прошлое, тем ближе результаты трейдинга будут...
    Основа для прогнозов 2
    В случае значения A любые изменения значения оптимального параметра влево от A приведут к ухудшению результативности, а любые изменения вправо – к улучшению результативности. Таким образом, тесты...
    Подгонка кривой
    Жулики часто используют другие методы для получения нереалистичных исторических результатов. Самые беспринципные из них сознательно подгоняют результаты под определенные кривые. Подгонку результат...
    Подгонка кривой 2
    Проблема в том, что это правило действует только один раз в ходе всего теста, в самом его конце; кроме того, я воспользовался моим знанием кривой капитала. Это говорит о том, что система сознатель...
    Важность размера выборки
    Как я уже говорил, люди склонны уделять слишком много внимания редким случаям возникновения какого-то феномена, несмотря на то что со статистической точки зрения из нескольких случаев невозможно и...