Валидация — удача или навык

Обновлено: 2026-08-14

Красивый P&L — необходимое, но не достаточное условие. Валидация отвечает на главный вопрос: «не повезло ли мне просто с этим куском истории?» Для решения достаточно смотреть вердикты; ниже — что делает каждый тест.

Trade bootstrap — Монте-Карло по сделкам

Ваши сделки — мешок с фишками; 1000 раз собираем из них случайную «альтернативную историю». На экране — веер из 50 кривых (жирная — реальный прогон) и плитки:

Profitable — доля симуляций в плюсе (95%+ — отлично);
Fragility — доля в нуле/минусе: robust (<15%) · acceptable (<30%) · fragile;
Sharpe med / 90% CI — медиана и интервал Sharpe симуляций;
Beat orig. — доля симуляций лучше реальности (почти все хуже = реальный порядок был необычно удачным).

Order-shuffle — перетасовка порядка

Суммарный P&L от порядка сделок не зависит, а просадка — очень. 2000 перемешиваний: Percentile — доля перемешиваний с просадкой не больше вашей. Вердикты: normal · elevated (≥80) · clustered (≥95) — убытки кучкуются, в плохие периоды стратегия проигрывает серийно, реальная просадка будет глубже бэктестовой. Отдельно то же — для длительности просадки в днях.

Block bootstrap — бутстрап блоками

Появляется, если найдена автокорреляция (ниже): обычный бутстрап рвёт серии и недооценивает риск, блочный пересобирает историю непрерывными кусками. Если его вердикт хуже — верьте худшему.

Significance & autocorrelation

p-value — шанс получить такую доходность случайно; SIGNIFICANT при p < 0.05 (NOT SIG = «мало данных», не приговор);
Sharpe 95% CI — накрывает ли интервал ноль;
Min trades needed — сколько сделок нужно при текущей силе эджа;
Ljung–Box — «слипаются» ли результаты в серии (CORRELATED = победы/поражения ходят полосами → смотрите block bootstrap, просадки будут затяжнее).

Benchmark baselines

Сравнение с «глупыми» базами: как часто выигрывал UP, что дал бы «купи UP и держи» (и DOWN), и alpha — насколько вы её обогнали. Не бьёте «купи-и-держи» — сложные правила пока не оправдываются.

Техническая сноска: Sharpe здесь аннуализируется по ×√252, а на «Результатах» — по ×√365, поэтому числа могут немного расходиться. Это разные линейки, а не ошибка: главным считайте Sharpe из «Результатов», здесь смотрите вердикты и интервалы.