Semplificazioni anomale, correlazioni spurie e backtest ingannevoli

«Se torturi i dati abbastanza a lungo, finiranno per confessare».

Ronald Coase

Nell’immagine sono illustrate le cosiddette semplificazioni anomale: ad esempio, 16/64 → “cancelli” il 6 → 1/4.

La procedura è matematicamente sbagliata, eppure il risultato finale è corretto: si tratta di una coincidenza legata alla particolare disposizione delle cifre. Applicando lo stesso procedimento ad altre frazioni, infatti, si otterrebbero quasi sempre risultati errati.

Il fatto che in alcuni casi l’operazione conduca alla soluzione giusta non rende quindi affidabile la regola utilizzata.

Possiamo fare un’analogia tra le semplificazioni anomale e la correlazione spuria: due serie storiche possono muoversi insieme per puro caso e, senza conoscere il processo che le genera, potremmo scambiare una relazione casuale per un legame causale («casuale» e «causale» sono due parole pericolosamente simili in italiano, dato che il loro significato è opposto).

Una correlazione osservata nei dati descrive il modo in cui due variabili si sono mosse in un determinato periodo, senza spiegare necessariamente perché lo abbiano fatto: le due serie potrebbero dipendere da un terzo fattore, essere influenzate dallo stesso contesto di mercato oppure essersi semplicemente mosse in maniera analoga per effetto del caso.

Nello stesso modo, anche un backtest può mostrare performance convincenti, pur essendo frutto di coincidenze o di scelte metodologiche discutibili.

Una strategia può apparire efficace perché è stata costruita intorno alle caratteristiche specifiche del campione analizzato, perché sono stati provati molti parametri prima di trovare la combinazione migliore o perché il periodo storico scelto è stato particolarmente favorevole.

In tutti questi casi, il risultato passato può essere formalmente corretto e allo stesso tempo non costituire alcuna prova della capacità predittiva della strategia.

Il rischio aumenta con il numero di tentativi effettuati: se si testano centinaia di indicatori, soglie e finestre temporali, aumenta la probabilità che alcune combinazioni producano risultati convincenti per puro caso.

Il problema riguarda quindi il processo attraverso cui quella specifica strategia è stata selezionata tra molte alternative, prima ancora della qualità del singolo backtest.

Questa analogia presenta ovviamente dei limiti: le semplificazioni anomale sono eventi deterministici e rari, cioè danno sempre lo stesso risultato nelle stesse condizioni. Sono, inoltre, facilmente identificabili come “sbagliate” anche da chi ha delle nozioni basilari di matematica.

Le correlazioni spurie, invece, sono fenomeni stocastici, dato che dipendono dal caso e dalla probabilità, e la loro frequenza varia in base a orizzonte temporale, dimensione del campione, numero di backtest e così via.

Sono anche, purtroppo, convincenti: una relazione osservata nei dati tende facilmente a essere interpretata un po’ da tutti come stabile o causale, anche quando non lo è.

Nei mercati finanziari, inoltre, le relazioni osservate possono cambiare nel tempo: una regola che ha funzionato in una certa fase potrebbe indebolirsi quando mutano i tassi d’interesse, la liquidità, il comportamento degli operatori o la struttura stessa del mercato.

Nei mercati proviamo incessantemente a trovare regole o strategie che permettano di anticipare gli andamenti futuri, anche quando le cause profonde di certi comportamenti sono sconosciute.

Eppure la mutevolezza di queste relazioni non ci scoraggia dal cercarle. La mancanza di una spiegazione causale, però, dovrebbe invitare a una grande prudenza nella loro applicazione: quasi sempre, infatti, queste strategie finiscono per non prevedere nulla.

Ci sono invece delle strategie che continuano a funzionare senza una spiegazione economica completa: in assenza di un meccanismo comprensibile, però, diventa più difficile capire quando la relazione potrebbe interrompersi, quali condizioni ne sostengano l’efficacia e quali rischi non siano visibili nel campione storico.

È altrettanto vero che una spiegazione basata su una logica economica – per quanto solida – non garantisce da sola che una strategia produrrà risultati positivi. Può però aiutare a distinguere un’ipotesi ragionevole da una semplice correlazione spuria e a definire meglio i contesti in cui la strategia dovrebbe essere valida.

Per questo motivo, l’analisi quantitativa e il ragionamento economico dovrebbero rafforzarsi a vicenda.

In definitiva, un risultato corretto dal punto di vista numerico non assicura che il metodo sia valido.

Le semplificazioni anomale ci ricordano che, anche nelle strategie attive, un backtest convincente può essere solo una coincidenza. Rendimenti elevati, drawdown contenuti e indicatori di rischio favorevoli descrivono ciò che la strategia avrebbe ottenuto – con il senno di poi – nel campione esaminato: una performance che nella realtà non si è mai verificata.

Il compito di un analista dovrebbe essere anche quello di saper distinguere tra una semplice eccezione fortuita e una regola che si conferma anche in periodi e contesti diversi.

A questo scopo sono utili verifiche di robustezza come test out-of-sample, variazioni dei parametri, test su periodi diversi e confronti su mercati differenti.

Nessuna verifica elimina del tutto l’incertezza, ma i risultati che rimangono coerenti al variare delle condizioni offrono basi più solide rispetto a una strategia che funziona soltanto con una configurazione precisa.

E di questi risultati, in finanza, purtroppo ce ne sono pochi.