Look-Ahead bias

Look-Ahead bias


08Lug2019

Information
Andrea Portafogli modello 214 hits
Prima pubblicazione: 28 Febbraio 2019

«Guys like us got nothing to look ahead to».

John Steinbeck

Negli articoli relativi ai Portafogli modello ed ai backtest abbiamo più volte richiamato l’attenzione sul pericolo del Look-Ahead Bias. Esso consiste nell’utilizzo di informazioni che non sarebbero state disponibili nel momento in cui ne facciamo uso. È come se a un certo punto si desse un’occhiata nel futuro per ottenere informazioni da utilizzare nel presente. Se è vero che lo posso fare in fase di backtest, perché il futuro in cui vado a sbirciare è pur sempre un passato rispetto ad oggi, è altrettanto vero che non potrò farlo nel momento in cui vorrò realmente investire: quelle informazioni stavolta non saranno accessibili; non sarà ancora accaduto quel futuro da cui vorrei attingerle. Per realizzare un backtest credibile non dobbiamo quindi incorrere in un errore del genere che, se commesso, inficia gravemente i risultati ottenuti.

Abbiamo pensato però di poter sfruttare questo fenomeno in nostro favore: se, in via del tutto teorica, disponessi di quelle informazioni e le potessi sfruttare, potrei scegliere proprio il portafoglio ottimale, quello che ottimizza la combinazione tra rendimento e volatilità del mio investimento. In fase di backtest sbirciare nel futuro è possibile e facendolo riesco ad ottenere un’informazione importante: la distanza che c’è tra i risultati dei backtest corretti e quelli distorti, ovvero l’impatto negativo in termini di indice di Sharpe (o di qualsiasi altra misura statistica) prodotto dalla stima imperfetta delle informazioni mancanti. Se questa distanza è piccola, vuol dire che le mie stime sono ottime; se è grande, è vero il contrario.

Potrei utilizzare lo stesso stratagemma anche in fase di scelta dei fondi dai clusters: le selezioni sono infatti basate su informazioni passate. Sbirciando nel futuro potrei invece selezionare quei fondi che sono risultati migliori non tanto nel periodo antecedente alla selezione ma in quello successivo. In questo caso l’inganno del backtest sarebbe ancora più evidente. Non ci occuperemo di questa fattispecie di Look-Ahead Bias.

Il backtest distorto, o più propriamente "ingannevole" (così lo definiremo da qui in avanti), ci permetterà quindi di conoscere il limite superiore della nostra strategia, il risultato migliore che potremmo raggiungere in linea puramente teorica se tutte le nostre stime si rivelassero corrette. In maniera analoga, possiamo conoscere anche il limite inferiore della nostra strategia, ovvero il peggior risultato che essa potrebbe generare. L’ipotesi utilizzata sarà quella di perdere, ogni anno, una percentuale pari al CVaR annualizzato del portafoglio, calcolato su tutta la serie storica: è un'ipotesi realizzabile in linea teorica anche se la probabilità che ciò accada, vista la lunghezza del periodo analizzato, è infinitesimale. Sicuramente è un'ipotesi che non si verificherebbe con la linearità evidenziata nel grafico, ma in questo contesto vogliamo semplicemente dare un’idea della perdita massima nel caso in cui fossimo estremamente sfortunati.

Abbiamo testato alcuni modelli di ottimizzazione dei Portafogli modello attraverso backtest ingannevoli e corretti. Per i portafogli misti sono stati testati 14 modelli; per i portafogli totalmente azionari, bilanciati ed obbligazionari 10 modelli. I backtest sono stati eseguiti su portafogli composti da 8 e da 15 fondi. Il grafico delle equity line ("curve dei profitti" in italiano) di 4 dei suddetti modelli (DCC GARCH, GO-GARCH, Boudt rischio medio e Boudt CVaR) e delle relative perdite estreme è visibile poco sotto. Le linee del grafico sottostante possono essere considerate come i limiti superiori e inferiori dei guadagni e delle perdite di ognuno dei 4 modelli rappresentati. Visualizzare un numero superiore di modelli avrebbe appesantito eccessivamente il grafico senza aggiungere informazioni rilevanti.

Look Ahead bias 1

Backtest distorto/ingannevole di 4 modelli di ottimizzazione

Per valutare la bontà delle stime abbiamo effettuato le seguenti operazioni:

  • calcolato il rapporto tra le performance ottenute in modo corretto e quelle ottenute in modo ingannevole (per ogni modello)
  • calcolato la media dei valori ottenuti dai modelli per tipologia di portafoglio (misto, azionario, obbligazionario e bilanciato)

I risultati sono i seguenti:

Tipologia di analisi
(22 nov 2004 - 31 dic 2018)
Rendim.
annual.
Dev. Std.
annual.
Indice di Sharpe
annual.
Rendim. cumulatoPeggior DrawdownDrawdown medioLunghezza media 
Drawdown
Periodo medio
recupero
Indice di HurstVaR (95%)CVaR
(95%)
Indice di Sortino
Media portafogli misti (15) 42,85% 89,27% 54,93% 35,35% 188,76% 124,59% 205,33% 265,64% 96,43% 106,77% 164,21% 53,66%
Media portafogli azionari (15) 51,03% 103,26% 49,20% 37,80% 111,00% 141,69% 189,93% 207,61% 100,32% 106,41% 117,01% 53,24%
Media portafogli obbligaz. (15) 48,92% 86,40% 62,41% 43,37% 186,72% 120,67% 149,77% 148,26% 94,91% 109,51% 216,52% 58,21%
Media portafogli bilanciati (15) 55,57% 85,89% 65,60% 49,96% 120,40% 101,98% 124,24% 135,76% 96,50% 90,06% 89,45% 64,85%
Media portafogli misti (8) 41,94% 101,23% 46,01% 36,58% 192,43% 147,48% 228,85% 307,06% 104,39% 106,19% 129,24% 45,63%
Media portafogli azionari (8) 54,30% 103,70% 52,27% 42,16% 110,88% 137,74% 173,61% 184,06% 104,35% 104,69% 110,24% 56,91%
Media portafogli obbligaz. (8) 57,52% 90,93% 68,03% 52,61% 150,20% 128,06% 143,22% 150,13% 94,19% 109,90% 177,36% 63,07%
Media portafogli bilanciati (8) 63,60% 86,58% 74,06% 58,41% 106,22% 102,25% 122,76% 135,35% 91,36% 95,53% 126,07% 72,73%

L'indice di Sharpe dei backtest corretti ha un valore del 55-60% circa di quello ingannevole. Si constata come i portafogli meno rischiosi (obbligazionari e bilanciati) ottengano i risultati migliori in questo senso. Le percentuali superiori al 100% si hanno per quegli indicatori che i backtest ingannevoli hanno fatto diminuire: drawdown, periodo di recupero, VaR e CVaR.

In definitiva possiamo quindi affermare che l’errore medio delle stime comporta una perdita potenziale nel lungo termine di circa il 40-45% dell’indice di Sharpe. Questo esercizio riesce forse a fare un po' di luce proprio su quanto l'errore nella stima dei momenti futuri dei rendimenti di un portafoglio influisca sulle sue future performance.

Dato che questo errore è presente in qualsiasi modello di ottimizzazione (non importa quanto buono esso sia), sarà inutile cercare di eliminarlo del tutto. Un errore pari a 0 non potrà mai essere raggiunto e costituisce un obiettivo forse nemmeno avvicinabile. Una perdita potenziale nel lungo termine di circa il 40-45% dell’indice di Sharpe massimo a livello teorico è un risultato che sembra quindi essere più che soddisfacente.

Performance dei Portafogli modello

Pagina principale dei Portafogli modello

Scegli che tipo di utilizzatore vuoi essere

FREE

Gratis senza
registrazione
Portafogli Modello:
nessuno
Portafogli Personali:
nessuno
Backtest Strategie
limitate
Segnali giornalieri
non disponibili
Download
non disponibile
CAPTCHA
presente

BASIC

Gratis con
registrazione
Portafogli Modello:
nessuno
Portafogli Personali:
1
Backtest Strategie
limitate
Segnali giornalieri
non disponibili
Download
disponibile
CAPTCHA
presente

PRO
Mensile

49 € IVA compresa

Portafogli Modello:
52
Portafogli Personali:
illimitati
Backtest Strategie
illimitate
Segnali giornalieri
disponibili
Download
disponibile
CAPTCHA
assente

PRO
Annuale

490 € IVA compresa

Portafogli Modello:
52
Portafogli Personali:
illimitati
Backtest Strategie
illimitate
Segnali giornalieri
disponibili
Download
disponibile
CAPTCHA
assente

Disclaimer

Tutti i tipi di investimento sono rischiosi. Il livello di rischio può essere più o meno alto e i rendimenti possono variare al rialzo o al ribasso. Ogni investimento è soggetto al rischio di perdita.
I rendimenti passati non sono indicativi di quelli futuri.