Look-Ahead bias
- Information
- Portafogli modello 3689 hits
- Prima pubblicazione: 28 Febbraio 2019
«Guys like us got nothing to look ahead to».
John Steinbeck
Negli articoli relativi ai Portafogli modello ed ai backtest abbiamo più volte richiamato l’attenzione sul pericolo del Look-Ahead Bias. Esso consiste nell’utilizzo di informazioni che non sarebbero state disponibili nel momento in cui ne facciamo uso. È come se a un certo punto si desse un’occhiata nel futuro per ottenere informazioni da utilizzare nel presente. Se è vero che lo posso fare in fase di backtest, perché il futuro in cui vado a sbirciare è pur sempre un passato rispetto ad oggi, è altrettanto vero che non potrò farlo nel momento in cui vorrò realmente investire: quelle informazioni stavolta non saranno accessibili; non sarà ancora accaduto quel futuro da cui vorrei attingerle. Per realizzare un backtest credibile non dobbiamo quindi incorrere in un errore del genere che, se commesso, inficia gravemente i risultati ottenuti.
Abbiamo pensato però di poter sfruttare questo fenomeno in nostro favore: se, in via del tutto teorica, disponessi di quelle informazioni e le potessi sfruttare, potrei scegliere proprio il portafoglio ottimale, quello che ottimizza la combinazione tra rendimento e volatilità del mio investimento. In fase di backtest sbirciare nel futuro è possibile e facendolo riesco ad ottenere un’informazione importante: la distanza che c’è tra i risultati dei backtest corretti e quelli distorti, ovvero l’impatto negativo in termini di indice di Sharpe (o di qualsiasi altra misura statistica) prodotto dalla stima imperfetta delle informazioni mancanti. Se questa distanza è piccola, vuol dire che le mie stime sono ottime; se è grande, è vero il contrario.
Potrei utilizzare lo stesso stratagemma anche in fase di scelta dei fondi dai clusters: le selezioni sono infatti basate su informazioni passate. Sbirciando nel futuro potrei invece selezionare quei fondi che sono risultati migliori non tanto nel periodo antecedente alla selezione ma in quello successivo. In questo caso l’inganno del backtest sarebbe ancora più evidente. Non ci occuperemo di questa fattispecie di Look-Ahead Bias.
Il backtest distorto, o più propriamente "ingannevole" (così lo definiremo da qui in avanti), ci permetterà quindi di conoscere il limite superiore della nostra strategia, il risultato migliore che potremmo raggiungere in linea puramente teorica se tutte le nostre stime si rivelassero corrette. In maniera analoga, possiamo conoscere anche il limite inferiore della nostra strategia, ovvero il peggior risultato che essa potrebbe generare. L’ipotesi utilizzata sarà quella di perdere, ogni anno, una percentuale pari al CVaR annualizzato del portafoglio, calcolato su tutta la serie storica: è un'ipotesi realizzabile in linea teorica anche se la probabilità che ciò accada, vista la lunghezza del periodo analizzato, è infinitesimale. Sicuramente è un'ipotesi che non si verificherebbe con la linearità evidenziata nel grafico, ma in questo contesto vogliamo semplicemente dare un’idea della perdita massima nel caso in cui fossimo estremamente sfortunati.
Abbiamo testato alcuni modelli di ottimizzazione dei Portafogli modello attraverso backtest ingannevoli e corretti. Per i portafogli misti sono stati testati 14 modelli; per i portafogli totalmente azionari, bilanciati ed obbligazionari 10 modelli. I backtest sono stati eseguiti su portafogli composti da 8 e da 15 fondi. Il grafico delle equity line ("curve dei profitti" in italiano) di 4 dei suddetti modelli (DCC GARCH, GO-GARCH, Boudt rischio medio e Boudt CVaR) e delle relative perdite estreme è visibile poco sotto. Le linee del grafico sottostante possono essere considerate come i limiti superiori e inferiori dei guadagni e delle perdite di ognuno dei 4 modelli rappresentati. Visualizzare un numero superiore di modelli avrebbe appesantito eccessivamente il grafico senza aggiungere informazioni rilevanti.
Backtest distorto/ingannevole di 4 modelli di ottimizzazione
Per valutare la bontà delle stime abbiamo effettuato le seguenti operazioni:
- calcolato il rapporto tra le performance ottenute in modo corretto e quelle ottenute in modo ingannevole (per ogni modello)
- calcolato la media dei valori ottenuti dai modelli per tipologia di portafoglio (misto, azionario, obbligazionario e bilanciato)
I risultati sono i seguenti:
| Tipologia di analisi (22 nov 2004 - 31 dic 2018) | Rendim. annual. | Dev. Std. annual. | Indice di Sharpe annual. | Rendim. cumulato | Peggior Drawdown | Drawdown medio | Lunghezza media Drawdown | Periodo medio recupero | Indice di Hurst | VaR (95%) | CVaR (95%) | Indice di Sortino |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Media portafogli misti (15) | 42,85% | 89,27% | 54,93% | 35,35% | 188,76% | 124,59% | 205,33% | 265,64% | 96,43% | 106,77% | 164,21% | 53,66% |
| Media portafogli azionari (15) | 51,03% | 103,26% | 49,20% | 37,80% | 111,00% | 141,69% | 189,93% | 207,61% | 100,32% | 106,41% | 117,01% | 53,24% |
| Media portafogli obbligaz. (15) | 48,92% | 86,40% | 62,41% | 43,37% | 186,72% | 120,67% | 149,77% | 148,26% | 94,91% | 109,51% | 216,52% | 58,21% |
| Media portafogli bilanciati (15) | 55,57% | 85,89% | 65,60% | 49,96% | 120,40% | 101,98% | 124,24% | 135,76% | 96,50% | 90,06% | 89,45% | 64,85% |
| Media portafogli misti (8) | 41,94% | 101,23% | 46,01% | 36,58% | 192,43% | 147,48% | 228,85% | 307,06% | 104,39% | 106,19% | 129,24% | 45,63% |
| Media portafogli azionari (8) | 54,30% | 103,70% | 52,27% | 42,16% | 110,88% | 137,74% | 173,61% | 184,06% | 104,35% | 104,69% | 110,24% | 56,91% |
| Media portafogli obbligaz. (8) | 57,52% | 90,93% | 68,03% | 52,61% | 150,20% | 128,06% | 143,22% | 150,13% | 94,19% | 109,90% | 177,36% | 63,07% |
| Media portafogli bilanciati (8) | 63,60% | 86,58% | 74,06% | 58,41% | 106,22% | 102,25% | 122,76% | 135,35% | 91,36% | 95,53% | 126,07% | 72,73% |
L'indice di Sharpe dei backtest corretti ha un valore del 55-60% circa di quello ingannevole. Si constata come i portafogli meno rischiosi (obbligazionari e bilanciati) ottengano i risultati migliori in questo senso. Le percentuali superiori al 100% si hanno per quegli indicatori che i backtest ingannevoli hanno fatto diminuire: drawdown, periodo di recupero, VaR e CVaR.
In definitiva possiamo quindi affermare che l’errore medio delle stime comporta una perdita potenziale nel lungo termine di circa il 40-45% dell’indice di Sharpe. Questo esercizio riesce forse a fare un po' di luce proprio su quanto l'errore nella stima dei momenti futuri dei rendimenti di un portafoglio influisca sulle sue future performance.
Dato che questo errore è presente in qualsiasi modello di ottimizzazione (non importa quanto buono esso sia), sarà inutile cercare di eliminarlo del tutto. Un errore pari a 0 non potrà mai essere raggiunto e costituisce un obiettivo forse nemmeno avvicinabile. Una perdita potenziale nel lungo termine di circa il 40-45% dell’indice di Sharpe massimo a livello teorico è un risultato che sembra quindi essere più che soddisfacente.
REGISTRATI
SOTTOSCRIVI
