Backtest

Il Backtest: la misura della performance di una strategia


Se avessimo investito nei portafogli modello 5, 10 o 15 anni fa che rendimento avremmo ottenuto? Quale sarebbe stata la volatilità e quali i massimi drawdown? Dedalo Invest non esisteva ma le risposte a queste domande sì. Per trovarle abbiamo bisogno di uno strumento oggi molto usato ed abusato: il backtest.

Di backtest abbiamo già parlato nell'articolo attinente ai portafogli modello, nella sezione relativa alla verifica dei modelli e delle strategie. In particolare, sono stati introdotti i fenomeni del Look-Ahead Bias, del Look-Back Bias e dell'overfitting, che possono inficiare in maniera considerevole i risultati dei backtest. Adesso approfondiremo l'argomento e mostreremo come sia facile utilizzare dati veritieri ma non pertinenti per far passare come miracolosa una strategia che in realtà non lo è affatto. Anche quando una strategia è buona o ottima, come riteniamo essere quella che genera i portafogli modelli di Dedalo Invest, i risultati dei backtest potrebbero essere drasticamente migliorati grazie ad alcuni escamotage. Prenderemo spunto proprio dai portafogli modello di Dedalo Invest per presentare due risultati: la loro reale performance storica e la considerevole differenza tra performance reale ed overfittata. Tutte queste informazioni saranno infatti pubblicate e consultabili sul sito di Dedalo Invest.

Le performance overfittate non sono necessariamente imputabili alla malafede dell'analista: nella maggioranza dei casi sono probabilmente da imputarsi ad una comprensione distorta del funzionamento dei backtest e dall'assenza di disponibilità di un programma per la loro realizzazione in un'ottica multiperiodale. Gli effetti di backtest overfittati sono ben noti a chiunque si sia cimentato almeno una volta in un investimento finanziario o nella compravendita di azioni: tantissimo tempo impiegato per trovare la giusta strategia di investimento (o di trading) che, una volta mandata a mercato con soldi reali, si rivela molto poco producente, se non addirittura perdente. L'aspettativa di ottimi rendimenti generata dagli eccellenti esiti dei backtest si trasforma in delusione. A questo punto l'analista torna di solito a lavorare sulla strategia iniziale apportando alcuni accorgimenti che, se fossero stati implementati da subito, avrebbero evitato i pessimi risultati ottenuti. Si torna quindi ad investire soldi reali nel mercato e, purtroppo, dopo un certo periodo di tempo ci si accorge che la messa a punto della strategia non è stata fruttuosa. E si torna quindi a modificarla: è un circolo vizioso senza via d'uscita.

Perché questo accade? Come è possibile che una strategia che avrebbe prodotto ottimi rendimenti fino ad oggi diventi improvvisamente scarsa? E, guarda caso, proprio nel momento in cui si decide di testarla sul mercato e dopo ogni aggiustamento? I motivi possono essere molteplici ma per prima cosa è doveroso osservare che non è la strategia ad essere peggiorata improvvisamente: probabilmente buona non lo è mai stata. Ciò che ci ha illuso sono stati i risultati dei backtest che potrebbero essere stati effettuati in modo scorretto: non hanno misurato le prestazioni della strategia quanto quelli uniperiodali del portafoglio ottimizzato (non ci occuperemo di strategie di trading).

Ipotizzando di aver impostato un backtest in modo corretto, ovvero che non abbia sbirciato nel futuro (evitando cioè la distorsione prodotta dal Look-Ahead Bias), ciò che è accaduto è che, probabilmente, abbiamo overfittato una strategia di portafoglio. Oppure, tra varie strategie non overfittate, abbiamo overfittato la scelta della strategia (Look-Back Bias). O forse, se anche questo non è successo, non abbiamo effettuato un backtest in un'ottica multiperiodale. Il risultato, in ogni caso, è che i nostri backtest ci dicono che la strategia applicata avrebbe prodotto ottimi risultati mentre così non è. Vediamo perché prendendo come esempio un portafoglio modello di Dedalo Invest che andremo ad analizzare.

Portafoglio modello: Misto, rischio molto basso, gestione attiva e passiva, composto da 15 fondi

Indicatore statisticoValore (backtest reale)
Periodo: 14 anni
Rendimento annualizzato 2,17%
Deviazione Standard annualizzata 1,73%
Indice di Sharpe annualizzato (Rf=0%) 1,2537
Rendimento cumulato 35,45%
Peggior Drawdown 9,02%
Drawdown medio 0,29%
Lunghezza media del Drawdown 18,48
Periodo medio di recupero 10,42
Indice di Hurst 0,312
VaR (95%) -0,19%
CVaR (Expected Shortfall) (95%) -0,37%
Indice di Sortino (MAR = 0%) 1,7077

In questa tabella vengono visualizzate le performance del portafoglio modello misto con le specifiche sopra indicate. Il backtest è stato condotto sul periodo compreso tra il 22 novembre 2004 e il 31 agosto 2018 e sono stati effettuati dei rinnovi/ribilanciamenti del portafoglio annuali, utilizzando ogni volta circa 5 anni di serie storiche per la selezione dei fondi e l'ottimizzazione del modello. Sono risultati buoni o modesti? Dipende dalle aspettative di ciascuno. In ogni caso sono dei risultati veri, ovvero quelli che si sarebbero ottenuti investendo nel portafoglio modello analizzato. Nel medio/lungo periodo ci possiamo quindi aspettare il ripetersi di questi risultati, con un piccolo margine verso l'alto o verso il basso, tenendo sempre bene a mente che aspettativa non è sinonimo di realizzazione.

Se avessimo riportato, invece, soltanto gli esiti degli ultimi 5 anni dell'ultimo portafoglio modello proposto (ovvero quello relativo al suo ultimo ribilanciamento/rinnovo), ci troveremmo di fronte a uno scenario completamente diverso. I risultati sarebbero notevolmente migliori come si può vedere dalla terza colonna della tabella sottostante (i valori più significativi sono i primi tre in quanto annualizzati e più facilmente confrontabili):

Indicatore statisticoValore (backtest reale)
Periodo: 14 anni
Valore (backtest overfittato)
Periodo: 5 anni
Rendimento annualizzato 2,17% 5,38%
Deviazione Standard annualizzata 1,73% 2,50%
Indice di Sharpe annualizzato (Rf=0%) 1,2537 2,1548
Rendimento cumulato 35,45% 29,97%
Peggior Drawdown 9,02% 4,76%
Drawdown medio 0,29% 0,31%
Lunghezza media del Drawdown 18,48 12,22
Periodo medio di recupero 10,42 6,66
Indice di Hurst 0,312 0,356
VaR (95%) -0,19% -0,26%
CVaR (Expected Shortfall) (95%) -0,37% -0,55%
Indice di Sortino (MAR = 0%) 1,7077 3,0217

Non c'è stata alcuna manipolazione dei dati. Il portafoglio modello suggerito dopo l'ultimo ribilanciamento/rinnovo ha effettivamente ottenuto questi risultati negli ultimi 5 anni. Sono però i risultati prodotti nel passato, proprio nel periodo di cui abbiamo utilizzato le serie storiche dei rendimenti per generare quel portafoglio specifico. E nel futuro quali risultati potremo aspettarci? Come già anticipato non possiamo saperlo, dal momento che il futuro è sconosciuto. Ma quasi sicuramente saranno in media più vicini a quelli prodotti dal backtest reale che a quelli prodotti dal backtest overfittato.

Vediamo adesso come è stato effettuato il backtest reale. Innanzitutto si è evitato di commettere l'errore di creare i clusters (ovvero i gruppi da cui poi vengono selezionai i fondi da inserire nel portafoglio nel momento della sua prima creazione ed ogni volta che si ha un ribilanciamento/rinnovo del portafoglio) con dati che non sarebbero stati a disposizione al momento dell'ottimizzazione dei pesi dei fondi in portafoglio (Look-Ahead Bias). Nell'asse temporale le fasi del primo periodo del backtest sono le seguenti:

Backtest

L'asse temporale mostra come i dati compresi tra il 3 gennaio 2000 e il 19 novembre 2004 siano stati usati per la scelta dei fondi da inserire in portafoglio, effettuata con l'ausilio della cluster analysis, e per l'ottimizzazione dei pesi dei fondi selezionati. Il backtest vero e proprio è invece effettuato sul periodo che va tra il 22 novembre 2004 e il 9 novembre 2005, data in cui avverrà il primo ribilanciamento del portafoglio. Gli indicatori statistici dei backtest reali non vengono quindi mai calcolati su periodi temporali che comprendono le serie storiche utilizzate per la scelta e l'ottimizzazione dei fondi (freccia verso sinistra nell'asse temporale soprastante), bensì su quelli successivi a questa fase (freccia verso destra).

Il secondo periodo del backtest è strutturato in modo similare:

Backtest 2

Anche stavolta 5 anni di dati vengono utilizzati per selezionare ed ottimizzare i fondi inseriti in portafoglio (dal 21 dicembre 2000 al 9 novembre 2005). L'anno successivo sarà quello del backtest effettivo. La serie storica dei rendimenti del portafoglio modello che stiamo backtestando è quindi formata adesso da quelli realizzati nel periodo 22 novembre 2004 - 9 novembre 2005 (periodo precedente) e quelli ottenuti nel periodo appena backtestato (10 novembre 2005 - 30 ottobre 2006).

Il terzo periodo del backtest sarà strutturato in modo del tutto analogo ai precedenti. Proseguendo ancora si arriverà fino all'ultimo periodo backtestato, quello compreso tra il 27 luglio 2017 e il 31 agosto 2018:

Backtest 3

La serie storica dei rendimenti dei portafogli modello generati dalla nostra strategia di investimento è ora completa (ignoriamo per il momento il periodo successivo al 31 agosto 2018). Su questa serie storica abbiamo calcolato gli indicatori statistici riportati nelle tabelle precedenti (backtest reale). Più che il backtest di un portafoglio modello quello che abbiamo effettuato è il backtest della strategia di investimento sottostante: non ci importa sapere il rendimento o la volatilità di un certo portafoglio nel passato; ci interessa piuttosto conoscere quello che possiamo aspettarci da una strategia di investimento in futuro. Siccome ogni portafoglio è realizzato in base alla nostra strategia di investimento, il backtest completo di questa serie di portafogli misura statisticamente la bontà della strategia.

L'overfitting e i backtest ingannevoli sono la causa di aspettative di rendimento (e di rischiosità) non realistiche. Queste aspettative sono basate su un'illusione che non durerà a lungo: la realtà non tarderà a manifestarsi ed a convincere l'investitore o l'analista che c'è qualcosa che non va. L'importante sarà non persistere nell'errore ma rendersi conto il prima possibile che la strategia che si sta utilizzando è ben lontana dal generare quei risultati che illusoriamente ci aspettavamo.

Vai alla pagina principale dei Portafogli modello

Versione Beta

Dedalo Invest è in versione beta: stiamo lavorando per testare le funzionalità del sito e per completarlo il prima possibile. Dedalo Invest viene costantemente aggiornato.
L'accesso ad ogni sezione del sito è gratuito fino al lancio della versione build. Per attivare tutte le funzioni disponibili si prega di registrarsi e di contattarci direttamente.

Richiedi attivazione

Scegli che tipo di utilizzatore vuoi essere

FREE

Gratis senza
registrazione
Analisi e backtest Strategie
limitate
CAPTCHA
presente
Portafogli Personali:
nessuno
Portafogli Modello:
nessuno

BASIC

Gratis con
registrazione
Analisi e backtest Strategie
limitate
CAPTCHA
presente
Portafogli Personali:
1
Portafogli Modello:
nessuno

PRO

Contattaci

Analisi e backtest Strategie
illimitate
CAPTCHA
assente
Portafogli Personali:
illimitati
Portafogli Modello:
52