Se si fosse investito in un certo portafogli recentemente o molti anni fa, che rendimento si sarebbe ottenuto? Quale sarebbe stata la volatilità e quali i massimi drawdown, ovvero la distanza osservata tra il picco più alto e quello più basso in un intervallo di tempo considerato? Per trovarle risposta a queste domande lo strumento oggi molto usato (quasi a sfiorare l’abuso) è il backtest.
Il backtest è una tecnica essenziale dell’analisi quantitativa, ma non è uno strumento di ricerca. Il backtest, infatti, non può essere paragonato ad un esperimento e non sempre garantisce la riproducibilità dei risultati. Se fatto bene permette però la verifica di alcune variabili, tra le quali l’entità dell’investimento, l’impatto dei costi e il comportamento di una strategia relativamente ad uno specifico scenario. Un backtest fatto bene può essere estremamente utile, ma è molto difficile da realizzare.
Il backtest non dovrebbe essere considerato uno strumento di ricerca, né tantomeno dovrebbe far parte del lavoro che precede la selezione di una strategia di investimento o di trading. Uno strumento di ricerca consiste nella specificazione di un modello, avente una certa capacità previsionale, che deve essere individuato prima di effettuare i backtest. Se si volesse creare una strategia di investimento in funzione di alcune variabili macroeconomiche dei mercati, ad esempio, si dovrà per prima cosa cercare di capire i motivi per cui determinati livelli raggiunti da quelle variabili causeranno movimenti degli strumenti finanziari. Soltanto dopo si dovrà andare a verificare, attraverso uno o più backtest, se i nessi di causalità ipotizzati, laddove sfruttati in passato, avrebbero permesso un ritorno finanziario positivo. Se il modello non funziona, si dovrà ricominciare da capo: sarà necessario definire un nuovo modello a partire da zero. Provare ad ottimizzare un modello che non funziona attraverso l’ottimizzazione dei suoi parametri è inutile e pericoloso: i backtest devono servire a scartare i modelli non funzionanti, non a migliorarli. Quindi, il backtest, quindi, è solo l’ultimo tassello del puzzle.
Esistono due modi per eseguire il backtest: manualmente (grazie ad un foglio di calcolo Excel, ad esempio) o automaticamente. Ad oggi, grazie alla diffusione di software facili e intuitivi da utilizzare, il calcolo è per lo più automatico.
Utilizzare dati casuali: non occorrono dati che dimostrino forzatamente una certa ipotesi. Il controllo di qualsiasi ipotesi o regola utilizzando dati casuali può aiutare a garantire che i risultati del test retrospettivo non siano stati distorti. Ad esempio, si può scegliere una scala temporale diversa o una coppia di monete simile come controprova.
Identificare le metriche, gli indicatori e i risultati chiave: utilizzare una serie di indicatori e metriche diversi, nonché più set di dati ogni volta che è possibile. Ciò migliorerà l’accuratezza dei risultati.
Cambiare la strategia: i risultati del backtest possono mostrare che l’attuale sistema di trading e la strategia non sono destinati a funzionare. Se ciò accade, bisogna essere pronti a cambiare strategia.Sorge quindi il bisogno di cercare nuove ipotesi importanti.
Non smettere mai di eseguire backtest: man mano che si fa trading emergono nuovi dati. Per assicurarsi che la strategie non diventi obsoleta, bisogna continuare a testare le vecchie e nuove ipotesi. Questo aiuterà a trovare nuove strategie e perfezionare quelle che reputi consolidate, per ottenere risultati sempre migliori.
Nel backtest, poiché si fa riferimento ai modelli di machine learning, i fenomeni del Look-Ahead Bias e dell’overfitting, che possono inficiare i risultati. I look-ahead bias avvengono quando si utilizzano informazioni o dati non ancora noti nel periodo analizzato. Di conseguenza, si ottengono risultati non accurati nello studio o nella simulazione. L’overfitting avviene quando un modello statistico molto complesso cerca di adattarsi ai dati osservati ma, poiché ha un numero eccessivo di parametri rispetto al numero di osservazioni, i risultati contengono delle falle.
Infatti, attraverso l’uso di dati veritieri, ma non pertinenti, la strategia risulta non completamente valida. Le performance con overfitting non sono necessariamente imputabili alla malafede dell’analista: nella maggioranza dei casi sono dovute ad una comprensione distorta del concetto di backtest e alla complessità nella programmazione di un algoritmo con un’ottica di più periodi. I motivi possono essere molteplici ma, per prima cosa, è necessario osservare che non è la strategia ad essere peggiorata improvvisamente: probabilmente buona non lo è mai stata. Quello che è successo è che si è cercato di modellare dei pattern causali con una strategia, validata dai backtest overfittati, che purtroppo non ha alcuna capacità previsionale. Uno dei problemi dei backtest di una strategia di investimento è che spesso non misurano le prestazioni della strategia in un’ottica multiperiodale, quanto quelle uniperiodali.
Anche ipotizzando di aver impostato un backtest in modo corretto, evitando cioè le distorsioni prodotte dal Look-Ahead Bias, la strategia di portafoglio potrebbe però avere un overfitting. Oppure, tra varie strategie non overfittate, si potrebbe aver overfittato la scelta della strategia (Look-Back Bias). Ecco perché i risultati dei backtest nell’attività di ricerca non dovrebbero configurarsi come un fondamento logico/scientifico della scelta di una strategia di investimento. L’overfitting e i backtest ingannevoli sono la causa di aspettative di rendimento e di rischiosità non realistiche. Queste aspettative non dureranno a lungo: la realtà non tarderà a manifestarsi ed a convincere l’investitore o l’analista che c’è qualcosa che non va. L’importante sarà non persistere nell’errore ma rendersi conto il prima possibile che la strategia che si sta utilizzando è ben lontana dal generare quei risultati che ci si aspettava.
