Un buon modello trend spotting/following

[P.A.T.]

Non so se tra tutti i qui comparenti esista piena consapevolezza della rivoluzione epocale in corso, che non potrà avere ripercussioni anche nell'analisi delle serie storiche finanziarie e nella presa di coscienza dell'inadeguatezza del cervello umano per combattere ad armi pari contro l'intelligenza delle macchine che prendono decisioni autonome.

Altroche' principio di indeterminazione...qui occorre al piu' presto una quarta legge della robotica
"Ai robot e' vietato fare trading"

 

[Blacksmith.]

la rivoluzione epocale in corso, che non potrà avere ripercussioni anche nell'analisi delle serie storiche finanziarie

I giochi da tavola, come gli scacchi e la dama, sono spesso utilizzati per sperimentare i sistemi di intelligenza artificiale, perché hanno regole chiare e che non cambiano nel tempo

L'unica regola dei mercati finanziari è che non hanno regole.
Sono all'opposto di "regole chiare che non cambiano nel tempo".
E' proprio per questo che in finanza si può trovare "overfitting" ovunque.

L'unico invariante dei mercati finanziari è l'emotività umana: avidità, paure, etc.
E' la vera inefficienza da ricercare in un "buon modello di trend following".

Ora è stato anche assegnato un Nobel per l'economia, immediatamente criticato da chi ancora immagina di poter prevedere l'andamento dei mercati finanziari.

 

[Imar]

Rimaniamo sull'overfitting per esempio.
C'è la sacerdotessa PGiulia che praticamente ha fondato una religione dietro lo spauracchio del terribile e vendicativo Dio Overfitting. Un Dio che ovviamente comunica solo a lei il suo volere e quindi lei è la detentrice di questo sapere mistico di cui nessuno è degno. Tiene un thread nell'altro forum con migliaia di pagine solo per parlare di overfitting...Ma stiamo scherzando? Hai idea di quanta gente ha imbambolato con 'sta storiella?

Su una cosa, hai sostanzialmente ragione: in quel thread il termine overfitting assume significati diversi e non necessariamente rigorosi dal punto di vista statistico, la cosa venne già fatta notare con elegante ironia da Surcontre nel 2012, in altro thread della stessa sezione di quel forum.
Per quanto mi riguarda (but hey, it's just ME!), il discorso può essere riassunto dalla risposta che "l'ottimo Cren" diede 5 anni fà a Surcontre e che allego qui sotto, così non perdi tempo a cercarla. Ma - ripeto - altri partecipanti a quel thread hanno idee diverse sul fenomeno, il bello di quegli anni non è che abbiamo rivoluzionato il mondo della finanza, ma che siamo riusciti a parlare in modo piacevole e sperabilemente originale di quello "strano" fenomeno che affligge dilettanti e professioniti nel mondo del trading sistematico: sistemi con pochi gradi di libertà, creati con backtesting rigorosi e statisticamente ineccepibli, che - nondimeno - smettono di funzionare a mercato con trading reale.

Da un forum - credo - non bisognerebbe avere aspettative superiori ad un dialogo intellettualmente stimolante, su nessun argomento.....


Su un'altra cosa - se rivolta al sottoscritto - hai ragione al 100%: io non ho assolutamente l'1% della tua competenza (tua e di qualcun altro dei "vecchi" che si sono riaffacciati qui) in termini di reti neurali, ma il punto qui - sempre per me - non sono tanto le reti neurali quanto piuttosto la metodologia di sviluppo dei sistemi di trading.
Secondo me , ma io sono solo un anonimo nick da forum, non si parte MAI dal data mining, sia fatto esso con le vecchie ottimizzazioni tradestation-style o le reti neurali o qualunque altra diavoleria tecnologicamente cutting edge, ma con una ipotesi di esistenza di una inefficienza di qualche tipo, che può derivare da diverse regolamentazioni, diversa tecnologia a disposizione o anche solo da bias psicologici.

Ora ti dico io cos'è l'overfitting. Se prendi la certificazione sul machine learning che attualmente rilascia Stanford all'overfitting è dedicata una lezione o due. Tutto qui. Non 10 anni di fuffa in un thread, ma solo due lezioni. Perché se hai una qualche competenza universitaria di base l'overfitting è una scemata ecco la verità. E` pane quotidiano per migliaia di data scientist, non c'è niente di mistico o di misterioso.

Overfitting è quando un modello ha un alto potere previsionale sul suo training set ma poi non ha potere di generalizzazione e la sua performance crolla sui dati nuovi. Fine della storia.

Purtroppo, sapere cos'è l'overfitting in senso statistico (e 2 lezioni bastano senz'altro) non ti aiuta ad identificarlo ed eliminarlo dai tuoi modelli di trading. Puoi senz'altro validare una conclusione negativa (se la performance crolla su dati nuovi), ma non vale il contrario, che poi è quello che ci interessa: se lavori esclusivamente con metodi statistici, non potrai mai validare un risultato positivo, senza comprendere quale tipo di fenomeno stai sfruttando e perchè.
In sostanza, l'obiettivo è capire a chi stai spremendo soldi e perchè questi te li lasciano spremere ... ed a questo la statistica serve a poco.


Ps se leggo bene, Andrew ha fatto una virata a 180°...... amazing.....

 

[Cren]

In sostanza, l'obiettivo è capire a chi stai spremendo soldi e perchè questi te li lasciano spremere ...

Ecco, riassunto in una frase quello che volevo dire

 

[Paolo1956]

Ecco, riassunto in una frase quello che volevo dire

Sì, sarebbe bello, ma è una richiesta anche eccessiva. In fondo la mosca non ha bisogno di chiedersi perché gli umani fanno la cacca proprio lì.

Teniamo conto che noi muoviamo generalmente volumi estremamente bassi, che una inefficienza può essere il frutto dell'intersecarsi di strategie di per se stesse piuttosto efficienti, ma che generano un insieme instabile, che la stessa inefficienza può a volte tornare utile a qualcuno......

Un caro saluto a Imar e Cren, che ogni tanto si fanno sentire.....

 

[lua98]

Ho di recente consegnato un nuovo modello previsionale, stavolta per i prezzi, non per la volatilità. Vale la pena condividere i risultati anche di questo.
L'idea del modello come al solito è prendere un concetto solido e sfruttarlo al meglio, in questo caso l'idea è la più vecchia del mondo, seguire i trend.
Il problema è che quando si cerca di formalizzare questa cosa e di farne il motore di un trading system si incontrano molte difficoltà. Intanto non è facilissimo stabilire in modo assoluto cos'è un trend. Stabilire dove inizia e dove finisce non è ovvio. Il concetto intuitivo di una retta che tutti abbiamo visto nei manuali di analisi tecnica non si avvicina nemmeno a descrivere la cosa. Infatti la risposta è che non c'è una risposta univoca. Uno dei metodi classici con cui si affronta la cosa è stabilire delle soglie di volatilità oltre le quali un trend si considera interrotto (è il principio del celebre indicatore Supertrend.) Quindi ad esempio se decidiamo che un trend rialzista si considera concluso quando si verifica un ribasso locale del 60% otterremo che SP500 è in un unico continuo trend che prosegue dagli anni '50 ad oggi. Se invece decidiamo che la soglia è del 3% otterremo una lunga sequenza di trend più brevi. La bontà di questa definizione dipende dallo scopo che vogliamo perseguire.
Ad esempio ci sono degli studi che mostrano quali sono i parametri ottimi per il Supertrend e anche se in effetti di solito usare le soglie di volatilità come trailing stop nelle strategie trend following può portare a qualcosa di buono i parametri ottimi variano continuamente nel tempo e a seconda del sottostante.

Quello di cui nessuno si accorge è che il motivo per cui le strategie trend following falliscono è perché la cosa più difficile non è capire cosa comprare, qualsiasi indicatore è in grado di distinguere tra tori e orsi; la cosa davvero difficile che fa la differenza tra il successo e il fallimento è stabilire i livelli di ingresso e gli stop. Le strategie trend following dipendono praticamente solo da questo. Un segnale di ingresso long in un trend rialzista può far perdere soldi.

In sostanza si tratta di capire qual è il punto migliore di un trend in cui entrare, ed è un problema abbastanza intuitivo. Da un lato entrare precocemente in un trend appena nato può massimizzare il profitto ma aumenta sensibilmente il rischio di falsi segnali. Al contrario entrare in un trend già consolidato e di lungo corso aumenta la probabilità che quello continui ma riduce il possibile profitto perché il trend sarà più prossimo alla fine. Infatti le strategie basate sul supertrend che forniscono segnali di ingresso non appena si rompe al rialzo la barriera di volatilità forniscono un mare di falsi segnali e se anche hanno profitti hanno quasi sempre delle percentuali di vittoria inferiori al 50%. In pratica il supertrend dice di entrare in ogni movimento al rialzo, ma solo di rado questo significherà aver beccato un lungo trend appena nato. Diciamo che il supertrend così facendo "spara nel mucchio" e qualcosa becca ma il più delle volte non becca nulla.
Quindi come si fa? C'è un punto "statisticamente ottimo" di ingresso?

Io per rispondere ho preso gli 80 titoli con gli spread più bassi di sp500 (la commessa è per azioni USA) e su questi titoli ho creato un ampio database con dentro tutti i trend avvenuti dal 2007 ad oggi. Per delimitare questi trend ho usato il supertrend appunto. Solo che in questo caso la scelta dei suoi parametri non è così importante perché non userò questo indicatore per produrre segnali operativi. Mi serve solo per delimitare i trend e averne una collezione abbastanza ampia da poter fare considerazioni statistiche. Nello specifico con 10 anni di contrattazione e 80 titoli ho messo insieme un db con più di 100000 elementi.

A questo punto per ognuno di questi elementi ho creato delle metriche più o meno rilevanti per caratterizzare il trend in questione. Alcune di queste sono le più ovvie:

1. durata del trend in corso al tempo attuale
2. gain del trend in corso al tempo attuale
3. andamento storico (ad esempio, il ritorno dell'ultimo anno)

altre sono meno ovvie.

A questo punto ogni singolo trend nel mio db è caratterizzato da un vettore di numeri che sarebbero le metriche che ho appena detto e che danno una descrizione più o meno esaustiva del trend e del contesto in cui è avvenuto. A questo punto ho addestrato degli ensemble di reti neurali ad associare a queste metriche la durata residua del trend sia in termini di tempo che di gain. In sostanza le mie reti neurali prendono in input le caratteristiche del trend in corso e sulla base di quello che è avvenuto negli ultimi 10 anni forniscono in output una previsione di quanto ancora durerà quel trend. In questo modo sono in grado contemporaneamente di dirmi su base statistica quali sono i trend più promettenti, quali i livelli di ingresso migliori e quali i livelli di stop migliori.
Ho backtestato la strategia in un periodo che va da dicembre 2015 a maggio 2017. La scelta dell'inizio del test non è casuale, essendo una strategia only long volevo inserire anche una situazione di mercato avversa (la crisi dei mercati orientali di gennaio 2016.)
Per il test ho scelto una strategia di money management molto elementare e molto prudente. La size dell'investimento è fissa ed è il 2% del capitale iniziale.

Di seguito la equity line della strategia e le statistiche. Uso come benchmark un classico buy & hold su sp500 e una strategia con stesso money management, sempre only long ma coi segnali prodotti in modo classico dall'indicatore Supertrend. Da notare che dà buoni risultati anche la classica strategia basata sul Supertrend, solo che guardando le sue statistiche si vede che praticamente è una strategia che perde più che vincere, solo che quando vince vince molto perchè entra nei trend all'inizio quindi di media risulta profittevole.

Neural Networks
Periodo = 21 Dicembre 2015 - 31 Maggio 2017
Size = fissa, 2% del capitale iniziale (2000)
Titoli complessivi analizzati = 80
Titoli effettivamente negoziati = 25
Capitale iniziale = 100000
Capitale finale = 181145
N. trade = 424
Net Profit = 81145
Gain = 81%
Average gain = 9.6%
Winning percentage = 70%
Max drawdown = -4.6%
Durata media operazioni = 46 giorni


Supertrend
Periodo = 21 Dicembre 2015 - 31 Maggio 2017
Size = fissa, 2% del capitale iniziale (2000)
Capitale iniziale = 100000
Capitale finale = 133363
N. trade = 395
Net Profit = 33363
Gain = 33%
Average gain = 4.22%
Winning percentage = 47.5%
Max drawdown = -2.6%
Durata media operazioni = 39 giorni


SP500 B&H
Periodo = 21 Dicembre 2015 - 31 Maggio 2017
Size = 100%
Titoli complessivi analizzati = 1
Titoli effettivamente negoziati = 1
Capitale iniziale = 100000
Capitale finale = 120256
N. trade = 1
Net Profit = 20256
Gain = 20%
Average gain = 20%
Winning percentage = 100%
Max drawdown = -12%
Durata media operazioni = 363 giorni


Un altro grafico molto interessante è quello della variazione dell'average trade; ha sull'asse delle x gli stop limit predetti dalle reti neurali e sull'asse y l'average gain che si è poi effettivamente verificato associato a quei livelli di uscita. Le uscite previste sovrastimano decisamente l'effettivo gain, ma questo è dato dal fatto che l'algoritmo non esce dalle posizioni solo al raggiungimento del target gain ma anche al raggiungimento della scadenza temporale per cui la rete neurale ha individuato l'apice del trend. Quindi si esce dalla posizione:
1. In profitto se si raggiunge il target
2. In perdita se si tocca lo stop loss (simmetrico rispetto al target)
3. Alla scadenza temporale per cui la rete prevede l'apice del trend. Questa uscita può essere sia in perdita che in gain.

La cosa davvero interessante è che è un grafico che (al netto di ovvie irregolarità) cresce sempre. Questo significa che possiamo "alzare la manopolina" del gain previsto dalle reti quanto vogliamo e selezionare trade sempre più sicuri fino a percentuali di vittoria superiori al 90%. In sostanza questo grafico dice che selezionando i trend per i quali il modello ha previsto un margine di continuazione più ampio effettivamente andiamo sempre a guadagnare di più. Ovviamente così faremo molte meno operazioni ma è un ottimo elemento che testimonia la bontà del modello. Per il backtest ho scelto di mantenere il numero di trade accontentandomi di un average trade e una winning percentage discreti, ma avrei potuto scremare ancora di più fino ad avere il 100% di vittorie e un average gain del 15-20% solo che così facendo avrei effettuato molte meno operazioni.

Ciao,

molto interessante lo studio!

Sarebbe interessante fare un test su almeno 500 titoli e includere lo short. Per minimizzare il rischio la strategia dovrebbe avere posizioni 50% long e 50% short. La strategia Neural Networks quanta esposizione complessiva massima ha avuto a mercato?

 

[EbenezerScrooge]

Grazie per esserti preso il tempo e la pazienza di scrivere tutte quelle cose in una sezione praticamente morta, vorrei solo riassumerti un elemento fondamentale in cui potresti essere incappato nella lettura di quel thread su IO e che illustri quantitativi hanno più volte evidenziato perché penso che sia un utile stimolo per il tuo lavoro:

• quando elabori un modello per la probabilità di incidente stradale, gli automobilisti non si adeguano al tuo modello cambiando stile di guida;
• quando addestri una DNN per il riconoscimento delle immagini, queste non si adeguano alla tua rete per evitare di essere riconosciute;
• quando scopri una inefficienza sui mercati finanziari e la catturi con un modello, anche se quel modello resiste al test set c'è una elevata probabilità che qualcun altro sia arrivato (o stia arrivando) ai tuoi stessi risultati. E quindi più o meno velocemente accade una cosa che negli altri ambiti (scienze naturali, demografia etc. etc.) non accade: la variabile indipendente incorpora gli effetti delle tue/vostre previsioni e questo si riflette nelle performance del modello.

Non so da quanto tempo fai trading (e quindi non so se ti sei accorto di questa cosa da solo per esperienza), ma se rifletti sui mercati finanziari nel loro complesso da un punto di vista storico ti rendi conto che è una regola d'oro: se oggi dobbiamo tirare su un ponte, non usiamo leggi della fisica e della statica diverse da quelle che si usavano vent'anni fa, abbiamo solo più potenza computazionale, materiali più avanzati e più esperienza; in finanza, invece, qualunque legge o modello efficace perde rapidamente di efficacia quanto più rapidamente è adottato e diffuso.

Forse è sbagliato chiamare questo fenomeno «overfitting», ma non puoi banalizzare il problema riconducendolo alla robustezza del modello nell'out-of-sample.

Ciao

Ciao Cren, è un piacere rileggerti, grazie a te per il contributo.
Che dire, io sono d'accordo con quasi tutto quello che hai detto. Nessuno crede che la realtà sia tenuta ad adattarsi ai modelli previsionali.
Non vorrei nemmeno che da quello che ho scritto passi il messaggio di una mia fede oltranzista nei test statistici. I test statistici non escludono la possibilità del fallimento, semplicemente danno un'idea del rischio di fallire. E poi il fatto che l'overfitting sia un concetto semplice non significa in nessun modo che la vita di chi progetta modelli sia facile, è solo che l'asino di solito cade altrove.
Però ti invito a riflettere su quale possa essere l'alternativa rispetto ai test out of sample. Ce n'è una? E soprattutto, sarebbe così utile?
Di certo sì in caso di penuria di dati ma in generale la possibilità di un falso negativo in un test out of sample ben condotto nella mia esperienza è abbastanza bassa.

Per come la vedo io un modello fallisce per 3 possibili ragioni:

1. Il famoso overfitting, che però è un errore di eccessivo entusiasmo e un po' troppa ingenuità, parlando sempre secondo la mia personale esperienza l'overfitting è abbastanza controllabile. C'è anche una quintalata di letteratura sull'argomento e le tecniche per il controllo dell'overfitting sono assodate e collaudatissime.

2. L'errore umano. Capita spesso di scrivere fesserie nel codice. Esempio classico: in un problema di classificazione binaria ti selezioni un campione random dei dati complessivi da usare come test set. Però per caso in quel test set capita una percentuale di "uni" enorme rispetto a quella del training set. Ecco lì che ti porti dietro un errore di quelli di cui ti accorgi solo quando è troppo tardi.

3. In generale se si fanno bene i compiti e si evitano 1. e 2. resta il vero motivo per cui si fallisce, che non ha niente di quantistico, con buona pace di PGiulia. Il motivo per cui un modello smette di funzionare è che i presupposti su cui si basa smettono di essere veri, per questo quei presupposti vanno scelti con cura, specie in ambito finanziario in cui c'è una certa mutevolezza di quei presupposti.

Esempio a caso molto scemo: mi accorgo che se il ritorno giornaliero è più alto di una certa soglia l'apertura del giorno seguente tenderà a compensare un poco quindi vado short in chiusura di mercato. Il fatto è che magari funziona. Ma c'è una certa arbitrarietà nella logica sottostante. L'idea è un po' deboluccia.
Nessuno si stupisce se questa cosa a un certo punto smette di essere vera.
Mentre, venendo all'idea del mio modellino, sembra molto meno plausibile che smettano di esistere i trend... Diciamo che mi sento più al sicuro a fondare un TS sull'ingresso in trend e sull'ottimizzazione dei livelli di entrata/uscita rispetto all'esempio di prima.

Volendo restare sulla tua metafora del ponte, "seguire i trend" sono le leggi della fisica e della statica vere da sempre, la potenza computazionale è la potenza computazionale, e i materiali avanzati sono i paradigmi di machine learning che permettono di ottimizzare un'idea che resta valida di suo. Lo ripeto, non mi sono inventato proprio niente!

Sicuramente è sbagliato.

Sono due cose diverse.
Quello che qui evidenzi, verso gli inizi del thread "overfitting" lo ribattezzai con licenza poetica come "principio di indeterminazione di Heisenberg applicato ai mercati finanziari" (ormai nel deep lo chiamano tutti così! )

Sono entrambe pilastri del trading professionale.

P.S. Se mi sbaglio lasciatemi l'illusione per favore, ma rileggendovi a distanza riconosco il mio "imprinting", e mi fa felice credere di aver lasciato qualcosa di buono su questi forum!

Ma se ti tolgo google lo sai cosa dice il principio di indeterminazione di Heisenberg?

(Vai tranquilla che di imprinting ne hai lasciato fin troppo...il tipo di prima parla citandoti testualmente...)

Non so se tra tutti i qui comparenti esista piena consapevolezza della rivoluzione epocale in corso, che non potrà avere ripercussioni anche nell'analisi delle serie storiche finanziarie e nella presa di coscienza dell'inadeguatezza del cervello umano per combattere ad armi pari contro l'intelligenza delle macchine che prendono decisioni autonome.

Altroche' principio di indeterminazione...qui occorre al piu' presto una quarta legge della robotica
"Ai robot e' vietato fare trading"

Riprendo un po' il discorso che facevo a Cren. Io non sono uno straight edge dei modelli e dei dati. Anzi la cosa ultimamente sta prendendo una piega quasi distopica. Si usa l'intelligenza artificiale per fare cose che andrebbero fatte in altro modo. C'è un ted talk di una matematica americana che dice cose molto interessanti sull'argomento e sulla deriva estremista che sta prendendo la cosa, lei parla di "weapons of math destruction". Mi permetto di linkarlo perché mi sembra molto pertinente. (I sottotitoli sono solo eng, ma sono molto ben fatti.)

Cathy O'Neil: The era of blind faith in big data must end | TED Talk

Su una cosa, hai sostanzialmente ragione: in quel thread il termine overfitting assume significati diversi e non necessariamente rigorosi dal punto di vista statistico, la cosa venne già fatta notare con elegante ironia da Surcontre nel 2012, in altro thread della stessa sezione di quel forum.
Per quanto mi riguarda (but hey, it's just ME!), il discorso può essere riassunto dalla risposta che "l'ottimo Cren" diede 5 anni fà a Surcontre e che allego qui sotto, così non perdi tempo a cercarla. Ma - ripeto - altri partecipanti a quel thread hanno idee diverse sul fenomeno, il bello di quegli anni non è che abbiamo rivoluzionato il mondo della finanza, ma che siamo riusciti a parlare in modo piacevole e sperabilemente originale di quello "strano" fenomeno che affligge dilettanti e professioniti nel mondo del trading sistematico: sistemi con pochi gradi di libertà, creati con backtesting rigorosi e statisticamente ineccepibli, che - nondimeno - smettono di funzionare a mercato con trading reale.

Da un forum - credo - non bisognerebbe avere aspettative superiori ad un dialogo intellettualmente stimolante, su nessun argomento.....


Su un'altra cosa - se rivolta al sottoscritto - hai ragione al 100%: io non ho assolutamente l'1% della tua competenza (tua e di qualcun altro dei "vecchi" che si sono riaffacciati qui) in termini di reti neurali, ma il punto qui - sempre per me - non sono tanto le reti neurali quanto piuttosto la metodologia di sviluppo dei sistemi di trading.
Secondo me , ma io sono solo un anonimo nick da forum, non si parte MAI dal data mining, sia fatto esso con le vecchie ottimizzazioni tradestation-style o le reti neurali o qualunque altra diavoleria tecnologicamente cutting edge, ma con una ipotesi di esistenza di una inefficienza di qualche tipo, che può derivare da diverse regolamentazioni, diversa tecnologia a disposizione o anche solo da bias psicologici.




Purtroppo, sapere cos'è l'overfitting in senso statistico (e 2 lezioni bastano senz'altro) non ti aiuta ad identificarlo ed eliminarlo dai tuoi modelli di trading. Puoi senz'altro validare una conclusione negativa (se la performance crolla su dati nuovi), ma non vale il contrario, che poi è quello che ci interessa: se lavori esclusivamente con metodi statistici, non potrai mai validare un risultato positivo, senza comprendere quale tipo di fenomeno stai sfruttando e perchè.
In sostanza, l'obiettivo è capire a chi stai spremendo soldi e perchè questi te li lasciano spremere ... ed a questo la statistica serve a poco.


Ps se leggo bene, Andrew ha fatto una virata a 180°...... amazing.....

Beh sì Cren non perde un colpo
Per il resto sono d'accordo con te e lo dico dall'inizio. Il punto è l'idea. E se l'idea è "un trend avrà una certa inerzia e proseguirà almeno un po'" questa è l'inefficienza più vecchia del mondo e dura da quando esiste il libero scambio. Il punto è che essendo così ovvia non produrrà gain astronomici. Nei miei test c'è stato l'80% in quasi due anni che non è niente di che paragonato alle performance degli scalper da torneo.

Nota a margine su questo. Di recente ho visto un video in cui uno dei top trader italiani (uno che di sicuro è noto a tutti qui) mostrava la sua performace mensile che era attorno al 120% (guarda caso di un singolo mese) e sosteneva che questa fosse la prova del fatto che con 3k euro di capitale iniziale si può vivere di trading...
Tanta perplessità.

Ecco, riassunto in una frase quello che volevo dire

Condivido abbastanza quello che dice Paolo. L'idea di fare il reverse engineering sui profitti e sulle perdite e capire chi e perché ha vinto o perso per compensarle non mi pare percorribile a questo livello. Magari ad alto livello e con movimenti di denaro molto ingenti diventa possibile.

Ciao,

molto interessante lo studio!

Sarebbe interessante fare un test su almeno 500 titoli e includere lo short. Per minimizzare il rischio la strategia dovrebbe avere posizioni 50% long e 50% short. La strategia Neural Networks quanta esposizione complessiva massima ha avuto a mercato?

Ciao e grazie. Piace anche a me l'idea di provare a replicare la cosa con una strategia long/short, ma serve un po' di tempo che in questo periodo non ho. Poi effettivamente non sono certo se sia meglio una strategia universale che guadagna meno in questo periodo di crescita (perché va anche short) oppure accettare il drawdown finale che una strategia only long beccherà al prossimo tonfo dei mercati.
L'esposizione massima è stata attorno all'80% del capitale iniziale mi pare. Nel senso che al massimo l'80% del capitale iniziale è stato investito contemporaneamente, sparso su un portafoglio di 50 titoli (nella pagina iniziale ho scritto 25, ma è un errore.)

 

[Cren]

Apro una piccola digressione su questo:

Condivido abbastanza quello che dice Paolo. L'idea di fare il reverse engineering sui profitti e sulle perdite e capire chi e perché ha vinto o perso per compensarle non mi pare percorribile a questo livello. Magari ad alto livello e con movimenti di denaro molto ingenti diventa possibile.

Per la mia esperienza non è un problema di difficoltà analitica, ma dell'"ecosistema" in cui fai trading: ci sono casi in cui è possibile intuire che qualcuno nel book ha sbagliato o sta sbagliando le sue valutazioni, e questi investitori rappresentano le "prede" dell'"ecosistema".

Ovviamente non parliamo di azioni liquidissime, futures etc. etc.

Un esempio a caso, prendo obbligazioni e certificati: spesso è possibile ricostruire con elevata confidenza quale modello utilizza il market maker per quotare, perché fa quel prezzo e fino a dove può spingersi; conseguentemente è possibile vedere anche chi e come gravita attorno a quei livelli di prezzo, chi "regala" qualcosa e dove può essere furbo posizionarsi nel book.

Queste cose possono essere una gran perdita di tempo se fatte/seguite ad occhio umano, ma è invece relativamente semplice impostare degli screener per individuare situazioni di questo tipo; l'ecosistema è fatto dal market maker, solo sporadicamente da istituzionali e di frequente da molti retail: di questi, alcuni sono competenti e capaci... altri totalmente ignari.

In quell'esempio il tuo guadagno è dato dall'ultima categoria, dagli errori che i soggetti commettono e dalle loro leggerezze (non valutano la profondità del book, seguono in ritardo e con la pancia le notizie, non valutano correttamente ciò che comprano & vendono etc. etc.); ovviamente se nel corso del tempo sempre più attori uniformano i propri metri di valutazione, le prede spariscono e si sta tutti a scannarsi per i centesimi.

Se analizzi lo schema che ti ho presentato come esempio da un punto di vista ingegneristico, vedi che il tuo edge si costruisce su un vantaggio principalmente tecnologico e informativo (solo in seconda battuta modellistico) su soggetti che non hanno nemmeno un grande interesse a competere con te: se ne fregano, e tu puoi capire che è così facendo il reverse engineering non delle loro mosse bensì di chi invece sbaglia (o dovrebbe sbagliare) meno.

Io onestamente da quasi quattro anni mi sto sforzando di ignorare completamente le serie storiche, se non in casi estremi (o per backtest, ovviamente); cerco di usare unicamente cose che prendono in input l'"oggi" e l'"adesso", qualcosa che nel campo del machine learning tu chiameresti «apprendimento non supervisionato» ma che in realtà di apprendimento ha poco: in finanza spesso esistono leggi di non arbitraggio che valgono più di qualsiasi apprendimento.

Detto questo, se sei convinto della bontà del modello che hai elaborato dovresti iniziare a usarlo; il tema caldo è la qualità della variabile indipendente, che è l'unico vero nodo cruciale della discussione, perché non possiamo sapere se alla fine la combinazione di pesi, funzioni e neuroni che c'è nei layer non sia riconducibile a qualcosa di più semplice; io sono dell'idea che, quando gli input sono buoni, spesso anche solo una regressione lineare (o logistica per problemi di classificazione) dice già tutto quello che c'è da dire.

In bocca al lupo!

 

[PGiulia]

...Io onestamente da quasi quattro anni mi sto sforzando di ignorare completamente le serie storiche, se non in casi estremi (o per backtest, ovviamente)...

Bravo.

Se saprai inoltre scartare, o almeno giudicare velocemente, i modelli che sono backtestabili con serie storiche canoniche,

"Tua sarà la Terra e tutto ciò che è in essa,
E — quel che più conta — sarai un Trader, figlio mio!"

Cit. PKipling

 

[EbenezerScrooge]

Se analizzi lo schema che ti ho presentato come esempio da un punto di vista ingegneristico, vedi che il tuo edge si costruisce su un vantaggio principalmente tecnologico e informativo (solo in seconda battuta modellistico) su soggetti che non hanno nemmeno un grande interesse a competere con te: se ne fregano, e tu puoi capire che è così facendo il reverse engineering non delle loro mosse bensì di chi invece sbaglia (o dovrebbe sbagliare) meno.

Sono molto molto d'accordo. E` una verità universale questa. A parte casi specifici in cui si è in condizioni molto "astratte" in cui il tipo di input è standard per tutti i giocatori (mi vengono in mente i benchmark standard su cui si confrontano i ricercatori per migliorare lo stato dell'arte in questo o quel campo) è raro che a fare la differenza sia il modello. E` quasi sempre la possibilità di reperire dati e la scelta delle variabili a farla. E` anche quello che dico dall'inizio, le reti neurali si possono prendere e buttare a mare, io le uso solo perché le conosco meglio di altre cose ma di fatto sono solo uno dei tanti mezzi che possono portare a destinazione.

Detto questo, se sei convinto della bontà del modello che hai elaborato dovresti iniziare a usarlo; il tema caldo è la qualità della variabile indipendente, che è l'unico vero nodo cruciale della discussione, perché non possiamo sapere se alla fine la combinazione di pesi, funzioni e neuroni che c'è nei layer non sia riconducibile a qualcosa di più semplice; io sono dell'idea che, quando gli input sono buoni, spesso anche solo una regressione lineare (o logistica per problemi di classificazione) dice già tutto quello che c'è da dire.

In bocca al lupo!

Guarda nel caso specifico se ben ricordo si trattava di una topologia davvero semplice. Un singolo layer con (mi pare) 5 neuroni. Qualcosa di non molto più potente di una regressione lineare.

Ci tengo a chiarire anche un altro punto molto importante.
Prendendo come riferimento il classico problema del compromesso tra bias e varianza ossia il fatto che l'errore che commette un modello è inevitabilmente imputabile in parte al bias, ossia la mancanza di "potenza" del modello che quindi non è in grado di catturare la dinamica dei dati, e in parte alla varianza, ossia l'overfitting, di base lo si considera un dilemma perché aumentando la potenza aumenta anche la varianza e viceversa quindi di base se si riduce il bias si aumenta la varianza e viceversa.

Su questo posso dire che il 99% dei miei sforzi in termini di ricerca sono nella limitazione della varianza. Praticamente ogni mio sforzo è volto a limitare o annullare i danni che l'eventuale potenza eccessiva delle reti neurali può fare in termini di overfitting. La soluzione del bias/variance tradeoff è riuscire a pagare il prezzo della riduzione del bias non in termini di varianza ma in termini computazionali. E` uno scambio che si fa. Compro la riduzione del bias e invece di pagarla con la varianza (overfitting) la pago in termini computazionali. L'approccio classico è basato sull'idea che se anche potenzio molto il mio modello, se ne addestro molti stocasticamente indipendenti e ne prendo la media gli errori che commettono i singoli modelli tenderanno a cancellarsi l'un l'altro nella media conservando il bias piccolo dato dall'alta complessità dei modelli e contemporaneamente limitando la varianza.
Ecco praticamente tutto il mio lavoro consiste nell'affinare e far progredire tecniche come questa. Quindi il 99% della complessità degli algoritmi a cui lavoro è volta non a fittare meglio i dati ma a limitare i danni dell'overfitting appunto.
Tutto questo per dire che capisco e condivido al 100% la tua idea sulla semplicità, perché ogni volta che un modello "si complica" quella potenza in più più poi va compensata in qualche modo per impedirle di fare danni e questo lo si fa caro prezzo.

 

[lua98]

Ciao e grazie. Piace anche a me l'idea di provare a replicare la cosa con una strategia long/short, ma serve un po' di tempo che in questo periodo non ho. Poi effettivamente non sono certo se sia meglio una strategia universale che guadagna meno in questo periodo di crescita (perché va anche short) oppure accettare il drawdown finale che una strategia only long beccherà al prossimo tonfo dei mercati.
L'esposizione massima è stata attorno all'80% del capitale iniziale mi pare. Nel senso che al massimo l'80% del capitale iniziale è stato investito contemporaneamente, sparso su un portafoglio di 50 titoli (nella pagina iniziale ho scritto 25, ma è un errore.)

Qualche mese fa leggevo della nascita di un nuovo hedge fund quantitativo che raccolse in pochi giorni 500 mln $. Oramai quando nascono questi nuovi fondi raccolgono soldi a palate e in poco tempo. Perché? Perché questi fondi utilizzano strategie a basso rischio indipendentemente di come vanno i mercati. Davide Serra disse che l'investitore qualificato e "astuto" non vuole avere rischi di rimanere incastrato per anni(o uscire in perdita) e grazie a queste forme di "hedge fund" si può sempre operare coperti.

Perciò quello che ti voglio consigliare è che dovresti creare una strategia che sia neutra a livello di mercato generale. Ti devi concentrare sulle singole azioni delle società e non del mercato. Se il mercato apre a - 30 % il drawdown non sarà del 4% con una esposizione long dell'80%. Il bello delle azioni è che troverai sempre società che fanno - x % e + x % in y tempo indipendentemente dal mercato. e di società quotate che capitalizzano almeno 750 mln$ ce ne sono davvero tante in tutto il globo

 

[EbenezerScrooge]

Se il mercato apre a - 30 % il drawdown non sarà del 4% con una esposizione long dell'80%.

Guarda essendo un modello che opera su periodi medio-lunghi le posizioni in media restano aperte circa 40 giorni di trading il che significa che nei primi due mesi il sistema continua ad aprire posizioni senza che nessuna si chiuda, di qui l'esposizione dell'80%. Ma poi gradualmente le posizioni iniziano a chiudersi e quando il sistema è a regime credo che l'esposizione sia nel range 15%-30%.

Ma in generale nonostante mi alletti l'idea di un sistema universale adatto a ogni situazione di mercato non sono certo che i soldi risparmiati nel drawdown in caso di apocalisse finanziaria possano compensare i soldi persi da tutte le posizioni short aperte durante un periodo di crescita.

 

[lua98]

Avevo scritto un lungo post sul "rischio" e di società assicuratrici che ho eliminato per evitare denunce.

goldman sachs, societè generale, saxo bank e etc... tutto eliminato. ti racconterò a voce. (ti finanzierò la ricerca della strategia per long e short su un capitale da 1 mln €)

Cosa sapere del rischio? come si comportano i "professionisti"? Ing Pgiulia e Dott.?.Ernesto?. diteci come si comportano i corporate, stati(governi) e privati(high net worth individual)? al rischio? .

Ripeto che a me piace molto questa strategia in trend da 30/50 gg.

 

[P.A.T.]

Un esempio a caso, prendo obbligazioni e certificati: spesso è possibile ricostruire con elevata confidenza quale modello utilizza il market maker per quotare, perché fa quel prezzo e fino a dove può spingersi; conseguentemente è possibile vedere anche chi e come gravita attorno a quei livelli di prezzo, chi "regala" qualcosa e dove può essere furbo posizionarsi nel book.

Queste cose possono essere una gran perdita di tempo se fatte/seguite ad occhio umano, ma è invece relativamente semplice impostare degli screener per individuare situazioni di questo tipo; l'ecosistema è fatto dal market maker, solo sporadicamente da istituzionali e di frequente da molti retail: di questi, alcuni sono competenti e capaci... altri totalmente ignari.

In quell'esempio il tuo guadagno è dato dall'ultima categoria, dagli errori che i soggetti commettono e dalle loro leggerezze (non valutano la profondità del book, seguono in ritardo e con la pancia le notizie, non valutano correttamente ciò che comprano & vendono etc. etc.); ovviamente se nel corso del tempo sempre più attori uniformano i propri metri di valutazione, le prede spariscono e si sta tutti a scannarsi per i centesimi.

Tutti siamo rimasti impressionati dal market maker di Veneto Banca, e di quanto a lungo sia potuto perpetrare quell'ecosistema, almeno fino al giorno in cui Banca Intesa ha comperato gli asset piu' interessanti di quella banca sulla garanzia statale che avrebbe potuto scaricare le conseguenze dell'accaduto sulla fiscalita' generale.

 

[Cren]

Tutti siamo rimasti impressionati dal market maker di Veneto Banca, e di quanto a lungo sia potuto perpetrare quell'ecosistema, almeno fino al giorno in cui Banca Intesa ha comperato gli asset piu' interessanti di quella banca sulla garanzia statale che avrebbe potuto scaricare le conseguenze dell'accaduto sulla fiscalita' generale.

Esattamente

 

[Pig-H]

Ancora tutti qui siamo

 

[Giardiniere]

Ancora tutti qui siamo

Ma cos'è una rimpatriata? Un saluto a tutti!

 

[P.A.T.]

Ma cos'è una rimpatriata? Un saluto a tutti!

ciao a tutti !
A proposito di rimpatriate, oggi parla quello del riquadro per Blinck TV alle 15.

Forse ricordo male io, ma una decina di anni fa nella sezione Trading on line scrivevano tantissimi aspiranti scalper che andavano ai suoi corsi "live" sul mercato nella sua trading room di Cavarzere.

Dicevano che insegnasse ai folisti a fare 5000 Euro al giorno con lo scalping e bravo come lui a farli non c'era nessuno in Italia.

Ne era prova i tanti campionati di trading vinti a mani basse.

Leggo che oggi parla da analista macroeconomico e ci ragguaglierà dei paper scientifici su SSRN di Jerome Powell e della politica della FED

Qualcuno sa se ancor oggi esistono le trading room x scalper che erano cosi' numerose dieci-quindici anni fa in Italia ?

 

[P.A.T.]

Singolare e curioso il secondo "comandamento", ovvero il divieto di istigazione

Cosa sarebbe poi mai l'istigazione nel caso del trading di successo, quello che ti porta 5.000 Euro in tasca al giorno ?



Sale e trading room d'Italia - TRADINGPROBABILISTICO

REGOLE COMPORTAMENTALI

- Cellulare silenzioso
- Non istigare ad operatività altri trader soprattutto neofiti
- I neofiti devono inizialmente ascoltare per apprendere
- I trader più esperti fanno da supporto a tutta la sala nell'analisi grafica
- I master trader sono i registi della trading room

 

[brualp]

Qualche mese fa leggevo della nascita di un nuovo hedge fund quantitativo che raccolse in pochi giorni 500 mln $. Oramai quando nascono questi nuovi fondi raccolgono soldi a palate e in poco tempo. Perché?

nascono proprio perchè finanziate da grossi capitali...

Davide Serra

vedi sopra