Machine Learning: la mia esperienza

[amartya78]

Ciao Amartya, scusa se ti faccio alcune domande ma questi ultimi due post mi hanno spaesato.
Nel corso della discussione, tempo fa, consigliavi di cercare features slegate dal tempo, il fatto che si parli di daily e quindi di time series discreta non mi torna.
Ero altresì convinto che si facessi stat arb ma avessi implementato una struttura simile (anche per le capacità di processo) per cercare mini inefficienze su granularità tick, addirittura con dati LOB profondi.
Da quello che descrivi, dimmi se sbaglio, sembra più una strategia di swing trading ed a tratti di investimento attivo, su una base classica di stat arb. Non capisco quindi quei costi e come quei costi possano incidere sul profitto visto che si usano timeframe più lenti appositamente. Capisco a metà la necessarietà di un computer così potente: è giustificata dada centinaia di asset con relative serie storiche ma sono comunque dati daily, con qualche migliaia di timestamp arrivi al 1500.
Ero convinto avessi inventato un nuovo sistema HFT, per farla breve. Mi ritrovo una strategia di investimento facendo stock picking nel portfolio.
Non è assolutamente una critica sia chiaro, ma non facevi prima ad affidarti a una delle tante piattaforme di portfolio optimization basate sul reinforcement learning?

Parto dalla fine. Non facevo prima semplicemente perchè parto da un modello matematico ben preciso che può essere ottimizzato come non ottimizzato. Nel test non ho ottimizzato per essere chiari. Quindi volevo usare un mio modello proprietario molto efficiente nel forecast. Considera che molti modelli di ML liberi falliscono semplici test back-forward sebbene usino pochi gradi di libertà.

Il modello che uso è indipendente dal tempo. Intendiamoci un cosa è i time frame operativo un altra è la base su cui mi appoggio per la predizione. Quindi nel secondo caso ribadisco di cercare processi slegati dal tempo ovvero del tipo mean reverting.
Il Time Frame operativo invece mi è imposto dai costi operativi e la chiusura è una scelta dovuta alla curva degli spread che si riduce alla chiusura appunto. Subendo quei costi devo avere una magnitudo dei rialzi e dei ribassi adeguata. La magnitudo la puoi trovare o aumentando il time frame ovvero la leva. Ho fatto un mix.
Come strategia non sbagli. Non cerco inefficienze ma pattern che il modello matematico riconosce, questi pattern possono essere individuati in diversi time frame l'importante è che ho un numero sufficiente di dati. I costi purtroppo sono quelli. un 8-9% di commissioni ed un 20-21% di spread bid ask. Parlo di costi annui su una rotazione del capitale superiore al 31000%. Significa che guadagno solo se supero il 30% di profitto lordo.

I computer potenti al momento servono solo nella fase di ricerca. Sebbene abbia utilizzato nel test un modello non ottimizzato, la piattaforma di ricerca che ho creato può valutare simultaneamente almeno 100 variabili a vari livelli di profondità dal momento alle correlazioni. In tal caso il numero di permutazioni possibili è tale che solo la disponibilità di calcolo può darti risultati apprezzabili.

 

[Federico Juvara]

Parto dalla fine. Non facevo prima semplicemente perchè parto da un modello matematico ben preciso che può essere ottimizzato come non ottimizzato. Nel test non ho ottimizzato per essere chiari. Quindi volevo usare un mio modello proprietario molto efficiente nel forecast. Considera che molti modelli di ML liberi falliscono semplici test back-forward sebbene usino pochi gradi di libertà.

Il modello che uso è indipendente dal tempo. Intendiamoci un cosa è i time frame operativo un altra è la base su cui mi appoggio per la predizione. Quindi nel secondo caso ribadisco di cercare processi slegati dal tempo ovvero del tipo mean reverting.
Il Time Frame operativo invece mi è imposto dai costi operativi e la chiusura è una scelta dovuta alla curva degli spread che si riduce alla chiusura appunto. Subendo quei costi devo avere una magnitudo dei rialzi e dei ribassi adeguata. La magnitudo la puoi trovare o aumentando il time frame ovvero la leva. Ho fatto un mix.
Come strategia non sbagli. Non cerco inefficienze ma pattern che il modello matematico riconosce, questi pattern possono essere individuati in diversi time frame l'importante è che ho un numero sufficiente di dati. I costi purtroppo sono quelli. un 8-9% di commissioni ed un 20-21% di spread bid ask. Parlo di costi annui su una rotazione del capitale superiore al 31000%. Significa che guadagno solo se supero il 30% di profitto lordo.

I computer potenti al momento servono solo nella fase di ricerca. Sebbene abbia utilizzato nel test un modello non ottimizzato, la piattaforma di ricerca che ho creato può valutare simultaneamente almeno 100 variabili a vari livelli di profondità dal momento alle correlazioni. In tal caso il numero di permutazioni possibili è tale che solo la disponibilità di calcolo può darti risultati apprezzabili.

Grazie della spiegazione, ora è molto più chiaro ed assume senso (per me).
In sostanza per quanto riguarda lo sganciamento dal tempo, per fare un esempio semplice, lavori sugli eventi più che sulle scansioni temporali discrezionali tipo le chiusure delle candele. Per dire "quando lo spread tra i due asset aumenta vai long/short" ecc.

 

[amartya78]

Grazie della spiegazione, ora è molto più chiaro ed assume senso (per me).
In sostanza per quanto riguarda lo sganciamento dal tempo, per fare un esempio semplice, lavori sugli eventi più che sulle scansioni temporali discrezionali tipo le chiusure delle candele. Per dire "quando lo spread tra i due asset aumenta vai long/short" ecc.

Sullo sganciamento dal tempo lavoro in due modi: 1) esiste un comportamento nei prezzi degli asset che si manifesta con una certa probabilità all occorrere di certi andamenti, quando questi andamenti si allineano nella configurazione del modello matematico ho una buona probabilità certamente superiore al 50% di predire il movimento dell asset e con magnitudo tale che la probabilità di guadagnare è certamente maggiore del 50%. Questi comportamenti sono slegati dal tempo cioè accadono sempre al verificarsi di quel tipo di andamento, 2) per intercettare quel comportamento faccio uso di processi mean reverting.
Il problema è che questo modello ha rotazione del capitale elevata, direi quasi elevatissima e sebbene abbia ridotto al massimo commissioni e spread, rimane comunque elevato il costo. Devo guadagnare più del 30% L anno solo per andare in pari.
Magari L ingegneria del trading e migliori accordi con i broker possono ridurre significativamente questi costi. Non lo so.
Sto cercando di ridurre significativamente la rotazione del capitale senza compromettere troppo la capacità di forecast o in ogni caso cercando di ridurre i costi più di quanto si riducono i guadagni.

 

[fricchettone]

Lasciatelo perdere ..non sa manco lui quello che fa

 

[Imar]

Sto cercando di ridurre significativamente la rotazione del capitale senza compromettere troppo la capacità di forecast o in ogni caso cercando di ridurre i costi più di quanto si riducono i guadagni.

SUI COSTI : per sentito dire (), i costi nello stat arb si riducono.... appunto non usando ordini a mercato, ma usando un ordine limit nella leg meno liquida, e - quando viene eseguito - andando con un ordine MARKET sulla leg più liquida.

E' un cambiamento di paradigma rispetto a quello che fanno la maggior parte dei trader sistematici RETAIL: la maggior parte del codice non viene più dedicato all'ottenimento del segnale (ove non c'è niente da inventare... in realtà), ma su come inviare e gestire gli ordini una volta che sono sul book.

PS Andare con ordini MARKET è comodo per backtesting, ma è anche un controsenso logico, dato che l'edge di queste strategie sta proprio nel fatto di fornire liquidità ai mercati meno liquidi, mentre se vai a con ordini MARKET
la liquidità la togli.


- SUL PAPER TRADING di IB: per questi tipi di sistemi non è efficacissimo, in quanto tende ad AMPLIARE lo slippage. Infatti in simulazione compri sempre l'ask, e vendi sempre il BID, cioè non consideri la liquidità che è "nascosta" quasi sempre tra BID e ASK per molti ticker. Io ho fatto prove sul Nasdaq future e lo slippage del paper trading è superiore a quello reale. In ultima analisi, l'unico test che conta di una sistema è quello del real time, con quantità simboliche.


- SUL CONSIGLIO DI USARE IB LIGHT o comunque un broker commission free. A parte che "IB Light" non ha le api, quindi servre solo per il trading manuale, è forse la cosa più sconcertante che ho letto in queta discussione, in quanto in tal caso il maggiore costo in slippage è di almeno un ordine di grandezza superiore alla commissione che si risparmia (per la ragione scritta poco più sopra)

 

[amartya78]

SUI COSTI : per sentito dire (), i costi nello stat arb si riducono.... appunto non usando ordini a mercato, ma usando un ordine limit nella leg meno liquida, e - quando viene eseguito - andando con un ordine MARKET sulla leg più liquida.

E' un cambiamento di paradigma rispetto a quello che fanno la maggior parte dei trader sistematici RETAIL: la maggior parte del codice non viene più dedicato all'ottenimento del segnale (ove non c'è niente da inventare... in realtà), ma su come inviare e gestire gli ordini una volta che sono sul book.

PS Andare con ordini MARKET è comodo per backtesting, ma è anche un controsenso logico, dato che l'edge di queste strategie sta proprio nel fatto di fornire liquidità ai mercati meno liquidi, mentre se vai a con ordini MARKET
la liquidità la togli.


- SUL PAPER TRADING di IB: per questi tipi di sistemi non è efficacissimo, in quanto tende ad AMPLIARE lo slippage. Infatti in simulazione compri sempre l'ask, e vendi sempre il BID, cioè non consideri la liquidità che è "nascosta" quasi sempre tra BID e ASK per molti ticker. Io ho fatto prove sul Nasdaq future e lo slippage del paper trading è superiore a quello reale. In ultima analisi, l'unico test che conta di una sistema è quello del real time, con quantità simboliche.

Andare con ordini al limit è una opzione che sto considerando. E' vero anche che come segnali gli spread bid ask sono leggermente più alti nell'ambiente simulato.

Hai anche ragione sulla piattaforma. IB piattaforma normale consente una infinità di cose vedi tutte le API che mi hanno permesso di dedicare alle operazioni appena 24 ore su 365 giorni. Inoltre sulle commissioni esiste una politica di riduzione all'aumentare degli eseguiti. Le commissioni hanno rappresentato il 20% dei costi, lo spread l'80%.

 

[Federico Juvara]

Domanda secca: lo statistical arbitrage funziona ancora per un trader retail senza particolari "vantaggi" computazionali tipo latenza ultra HFT ecc?
Parlo di PC da casa, broker, Python. Considerando i costi, magari sulle crypto.
E' solo una curiosità, non ho nessuna intenzione di sbattermi

 

[amartya78]

Domanda secca: lo statistical arbitrage funziona ancora per un trader retail senza particolari "vantaggi" computazionali tipo latenza ultra HFT ecc?
Parlo di PC da casa, broker, Python. Considerando i costi, magari sulle crypto.
E' solo una curiosità, non ho nessuna intenzione di sbattermi

Da quello che ho letto oggi l'HFT si è di molto ridimensionato. Sempre da quello che leggo chi guadagna tanto sono hedge che hanno time frame di giorni, settimane anche mesi.

Di StatArb ne puoi avere di infinite tipologie. Lo puoi usare come tecnica di arbitraggio ma la scelta dei sottostanti è indipendente. Voglio dire lo StatArb è più una strategia di Money Management ma non ti fa (o dovrebbe essere legata alla scelta dei sottostanti). Faccio questa premessa perchè se posta in questo modo lo StatArb è sempre valido come strategia di protezione e se non si guadagna è solo perchè invece la strategia della scelta dei sottostanti è fallace. Tra l'altro la strategia questa strategia è anche indipendente dal time frame.

 

[Federico Juvara]

Da quello che ho letto oggi l'HFT si è di molto ridimensionato. Sempre da quello che leggo chi guadagna tanto sono hedge che hanno time frame di giorni, settimane anche mesi.

Di StatArb ne puoi avere di infinite tipologie. Lo puoi usare come tecnica di arbitraggio ma la scelta dei sottostanti è indipendente. Voglio dire lo StatArb è più una strategia di Money Management ma non ti fa (o dovrebbe essere legata alla scelta dei sottostanti). Faccio questa premessa perchè se posta in questo modo lo StatArb è sempre valido come strategia di protezione e se non si guadagna è solo perchè invece la strategia della scelta dei sottostanti è fallace. Tra l'altro la strategia questa strategia è anche indipendente dal time frame.

Sicuramente, anche se non sono così tanto sicuro che le inefficienze reggano così tanto. Generalmente (parlo di Pair trading) in qualche secondo/minuto svaniscono, proprio per quello chiedevo. Logicamente parlo di altro rispetto al tuo approccio a più ampio respiro. Nel lungo termine ammortizzi i costi con meno ingressi anche se nei future hai i margini overnight, in time frame altissimi la discriminante tra profitto e disfatta è solo nei costi. Essendo una strategia neutrale, relativamente sicura e standardizzata la differenza è tra microprofitti superiori alle commissioni e microprofitti inferiori. Proprio per questo parlavo di trader retail da casa, con broker e abbonamenti commerciali. E' chiaro che se ti compri l'ufficio dentro al CME e sottoscrivi abbonamenti a commissione zero puoi anche andare buy and hold

 

[fricchettone]

Domanda secca: lo statistical arbitrage funziona ancora per un trader retail senza particolari "vantaggi" computazionali tipo latenza ultra HFT ecc?
Parlo di PC da casa, broker, Python. Considerando i costi, magari sulle crypto.
E' solo una curiosità, non ho nessuna intenzione di sbattermi

No. Servono almeno $50M per iniziare a giocarci con basso rischio. Meno soldi = più rischio di saltare in aria.

Chi ha fatto i soldi partendo da pochi soldi l'ha fatto nell'arbittaggio di latenza (20-30anni fa) ma ci sono ancora piccole nicchie sfruttate da dilettanti (dove girano pochi volumi)

 

[Federico Juvara]

Cren (ma anche Imar) aveva ragione e finalmente ho capito cosa volesse dire, chapeau
Curiosità @Cren se posso: hai una preparazione di altissimo livello che ho riscontrato raramente anche in trader esperti americani. Come ti sei formato, che percorso hai fatto? Dire "tanta esperienza sul campo e osservare tanti grafici" ovviamente non vale

 

[Cren]

Cren (ma anche Imar) aveva ragione e finalmente ho capito cosa volesse dire, chapeau
Curiosità @Cren se posso: hai una preparazione di altissimo livello che ho riscontrato raramente anche in trader esperti americani. Come ti sei formato, che percorso hai fatto? Dire "tanta esperienza sul campo e osservare tanti grafici" ovviamente non vale

Dal punto di vista accademico ho fatto un percorso abbastanza normale nel settore: studi ingegneristici e poi un paio di specializzazioni in finanza quantitativa e temi correlati.

Direi che il valore aggiunto di cui ho potuto godere negli è stata la possibilità di pasticciare tanto sui mercati e la passione per farlo (anche) costruendomi gli strumenti analitici necessari, mentre molti "professionali" pasticciano con Bloomberg e spesso dopo pochi anni saltano a bordo di ruoli più manageriali e perdono le precedenti specializzazione tecniche; al contrario, io ho cominciato a pasticciare (e investire) a 23 anni e 13 anni dopo non ho ancora smesso.

Penso che alla fine la vera differenza la faccia l'interesse personale e non il talento o la formazione: ho colleghi che gestiscono miliardi ma che non si sognerebbero mai di passare un sabato sera a programmarsi un cruscotto di trading per obbligazioni in C++ o a capire quali azioni scontino un movimento troppo compresso nelle catene di opzioni in concomitanza della prossima data di earnings release; per me la cosa è stimolante e divertente, il resto è solo una conseguenza.

 

[Emmhanuel]

scusa la domanda ot Cren, posso utilizzare i fra per sbirciare i tassi futuri? Oppure sono le medesime informazioni che potrei avere derivandomeli dalla curva spot (tramite la nota formula)? Grazie 1000

 

[Cren]

scusa la domanda ot Cren, posso utilizzare i fra per sbirciare i tassi futuri? Oppure sono le medesime informazioni che potrei avere derivandomeli dalla curva spot (tramite la nota formula)? Grazie 1000

Se i mercati sono sufficientemente efficienti e non consentono arbitraggi, sono le medesime informazioni.

 

[Imar]

Impressionante.

Ma non so se "intelligenza artificiale" sia la definzione giusta o un misnomer. Questa macchina non "sa" niente (nel senso in cui si può parlare di conoscenza acquisita da un essere "intelligente" umano) , mette assieme parole (di cui non sa il significato) nello stesso modo che ha trovato nella sua stermimata banca dati.

Sa scrivere una perfetta email pubblicitaria sul servizio di "colorazione dei gatti" ma non sa la cosa più importante: che proporre un servizio di colorazione dei gatti è una cosa insensata (e speriamo non diventi di moda...)

PS Se dopo aver visto il video rimangono dubbi che tutto questo ha poco/nulla a che vedere coi mercato finanziari ........siete irrecuperabili....

PPS scusate il disturbo, volevo solo salutare CREN----

 

[Emmhanuel]

Se i mercati sono sufficientemente efficienti e non consentono arbitraggi, sono le medesime informazioni.

GRAZIE CREN

X IMAR, penso che si possa fare questo esempio. Se fossimo al medioevo l'AI direbbe (pescando a fondo dell'enormità dei db che ha) che il sole gira attorno alla terra. Poi viene GG, che spiega a tutti che non è così. E così l'AI (pescando a fondo dell'enormità dei db che ha) dirà che è la terra a girare attorno al sole. Ovvio che l'AI aiuta l'uomo. Siamo una grande bella invenzione. Ci dobbiamo fare i complimenti. Poi ci sono i Messina D, ma non tutte le ciamb ... escono con il buco.
Certo che 30 y AI compresa ... mi sa che dobbiamo ancora lavorare.
Scusate l'OT mi ecclisso '
ps curiosissimo di sapere cosa ne pensa circa il funzionamento dei mk finanziari, per rimanere nel concreto eh eh

 

[Blacksmith.]

Un saluto a tutti i frequentatori della sezione, che purtroppo negli ultimi mesi è diventata deserta...

Impressionante.
Ma non so se "intelligenza artificiale" sia la definzione giusta o un misnomer.

E' l'accezione originale dell' "Imitation game", che cerca di far sembrare umane le azioni delle AI, facendole anche sbagliare ogni tanto.
Test di Turing: cos'è, come funziona e quali robot lo superano - AI4Business

I risultati non sono ancora soddisfacenti, infatti:

Sa scrivere una perfetta email pubblicitaria sul servizio di "colorazione dei gatti" ma non sa la cosa più importante: che proporre un servizio di colorazione dei gatti è una cosa insensata (e speriamo non diventi di moda...)

E' solo lo scadimento collettivo dell'epoca social che porta a far giudicare favorevolmente dei testi che verrebbero bocciati da qualsiasi revisore o editore.

Ad essere indulgenti possono apparire come plagi scadenti apparentemente scritti da bambini.

La parte sull'entanglement fa ridere. E' lampante che il presunto autore degli scritti non abbia la minima idea di cosa sia.

Comunque i possibili futuri sviluppi fanno pensare ad un Data (di Star Trek) che valuta le probabilità di verosimiglianza dei vari scenari in base alle informazioni note.

 

[Cren]

Ciao, Imar

Impressionante.

Ma non so se "intelligenza artificiale" sia la definzione giusta o un misnomer.

Appoggio interamente le vs. impressioni su ChatGPT: inizialmente sono rimasto anche io sbalordito dalla capacità di tradurre in codice concetti tecnici complessi, cose che richiederebbero anni di studio.

Ad una indagine più approfondita, però, mi sono trovato impossibilitato ad utilizzare ChatGPT come fosse uno stagista instancabile per il mio lavoro quotidiano: chiedendo di fare analisi un pelo più complesse e di scrivere codice Python coerente, l'"intelligenza" artificiale ha infilato una tale serie di bidoni che ho dovuto guidarla alla soluzione passo a passo.

Spero vivamente che chi le ha chiesto di costruire intere strategie long-short sappia come funziona davvero la strategia di base, perché io mi sono trovato per le mani dei disastri.

Venendo al "ragionamento" e al di là dei sadici tranelli di logica (è come sparare sulla Croce Rossa), ad esempio, non è possibile usarla per validare una intuizione perché è sufficiente essere convincenti nell'esposizione per avere grossomodo ragione; il codice che scrive non è malvagio se chiedi di fare qualcosa di semplice ma, se chiedi di mettere giù un modello, si vede che non ottieni la risposta giusta: ottieni invece il "bigino" di ciò che ti richiederebbe qualche ora di ricerca con Google e GitHub.

Per capirci, superato lo sbalordimento iniziale il mio ingegnere cinese la usa quasi esclusivamente per farsi tradurre al volo le query SQL giganti e complesse che non ha voglia di interpretare da solo... a quanto ammonta il valore aggiunto?

 

[P.A.T.]

Se si interroga Chat GPT con la seguente domanda:
"Caro bot, riesci a trovami l'autocorrelazione seriale a qualunque ritardo dei rendimenti sui future - qualunque future, mi va bene anche lo sperma di toro - che mi possa assicurare un eccesso di rendimento anche piccolissimo, purche' sistematico e continuo sul lungo periodo ? "

Cosa ne esce ?

 

[cammello]

Se si interroga Chat GPT con la seguente domanda:
"Caro bot, riesci a trovami l'autocorrelazione seriale a qualunque ritardo dei rendimenti sui future - qualunque future, mi va bene anche lo sperma di toro - che mi possa assicurare un eccesso di rendimento anche piccolissimo, purche' sistematico e continuo sul lungo periodo ? "

Cosa ne esce ?

Mi dispiace, ma non sono in grado di fornirti informazioni sull'autocorrelazione seriale dei rendimenti sui future dello sperma di toro. In generale, l'autocorrelazione seriale è un metodo statistico utilizzato per misurare la relazione tra una serie temporale e una versione ritardata di se stessa. Non è possibile garantire un eccesso di rendimento sistematico e continuo su un lungo periodo sulla base dell'autocorrelazione seriale o di altri metodi statistici. Le performance passate non garantiscono rendimenti futuri e i mercati finanziari sono soggetti a incertezza e rischio.

C