Machine Learning: la mia esperienza

[aszx]

La strada quindi non è il ML per i mercati finanziari e non lo sarà mai. Se fosse questa Google o IBM starebbero già guadagnando bilions visto che alla fine il ML è intimamente legato alle potenze computazionali.

Come fai a dire che loro o altri non lo stiano facendo?

 

[aszx]

Supponiamo che io sia un lettore di Amazon e su quella piattaforma compro sempre dei libri aventi a che fare con la Fantascienza è normale che dopo alcuni acquisti o visite fatte al sito l'algoritmo di Amazon deduca immediatamente una relazione tra me ed i libri di fantascienza inondandomi di spam. In questo caso, se escludo il problema dello spam, io ed Amazon non siamo in concorrenza nel senso che l'idea che Amazon mi proponga nuovi titoli di fantascienza tutto sommato o è positiva o quanto meno non è negativa.

Sai cosa non mi convince relativamente a cose simili, che si pretende di arrivare a conclusioni seguendo fili non solo logici (e fin qui lo faccio pure io forse sbagliando) ma anche funzionali. Tutto e` ben impacchettato da equazioni, integrali, derivate, sommatorie, radici quadrate, limiti ogni equazione funzionale alla successiva il tutto come fosse la descrizione di un fenomeno naturale.
Ragazzi qui si sta parlando di Wall Street, di un luogo dove uomini esagitati, costantemente in fibrillazione, che Dio solo sa di cosa fanno uso, di menti raffinatissime tutti in estrema e feroce competizione l uno all altro, di flussi di informazioni estremamente sensibili a eventi, al tweet di turno del presidente, al pupazzo dell estremo oriente a cui piacciono i missili, etc etc etc e pensiamo di andare nella mischia con il nostro bel pacchetto di equazioni concatenate. Francamente questo per me sarebbe too good to be true. Non solo, l approccio, a mio avviso deve essere non solo non lineare ma sopratutto neanche funzionale.

Se è vera la prima citazione, ed è vera, non dovrebbe essere impossibile il grassetto per il ML, no?

 

[aszx]

Agli algoritmi si chiede sempre lo stesso, ovvero di farci guadagnare prevedendo il futuro.
Il fatto sta, come ripetuto allo sfinimento, nel capire cosa dargli in pasto.
Ed una volta capito, ti accorgi automaticamente anche che poi di quegli algoritmi di super intelligenza parallela pseudo quantitativa auto adattativa fuzzy neurale, non ne hai più bisogno.
Basta qualche relativamente semplice ma illuminata procedura vecchio stile.

Certo che se si sa cosa dare in pasto, diventano quasi inutili. Ma l'utilità sta proprio nel dare in pasto "tutto" e lasciare alla macchina la ricerca di pattern che sfuggono all'uomo per una serie di ragioni, molte delle quali da ricercare nei limiti stessi del cervello o del corpo umano.

Come si può essere sicuri che nessun pattern si annidi, o non si sia annidato, anche nelle serie dei prezzi o in qualsiasi altro gruppo di dati a vostra scelta se non esplorando tali dati con strumenti di ML?

 

[aszx]

Sapete, io mi intendo poco di quelle cose (ML, NN), un po' di forecast e soprattutto sono un pratictioner e non un professionista.
però vi metto in guardia su una cosa: si rilevano a volte delle proprietà (banalmente ad es. una autocorr. a lag 1) che magari durano anni e anni e poi all'improvviso Puff! scompaiono. Contro queste cose anche la cross-validation può fare poco....

Secondo me, quando si scopre qualche regolarità bisognerebbe cercare sempre di comprenderne la ragione (che generalmente è inerente la struttura del mercato): se la capisci allora ci puoi fare affidamento, se non la capisci ti può sparire all'improvviso e tu resti come un allocco. Si potrebbero fare esempi in merito...

Ciao

Forse non ho capito quello che vuoi dire, ma non mi sorprenderebbe la sparizione improvvisa di una regolarità, ammesso che sia vera e robusta e non frutto di errori di calcoli o puro caso male interpretato. Perché dovrebbe? Anzi, io la considerei la certificazione che esisteva!

E per non farsi male, basta tenerla d'occhio: quando viene meno matematicamente, non la si segue più.

 

[automatic-trading]

@amartya78 si puo' sapere quali input hai dato alle tue reti neurali? Semplicemente prezzi / volumi? Credo che la cosa difficile sia la scelta di queste variabili

 

[amartya78]

The rise of humans

Human-Run Hedge Funds Trounce Quants in Covid Year

 

[Scalpo]

@amartya78 si puo' sapere quali input hai dato alle tue reti neurali? Semplicemente prezzi / volumi? Credo che la cosa difficile sia la scelta di queste variabili

esempi condivisi da parte di chi preferisce offrire la canna da pesca è pieno il web; ne mostro uno che sto digerendo:
The Financial Hacker – A new view on algorithmic trading
We teach how to research, build and manage systematic trading strategies
per ciò che riguarda le modalità di selezione delle variabili in ingresso c'è un articolo specifico: Machine Learning for Trading - What Does it Really Look Like?

la loro fruibilità dipende da quanto sei veloce a codificare nei diversi ambienti di programmazione e da quanto e come sei capace a fare interagire i relativi ambienti di analisi con le piattaforme che agiscono concretamente sui mercati .

Buon studio.

 

[lastrico]

esempi condivisi da parte di chi preferisce offrire la canna da pesca è pieno il web; ne mostro uno che sto digerendo:
The Financial Hacker – A new view on algorithmic trading
We teach how to research, build and manage systematic trading strategies
per ciò che riguarda le modalità di selezione delle variabili in ingresso c'è un articolo specifico: Machine Learning for Trading - What Does it Really Look Like?

la loro fruibilità dipende da quanto sei veloce a codificare nei diversi ambienti di programmazione e da quanto e come sei capace a fare interagire i relativi ambienti di analisi con le piattaforme che agiscono concretamente sui mercati .

Buon studio.

Carino il risultato del backtesting nell’articolo sulle candele giapponesi (23/12/20)...


All but one are symmetric, meaning they deliver bullish and bearish signals. And because I’m a bit on the evil side, I added a 7th pattern that I just invented: TotalRandom.
(...)
Randomly opening long positions beats hands down all symmetric candle patterns. So it seems that trading with candle patterns, no matter old or new, still requires strong faith – and some disposable money.

 

[Scalpo]

Carino il risultato del backtesting nell’articolo sulle candele giapponesi (23/12/20)...


All but one are symmetric, meaning they deliver bullish and bearish signals. And because I’m a bit on the evil side, I added a 7th pattern that I just invented: TotalRandom.
(...)
Randomly opening long positions beats hands down all symmetric candle patterns. So it seems that trading with candle patterns, no matter old or new, still requires strong faith – and some disposable money.

per dirne una in tema econometrico: qua ti smonta i semplici modellini AR (uno degli articoli utili per raggiungere "prese di coscienza" via via sempre più alti)

Trading FX using Autoregressive Models - Robot Wealth

 

[Scalpo]

Carino il risultato del backtesting nell’articolo sulle candele giapponesi (23/12/20)...


All but one are symmetric, meaning they deliver bullish and bearish signals. And because I’m a bit on the evil side, I added a 7th pattern that I just invented: TotalRandom.
(...)
Randomly opening long positions beats hands down all symmetric candle patterns. So it seems that trading with candle patterns, no matter old or new, still requires strong faith – and some disposable money.

per segnalarne un'altra (sempre in ottica "prese di coscienza"), qua ti smonta (in parte) delle NN implementate con Tensorflow in seno alle quali " Perhaps 53% is the upper out of sample accuracy limit for this data set and this approach to modeling it".

Fighting Overfitting - Deep Learning for Trading Part 4
ho provato a replicare in R i modelli in TensorFlow-Keras aggiungendo anche i costi reali del mio attuale broker: questi modelli non sono profittevoli al netto dei costi: gli esempi indicati sono solo a scopo learning e "prese di coscienza" ovvero imparare a distinguere il rumore dall'informazione, ed uno stimolo a provare da sè una soluzione profittevole che può -forse- giungere solo dopo aver studiato e preso dimestichezza con le molte architetture talatro sempre continuamente soggette ad innovazione e rese note solo molto tempo dopo la loro effettiva scoperta.

 

[Scalpo]

se qualcuno desidera smanettare con le Radial Basis Function, allego un (uno dei -non molti- che ho trovato in rete) pdf di riferimento.

Uni-Lisbona: spiegazione da zero ed implementazione in R: Radial Basis Functions
package R in cui è già disponibile la RBF: library("RSNNS").

 

[automatic-trading]

@Scalpo sembri molto preparato sull'argomento e probabilmente anche sul robot trading automatico. Fai parte di un gruppo di studio oppure autodidatta?
Grazie per la tua risposta

 

[Scalpo]

@Scalpo sembri molto preparato sull'argomento e probabilmente anche sul robot trading automatico. Fai parte di un gruppo di studio oppure autodidatta?
Grazie per la tua risposta

nella implementazione e gestione dell'infrastruttura informatica finalizzata alla totale automazione ho accumulato ormai un buon e sufficiente background tecnologico, penso superiore alla media di questo forum, per lo meno questa è la mia percezione, che potrebbe però essere in parte distorta dal fatto che il know-how si tende a non condividerlo tanto facilmente, dati gli elevati costi di acquisizione ed i rischi di rapida detumescenza dei sistemi dovuti alla divulgazione. Il mio attuale obiettivo è quello di sottopesare un pò l'attività di ricerca di nuovi sistemi di trading in senso stretto per favorire lo sviluppo della automazione della gestione degli stessi (amministrazione del portafoglio di TS) ma in chiave cognitiva, in particolar modo vorrei concentrarmi più sulla ricerca e messa a punto di un metamodello, inserito in architettura -ma più semplice- tipo questa :
"Cognitive Trading System"

autodidatta e qualche corso on line.

 

[automatic-trading]

Concordo con te che l'obiettivo ultimo del mio/tuo lavoro è ottenere una totale automazione del trading, magari implementando trading system anche piuttosto complessi. Per ottenere quanto scritto pero' occorre un lungo lavoro e molto tempo libero da dedicare.
Avete mai pensato di creare un gruppo per ottenere dei buoni risultati in breve tempo, magari avendo a disposizione persone con competenze in diversi campi (trading / informatica / programmazione / matematici)?
Secondo te e' possibile creare un gruppo di lavoro?

 

[Scalpo]

Concordo con te che l'obiettivo ultimo del mio/tuo lavoro è ottenere una totale automazione del trading, magari implementando trading system anche piuttosto complessi. Per ottenere quanto scritto pero' occorre un lungo lavoro e molto tempo libero da dedicare.
Avete mai pensato di creare un gruppo per ottenere dei buoni risultati in breve tempo, magari avendo a disposizione persone con competenze in diversi campi (trading / informatica / programmazione / matematici)?
Secondo te e' possibile creare un gruppo di lavoro?

Io ci starei anche, purchè non si ripeta una mia lontana esperienza conclusasi con un buco nell'acqua, dovuta ad una certa confusione nella definizione degli obiettivi che si dovevano condividere in un gruppo di 9 elementi, ma forse eravamo in troppi. Io ero entrato in ritardo in un progetto allora basato principalmente su Matlab.

Secondo la mia esperienza ci vorrebbe una "capoccia" che o: ha raggiunto il Nirvana, o sia un professionista e non solo un discreto praticone come me. Il leader dovrebbe avere voglia di dirigere un gruppo di lavoro al fine di fargli raggiungere traguardi che non siano solo la sommatoria del contributo dei singoli ma ben di più. Altrimenti non avrebbe senso, il rapporto costi/benefici non ne gioverebbe, si perderebbe solo tempo rispetto al fare tutto da soli (in mancanza di vero valore aggiunto, chi fa da se fa per 3).

Se te sei un Leader ti suggerisco di aprire un 3D a parte, si identifica un impegno minimo e le regole di comportamento e comunicazione, quindi attendere le candidature. Poi privatamente si chiede a ciascuno quali sono le competenze e si decidono obiettivi, tempi, mezzi e ruoli.

 

[automatic-trading]

Concordo con te @Scalpo. Dalla mia parte ho una discreta preparazione sull'econometria ed analisi tecnica oltre che programmazione. Inoltre con il mio nuovo lavoro ho parecchio tempo libero in più, potrò dedicare a questo progetto un paio d'ore al giorno.
Io non avrei problemi a fare i leader di questo eventuale gruppo di lavoro ma il problema al momento è che mi sono appena iscritto a questo forum anche se ormai ho un'esperienza decennale sul trading, essendomi iscritto da poco non ho la possibilità di aprire dei thread. Magari lo potresti aprire tu e poi prenderei io la gestione.
Nel caso partissimo con questo nuovo progetto proporrei dei meeting virtuali su zoom con cadenza periodica oltre che definire degli obiettivi di volta in volta.
Cosa ne pensi di quanto scritto?

 

[Price Action]

Salve, chiedo qui perché vedo molta gente preparata. Ho inziato da poco a studiare R e mi piace moltissimo però incontro le normali difficoltà di chi inizia. Ho notato che non riesco a far leggere serie storiche a 1 minuto (o a 1 ora) in formato csv scaricate da MT5 a R, mentre con il pacchetto Quantmod il formato scaricato direttamente da Yahoo daily viene letto tranquillamente. Ovviamente questo succede perché Quantmod è scritto in modo da interpretare correttamente il formato dei dati che fornisce Yahoo. Dovendo però usare dati di relativa qualità come CQG, il feed che alimenta l'MT5 di cui sopra, come devo formattare i dati per farli leggere correttamente a R? Li legge come una sola colonna e continua a farlo anche dopo aver editato il csv dalla scheda Dati di Excel... Grazie.

 

[Scalpo]

Concordo con te @Scalpo. Dalla mia parte ho una discreta preparazione sull'econometria ed analisi tecnica oltre che programmazione. Inoltre con il mio nuovo lavoro ho parecchio tempo libero in più, potrò dedicare a questo progetto un paio d'ore al giorno.
Io non avrei problemi a fare i leader di questo eventuale gruppo di lavoro ma il problema al momento è che mi sono appena iscritto a questo forum anche se ormai ho un'esperienza decennale sul trading, essendomi iscritto da poco non ho la possibilità di aprire dei thread. Magari lo potresti aprire tu e poi prenderei io la gestione.
Nel caso partissimo con questo nuovo progetto proporrei dei meeting virtuali su zoom con cadenza periodica oltre che definire degli obiettivi di volta in volta.
Cosa ne pensi di quanto scritto?

Non c'è problema: quando avrai almeno 30 messaggi potrai aprire un gruppo e ricevere messaggi, così non puoi ancora comunicare.

 

[ciroascarone]

Certo che se si sa cosa dare in pasto, diventano quasi inutili. Ma l'utilità sta proprio nel dare in pasto "tutto" e lasciare alla macchina la ricerca di pattern che sfuggono all'uomo per una serie di ragioni, molte delle quali da ricercare nei limiti stessi del cervello o del corpo umano.

Come si può essere sicuri che nessun pattern si annidi, o non si sia annidato, anche nelle serie dei prezzi o in qualsiasi altro gruppo di dati a vostra scelta se non esplorando tali dati con strumenti di ML?

 

[ciroascarone]

Carino il risultato del backtesting nell’articolo sulle candele giapponesi (23/12/20)...


All but one are symmetric, meaning they deliver bullish and bearish signals. And because I’m a bit on the evil side, I added a 7th pattern that I just invented: TotalRandom.
(...)
Randomly opening long positions beats hands down all symmetric candle patterns. So it seems that trading with candle patterns, no matter old or new, still requires strong faith – and some disposable money.

allora basta fare il contrario di qianto dicono le candele