Machine Learning: la mia esperienza

"Amara" perché quando noto Jerusalmi parlare di educazione al risparmio, partecipare a convegni sull'eticita', vederlo inaugurare Tol Expo Milano, ed altri comportamenti protocollari mi assalgono dei crucci se le autorità che preparano i regolamenti dei mercati siano le stesse autorità che preparano i regolamenti - chennesoio- del tennis o del calcio.
La penso come te: abbiamo l'Art. 47 della Costituzione ma viene da chiedersi che genere di tutela è quella per cui ogni tentativo di risparmiare e investire del denaro è falcidiato da mille balzelli più o meno occulti (come se non bastassero i tassi d'interesse negativi).

Vabbè, lamentele a voce alta e nulla più.

Nel mio mondo ideale le Borse sono enti pubblici senza fini di lucro col solo scopo di agevolare in ogni modo la gestione del risparmio... Il MM è un dipendente pubblico che ha lo scopo di minimizzare il denaro-lettera :D
 
Già, con la conseguenza che se qualche pinco pallo capita davanti al book, non capisce cosa sta succedendo e vende..... il denaro informato può scaricare immediatamente a WS, dove il titolo è trattato regolarmente, ed incamerare un guadagno senza rischio.




Giustissima presa d'atto.

Solo, non capisco perchè "amara".

La realtà è che tenere il mercato – da sempre - ha costi espliciti ed impliciti, ed il retail non può pretendere che chi tiene il mercato lo faccia "gratis et amore dei" (come si diceva ai miei tempi).
Da sempre, nei pit umani, dove i locals si combattevano ferocemente per 1 tick c'era cameratismo in situazioni in cui la controparte era esterna. Chi era un outsider ed ha avuto modo di vedere da vicino un pit, ricorda assolutamente l'atmosfera del "noi contro loro", la stessa che si ha quando si arriva da stranieri in certi paesi un pò isolati dal mondo. La stessa cosa capita oggi, solo che non essendoci più il pit "umano", si può esprimere "solo" (and it’s enough) nei regolamenti, che sono scritti dal "banco", mica dall'utilizzatore.

Questo fatto, nella mia esperienza, è quello che fa deragliare i backtest teorici per i sistemi di brevissimo termine, ancora prima ed ancora di più dell'overfitting.
Il mercato non è un nostro collaboratore, il mercato è una controparte che fa i suoi interessi, esattamente come tutte le controparti che incontramo nella vita e con cui concludiamo contratti.



Per tornare all'intelligenza artificiale, un commento con riferimento a FCA-PSA: ieri mattina nelle prime fasi concitate, il mercato ha parificato le 2 capitalizzazioni di Borsa, reazione istintiva alla frase "fusione paritaria"
Bene, finchè non ci sarà una macchina in grado di capire alla velocità di un umano (cioè in qualche minuto) perchè quella cosa era sbagliata ( ed in effetti comprare FCA e shortare PSA era molto vicino ad un trade senza rischio ANCHE QUANDO PSA stava già perdendo l'8%), e di QUANTO era sbagliata........................ beh non venitemi a parlare di intelligenza artificiale, "machine" learning o altre diavolerie..... l'intelligenza ancora oggi è a tutti gli effetti solo umana (come la stupidità, by the way...).

Non ho mai neanche per un istante pensato che possa esistere l'intelligenza artificiale. Quindi condivido questa opinione.

L'intelligenza è associata al porsi domande, quella supposta artificiale quando va bene da solo risposte.

Quelle che vediamo oggi sono statistiche. Il ML, l'AI sono statistiche computazionali, ovvero portati all'estremo per cercare risposte più aderenti alla realtà.

Riguardo al messaggio di PAT, anche qui condivido la riflessione di Imar. I mercati dei capitali sono infrastrutture complesse che costano un sacco di soldi. Ci sono davvero pochissimi operatori che guadagnano tanto. La Intercontinental Exchange che controlla il NYSE ed Euronext ha revenues per appena 6 bilions di euro, farà ca. 2 bilions di euro di profitti. Per una capitalizzazione complessiva che sfiora i 35 trilioni di $ dei due mercati non credo sia tanto atteso il livello di qualità raggiunto.

Cmq l'afterhours è fatto per chi deve prendere una posizione a prescindere, in tal caso si pensa che il costo di transazione sia cmq trascurabile rispetto al beneficio di prendere quella decisione.
 
Ultima modifica:
Non ho mai neanche per un istante pensato che possa esistere l'intelligenza artificiale. Quindi condivido questa opinione.

L'intelligenza è associata al porsi domande, quella supposta artificiale quando va bene da solo risposte.

Quelle che vediamo oggi sono statistiche. Il ML, l'AI sono statistiche computazionali, ovvero portati all'estremo per cercare risposte più aderenti alla realtà.

Riguardo al messaggio di PAT, anche qui condivido la riflessione di Imar. I mercati dei capitali sono infrastrutture complesse che costano un sacco di soldi. Ci sono davvero pochissimi operatori che guadagnano tanto. La Intercontinental Exchange che controlla il NYSE ed Euronext ha revenues per appena 6 bilions di euro, farà ca. 2 bilions di euro di profitti. Per una capitalizzazione complessiva che sfiora i 35 trilioni di $ dei due mercati non credo sia tanto atteso il livello di qualità raggiunto.

Cmq l'afterhours è fatto per chi deve prendere una posizione a prescindere, in tal caso si pensa che il costo di transazione sia cmq trascurabile rispetto al beneficio di prendere quella decisione.

Bravo!
 
Buongiorno a tutti.

Come sapete, se avete letto i miei messaggi, 7 anni fa ho dovuto per motivi personali abbandonare alcune ricerche che stavo conducendo sui modelli predittivi. Avevo cercato di coniugare due concetti il Mathematical Modeling e quello che oggi più di ieri viene chiamato Machine Learning. Sino al momento in cui ho dovuto lasciare quell'impegno il Mathematical Modeling stava dando ottimi risultati, per non dire outstanding, viceversa il ML mi procurava grandi delusioni. Lasciai con un grande punto interrogativo ma con la promessa che avrei cercato di dare una risposta definitiva a quella domanda.
Dopo 7 anni, un lavoro monumentale(che mi ha davvero provato stavolta), over 20.000 source lines code di cui ca 15.000 built-in e 5.000 scritte da me (contate da un programma apposito) in modalità "array coding" per ridurre il numero totale di un fattore 10^2 e ridurre drammaticamente i tempi computazionali e tante altre cose posso finalmente rispondere(dopo che al terzo tentativo ho scritto il codice sorgente corretto per il parallel computing e molte ore di calcoli in notturna)alla domanda iniziale del thread: Si, il Machine Learning Supervisionato FUNZIONA! (Sono a 3 sigma di confidence level in crescita nel senso che ancora non ho trovato una predizione peggiore rispetto allo steady state).

Con uno scostamento dell'1% rispetto allo steady state delle variabili ottengo un miglioramento medio della predizione del 65,73% ed un sigma dei risultati del 7,16%, mentre rispetto alla funzione obiettivo il miglioramento sale tra il 70 ed 80% e questo perchè migliore è il risultato nell'in-sample mediamente migliore è il risultato nell'out-sample e questo era anche uno degli obiettivi da verificare. Davvero tanto altro ci sarebbe da dire ma mi limito a questo che in fondo è l'oggetto del thread.

Tanto vi dovevo!!!
 
Ultima modifica:
Prendo spunto da questo articolo per fare alcune riflessioni

Cio di umano che le macchine non avranno mai - Repubblica.it

Per capire la struttura random dei mercati finanziari e di quanto sia profonda bisogna avere in mente alcuni numeri. In Go il giocatore al primo passo si hanno 361 possibilità.

Adesso dalla mia ricerca ho desunto che il valore minimo per cui posso variare la singola variabile del modello matematico ed ottenere lo stesso path dello stato stazionario è pari ad un sigma di 10^-6 di una variabile espressa in percentuale quindi in valore assoluto siamo >= 10^-6. Ciò significa che se apro il sigma dell'estrazione di un numero casuale per un valore maggiore di 10^-6 inizio ad ottenere paths diversi da quello dello steady state.
Immaginate adesso di avere una rete neurale costituita da 10 nodi, le combinazioni possibili sono almeno (10^6)^10. E supponiamo che a questa rete siano dati in pasto i prezzi di 10 anni con 10 nodi e senza consumo di dati attraverso metodi arima, arm, o medie mobili etc etc siamo ad un livello di gradi di libertà che è pari a 10/2500. Significa che non dovremmo aspettarci overfitting dal modello.
Le combinazioni possibili su 10 nodi (>(10^6)^10) sono così tante che non esiste oggi alcun computer che possa eseguire una mole così ampia di paths ed anche se fosse potrebbe non scoprire alcun legame nei dati.
La strada quindi non è il ML per i mercati finanziari e non lo sarà mai. Se fosse questa Google o IBM starebbero già guadagnando bilions visto che alla fine il ML è intimamente legato alle potenze computazionali.
No la strada è maledettamente più complicata(e questa è la clausola di salvaguardia di chi opera nei mercati e dei mercati) e passa per un mix di branch coinvolte: dalla psicologia alla matematica, dalla statistica al ML, dall'ingegneria finanziaria alle infrastrutture di orders routing. Ogni elemento del puzzle va affinato il più possibile ed incastrato con l'altro e forse, dico forse alla fine hai un guadagno.

Rispetto all'articolo aggiungerei solo che non solo le macchine non sanno distinguere tra quali sono le domande che contano, ma il punto vero è che ad oggi le macchine non sanno porre le domande. E' solo quando queste saranno in grado, se lo saranno, di porsi una domanda che verrà raggiunta la singolarità.
 
Ultima modifica:
Un esempio semplice di come lavori un puro Machine Learning si ha guardando quelle che in gergo tecnico si chiamano weak correlations. Trattasi di correlazioni deboli, non spiegate, che la macchina scova analizzando i vari pattern e scovando correlazioni probabili, sebbene deboli.
Ad esempio anni fa uscì la notizia secondo la quale le azioni della Berkshire Hathaway's salivano in corrispondenza di news relative a Anne Hathaway (notare la corrispondenza dei nomi). La macchina individuava una weak correlation e comprava.
Does Anne Hathaway News Drive Berkshire Hathaway's Stock? - The Atlantic
 
Un esempio semplice di come lavori un puro Machine Learning si ha guardando quelle che in gergo tecnico si chiamano weak correlations. Trattasi di correlazioni deboli, non spiegate, che la macchina scova analizzando i vari pattern e scovando correlazioni probabili, sebbene deboli.
Ad esempio anni fa uscì la notizia secondo la quale le azioni della Berkshire Hathaway's salivano in corrispondenza di news relative a Anne Hathaway (notare la corrispondenza dei nomi). La macchina individuava una weak correlation e comprava.
Does Anne Hathaway News Drive Berkshire Hathaway's Stock? - The Atlantic



In tema di weak correlations, si è andati realmente molto molto in avanti.

Ad agosto 2018, secondo Zuckerman (the man who solved the market) la biotec Geron Corporation salì del 29%, poichè J&J, che a quella data collaborava allo sviluppo di una nuova medicina, aveva piazzato un annuncio di lavoro che menzionava i il nome del nuovo farmaco.

Le “macchine” ne avevano dedotto che la fase 2 della medicina allo studio stava per concludersi positivamente e che J&J avrebbe continuato ad impegnarsi negli investimenti necessari allo sviluppo (Johnson & Johnson Is Hiring -- and It's Ginormous News for Geron | The Motley Fool).

La cosa che Zuckerman non dice, è un mese dopo J&J pose fine alla partnership (Geron (NASDAQ:GERN) Plunges As Johnson & Johnson (NYSE:JNJ) Unit Discontinues Blood Cancer Drug Collaboration | Benzinga) e Geron perse il 66% in un giorno.

Tutto questo, ovviamente, pone interrogativi non solo in merito alla volatilità ingenerata sul mercato, nel momento in cui il trading è al 100% in mano ad un algoritmo (che è non solo automatizzare l’invio di ordini a mercato, ma lasciare stabilire alla macchina anche come deve svolgersi il processo decisionale che sta a monte), ma anche quanto possa essere reso inefficiente il principale ruolo che i mercati finanziari svolgono nel sistema economico (la “ price dicovery” e la – conseguente – efficiente allocazione del capitale tra diverse ipotesi di investimento).
 
In tema di weak correlations, si è andati realmente molto molto in avanti.

Ad agosto 2018, secondo Zuckerman (the man who solved the market) la biotec Geron Corporation salì del 29%, poichè J&J, che a quella data collaborava allo sviluppo di una nuova medicina, aveva piazzato un annuncio di lavoro che menzionava i il nome del nuovo farmaco.

Le “macchine” ne avevano dedotto che la fase 2 della medicina allo studio stava per concludersi positivamente e che J&J avrebbe continuato ad impegnarsi negli investimenti necessari allo sviluppo (Johnson & Johnson Is Hiring -- and It's Ginormous News for Geron | The Motley Fool).

La cosa che Zuckerman non dice, è un mese dopo J&J pose fine alla partnership (Geron (NASDAQ:GERN) Plunges As Johnson & Johnson (NYSE:JNJ) Unit Discontinues Blood Cancer Drug Collaboration | Benzinga) e Geron perse il 66% in un giorno.

Tutto questo, ovviamente, pone interrogativi non solo in merito alla volatilità ingenerata sul mercato, nel momento in cui il trading è al 100% in mano ad un algoritmo (che è non solo automatizzare l’invio di ordini a mercato, ma lasciare stabilire alla macchina anche come deve svolgersi il processo decisionale che sta a monte), ma anche quanto possa essere reso inefficiente il principale ruolo che i mercati finanziari svolgono nel sistema economico (la “ price dicovery” e la – conseguente – efficiente allocazione del capitale tra diverse ipotesi di investimento).

beh io ritengo che il puro ML tenderà a declinare all'aumentare degli operatori che utilizzano questa tecnica. Mi chiedo quante macchine hanno saputo predire le intemperanze di Trump sulla Trade War cin la Cina. Ritengo che questa tecnica possa essere ancora valida ma solo all'interno di modelli decisamente più legati a concetti profondi della statistica e della matematica.
 
Sempre più convinto che in mano alle macchine il mercato non sia descrivibile come "tendenza con volatilità" ma piuttosto come "piattume totale con enormi salti"...
 
  • Like
Reazioni: Mei
In tema di weak correlations, si è andati realmente molto molto in avanti.

Ho pensato proprio a questo tema quando ho letto del collocamento oggi di Gismondi, societa' storica nella produzione di gioielli

Gismondi1754 societa' storica nella produzione di gioielli di altissima gamma

Felice Gimondi e' stato un campione ben voluto da tutti, non vi e' uno che lo abbia odiato. Forse e' un brand spendibile sul mercato pubblicitario appena poco sotto al livello di Fausto Coppi, per la sfortuna che ha circondato la sua carriera nell'aver trovato un avversario invincibile.

Ecco, per questa weak correlation pensavo oggi che Gismondi sara' un successone in borsa, data la weak correlation con il nome di Gimondi.

Segnalo sul tema delle weak correlations un fatto che sicuramente Imar ricordera': il titolo Basic Net, uno stabilimento manifatturiero che produceva magliette di calcio, venne inteso essere un campione del web come Google e Facebook per la presenza del suffisso "net" nella seconda parte del nome.

Poi un giorno raddoppio' addirittura al rialzo (+100% daily) per una vittoria della nazionale di calcio italiana che la indossava.
 
Sempre più convinto che in mano alle macchine il mercato non sia descrivibile come "tendenza con volatilità" ma piuttosto come "piattume totale con enormi salti"...

Permettimi di essere dubbioso.
L'insider trading ha sempre vinto e sempre vincerà il confronto con il machine Learning.
Anzi, il futuro riserverà al machine Learning il ruolo di amplificatore dell'insider trading, almeno in quei paesi in cui il reato di insider trading non e' punito così pesantemente.

E visto che l'insider trading e' tutt'altro che debellato, ma e' anzi in crescita tumultuosa (per motivi sui quali non e' il caso qui di allargarci) la volatilita' non diventera' mai un piattume in futuro.
 
Permettimi di essere dubbioso.
L'insider trading ha sempre vinto e sempre vincerà il confronto con il machine Learning.
Anzi, il futuro riserverà al machine Learning il ruolo di amplificatore dell'insider trading, almeno in quei paesi in cui il reato di insider trading non e' punito così pesantemente.

E visto che l'insider trading e' tutt'altro che debellato, ma e' anzi in crescita tumultuosa (per motivi sui quali non e' il caso qui di allargarci) la volatilita' non diventera' mai un piattume in futuro.

Anche io non credo che la bassa volatilità del mercato (sopratutto americano l'unico che posso dire di conoscere) dipenda da algoritmi, machine learning, quant vari o da qualsiasi altra variabile per così dire micro. Ritengo che la progressione lineare verso l'alto dal 6 marzo 2009 e sino ad oggi (proprio adesso) in cui tocchiamo record su record sia dovuta a due fattori macro:
1) La FED ed il suo QE;
2) Corporate America continua ad assorbire tutto il valore aggiunto mondiale, con pochissime flessioni e/o incidenti di percorso.

Insomma tassi di interesse a zero, moneta facile, unito a utili giganteschi non possono che delineare una situazione di continuo rialzo con piccole e brevi flessioni.

E' chiaro che la bassa o bassissima volatilità unita all'unica direzione (verso l'alto) è veleno per qualsiasi idea di strategia che non sia trend follower o meglio ancora buy and hold.

Chiunque avesse nel marzo 2006 comprato un etf sul DJI avrebbe oggi un fatto +450% senza muovere un dito, certo l'anno scorso avrebbe avuto un DD di oltre il 20% ma se fai Buy and Hold lo metti nel conto.

Quest'anno l'unica volatilità dei mercati l'ha creata Trump con la Trade War, difficile per qualsiasi algoritmo prevedere il tweet di Trump sull'argomento. Si perchè dati alla mano gli unici tweet di Trump che muovono il mercato sono quelli sulla Trade War con la Cina.
 
Permettimi di essere dubbioso.
L'insider trading ha sempre vinto e sempre vincerà il confronto con il machine Learning.
Anzi, il futuro riserverà al machine Learning il ruolo di amplificatore dell'insider trading, almeno in quei paesi in cui il reato di insider trading non e' punito così pesantemente.

E visto che l'insider trading e' tutt'altro che debellato, ma e' anzi in crescita tumultuosa (per motivi sui quali non e' il caso qui di allargarci) la volatilita' non diventera' mai un piattume in futuro.

Anche io non credo che la bassa volatilità del mercato (sopratutto americano l'unico che posso dire di conoscere un pochettino) dipenda da algoritmi, machine learning, quant vari o da qualsiasi altra variabile per così dire micro. Ritengo che la progressione lineare verso l'alto dal 6 marzo 2009 e sino ad oggi (proprio adesso) in cui tocchiamo record su record sia dovuta a due fattori macro:
1) La FED ed il suo QE;
2) Corporate America continua ad assorbire tutto il valore aggiunto mondiale, con pochissime flessioni e/o incidenti di percorso.

Insomma tassi di interesse a zero, moneta facile, unito a utili giganteschi non possono che delineare una situazione di continuo rialzo con piccole e brevi flessioni.

E' chiaro che la bassa o bassissima volatilità unita all'unica direzione (verso l'alto) è veleno per qualsiasi idea di strategia che non sia trend follower o meglio ancora buy and hold.

Chiunque avesse nel marzo 2006 comprato un etf sul DJI avrebbe oggi fatto +450% senza muovere un dito, certo l'anno scorso avrebbe avuto un DD di oltre il 20% ma se fai Buy and Hold lo metti nel conto.

Quest'anno l'unica volatilità dei mercati l'ha creata Trump con la Trade War, difficile per qualsiasi algoritmo prevedere il tweet di Trump sull'argomento. Si perchè dati alla mano gli unici tweet di Trump che muovono il mercato sono quelli sulla Trade War con la Cina.
 
E’ il 2020, quindi tempo di bilanci.

Molti hedge sono andati male, pochissimi hanno battuto il mercato (SP500), ad esempio il Pure Apha II di Delio ha fatto -0.5%, e’ vero che two sigma e d.e shaw hanno fatto (vado a memoria). ca. +10%, ma comunque molti hedge hanno fatto male certamente non hanno battuto il mercato.
In USA il dibattito è se gli hedge quantitativi hanno fatto meglio, sembrerebbe di si ma in ogni caso i rendimenti medi non sono stati eccezionali

The Eurekahedge AI Hedge Fund Index

quelli guidati da AI hanno fatto in media ca. +5.63% quasi 1/6 dell SP500

Qui un confronto tra il classico hedge fund DJ index e l hedge fund AI index

The Eurekahedge AI Hedge Fund Index

Se escludessimo il 2010 dall AI che ha riportato un sontuoso quanto anomalo 54% (anomalo in quanto non L ha più rivisto) il DJ index che comunque in 10 anni L ha battuto, L avrebbe battuto molto di più.

Attenzione L AI index e’ composto da appena 27 fondi

Da eureka l AI index viene considerata come una secondary strategy rispetto alla main strategy.

Se confrontiamo la main strategy ad esempio long-short(871 fondi) notiamo che nel 2019 ha fatto +10.99% ca. Il doppi dell AI strategy che si può supporre alcuni fondi siano all interno anche del long-short strategy essendo questa la main.

Pertanto e’ probabile che quei fondi abbiano abbassato la media del long-short.

quindi possiamo dedurre che l AI non stia facendo questi risultati così clamorosi, anzi è verosimile che esso venga battuto da approcci quantitativi ma non AI. (Ricordiamo che L AI index e’ composto da 27 fondi rispetto agli 871 del long-short index, il primo e’ considerato un secondary strategy, il 2’ un main strategy)
 
Ragazzi interessante questo discorso, sia in termini di futuro del mercato azionario, sia in termini di MA e AI.

Chissa cosa succedera da qui nei prossimi 10 anni!
 
Indietro