Forex Data Mining Programvare

Introduksjon til FX Data Mining Vi gjør en enkel og rask introduksjon til et av de mest interessante feltene i dag - Data Mining. Det finnes et bredt spekter av data mining applikasjoner. Vi bør integrere Data Mining i vår FX trading. FX, FOREX eller Foreign Exchange FX er det største markedet når det gjelder daglig handlet volum. Den har tre hovednivåer av deltakere: de store guttene, mellomplanet og enkle handelsmenn som deg og meg. Det har en spekulativ natur, noe som betyr at vi ikke bytter varer mesteparten av tiden. Vi bryr oss bare om forskjellen og ønsker å kjøpe lavt og selge høyt eller selge høyt og kjøpe lavt. Ved korte eller lange operasjoner kan vi få pips. Avhengig av volumet ditt, kan pipverdien variere fra en cent til 10 og mer. Dette er den viktigste måten å tjene penger på valutamarkedet (sammen med Carry Trade, Brokering, Arbitrage og mer). Legg merke til at valutamarkedet er stort, men passer for alle nivåer av spillere. Tenk på valutamarkedet som et uendelig supermarked med uendelig antall produkter og kunder, men det har også et uendelig antall kasserere. Det betyr at det er like mange muligheter for alle. Data Mining og Machine Learning Data Mining er et modent delfelt i datalogi. Det handler om mye data og ikke trivial utvinning av brukbar kunnskap fra massive datamengder. Det er gjort av Intelligent databehandling ved hjelp av Machine Learning-algoritmer. Data Mining er ikke bare CRUD (Lag, Les, Oppdater og Slett). Vi har flere data mining metoder. Herav metodene og noen applikasjoner. Klassifisering - klassifisering av e-post som spam, klassifisering av en transaksjon som svindel. Forening - YouTube foreslår oss nye videoer basert på vår historie. Amazon foreslår oss flere varer under kassen. Clustering - analyse av ustrukturerte data som økonomiske nyheter og meninger for å finne felles grupper. Process Mining - undersøk logger av samtaleoperatører for å finne ineffektive operasjoner. Text Mining - gruvedrift eller teknisk analyse for mønstergenkjenning. Algoritmisk handel er en automatisert utførelse av en handelsalgoritme. I vårt tilfelle kommer handelsalgoritmen fra gruvedriften. Den automatiserte handel er utført av noen konge av programmeringsspråk. Hastighet og robusthet er viktige punkter her: Menneskelig næringsdrivende kan ikke slå dataprogrammet om disse egenskapene. Det kan være HFT (High Frequency Trading) og lavt nivå programmering (som C) eller langsiktig handel og høyt nivå programmering (som Java). Bland Algoritmisk Trading med Data Mining Blanding Data Mining i Algoritmic Trading er viktig. Det viktigste er data. Et enkelt prinsipp sier at hvis dine data ikke er gode nok, vil modellene dine ikke være gode nok (GIGO). Det handler om å lage en modell, implementere den og teste den (som alltid). For tiden er denne strømmen for det meste manuell. Data Mining Software Det er mange muligheter for åpen kildekode programvare innen Data Mining. WEKA er et Data Mining-rammeverk som stammer fra University of Waikato, Hamilton, New Zealand. WEKA er skrevet i Java og har en flott API. Du har også implementeringer for de fleste kjente maskinlæringsalgoritmer. Blanding av gode verktøy er avgjørende. Det er for mange mulige handelsmodeller. Å kaste en mynt er et dumt handelssystem, men det er et handelssystem. Vi trenger Data Mining for å finne gullet. Gode ​​verktøy er enkle å få så lykke til med gruvedrift. Hvis du er på utkikk etter mer informasjon om vitenskapelig FX-handel, er ditt neste trinn å utforske data mining verktøy og historiske data. Besøk algonell for mer informasjon. Du finner oss på twitter. facebook. Google. LinkedIn og WordPress. Backtesting Data Mining Backtesting Data Mining I denne artikkelen velg en titt på to relaterte praksis som er mye brukt av handelsfolk kalt Backtesting og Data Mining. Dette er teknikker som er kraftige og verdifulle hvis vi bruker dem riktig, men handelsfolk misbruker ofte dem. Derfor, vel også undersøke to vanlige fallgruver av disse teknikkene, kjent som multiple hypoteseproblemet og overfitting og hvordan du kan overvinne disse fallgruvene. Backtesting er bare prosessen med å bruke historiske data for å teste ytelsen til noen handelsstrategi. Backtesting starter vanligvis med en strategi som vi vil teste, for eksempel å kjøpe GBPUSD når den krysser over 20-dagers glidende gjennomsnitt og selger når den krysser under det gjennomsnittet. Nå kan vi teste den strategien ved å se hva markedet går framover, men det vil ta lang tid. Det er derfor vi bruker historiske data som allerede er tilgjengelige. Men vent, vent jeg hører deg si. Kunne ikke snyte eller i det minste være partisk fordi du allerede vet hva som skjedde i det siste. Det er definitivt en bekymring, så en gyldig backtest vil være en der vi ikke kjenner til de historiske dataene. Vi kan oppnå dette ved å velge tilfeldige tidsperioder eller ved å velge mange forskjellige tidsperioder for å gjennomføre testen. Nå kan jeg høre en annen gruppe av dere si, men alt som historisk data bare sitter der og venter på å bli analysert, er fristende, ikke det. Kanskje det er dype hemmeligheter i de dataene som bare venter på geeks som oss for å oppdage det. Ville det være så galt for oss å undersøke de historiske dataene først, for å analysere det og se om vi kan finne mønstre som er skjult i det. Dette argumentet er også gyldig, men det fører oss til et område med fare. Data Mining Data Mining verden innebærer å søke gjennom data for å finne mønstre og finne mulige korrelasjoner mellom variabler. I eksemplet ovenfor som involverte 20-dagers glidende gjennomsnittlig strategi, kom vi akkurat opp med den aktuelle indikatoren ut av det blå, men antar at vi ikke hadde anelse om hvilken type strategi vi ønsket å teste, da når datautvinning kommer til nytte. Vi kunne søke gjennom våre historiske data på GBPUSD for å se hvordan prisen oppførte seg etter at den krysset mange forskjellige bevegelige gjennomsnitt. Vi kunne også sjekke prisbevegelser mot mange andre typer indikatorer og se hvilke som tilsvarer store prisbevegelser. Gruvedriften om datautvinning kan være kontroversielt fordi det som om jeg diskuterte ovenfor virker litt som å snyde eller se fremover i dataene. Er data mining en gyldig vitenskapelig teknikk På den ene siden sier den vitenskapelige metoden at den skulle lage en hypotese først og deretter teste den mot våre data, men på den annen side synes det hensiktsmessig å gjøre noen undersøkelser av dataene først for å foreslå en hypotese. Så som er riktig Vi kan se på trinnene i den vitenskapelige metoden for å få en anelse om forvirringen. Prosessen ser generelt ut som dette: Observasjon (data) Hypoteseprognos Eksperiment (data) Legg merke til at vi kan håndtere data i både observasjons - og eksperimentstadiene. Så begge visninger er riktige. Vi må bruke data for å skape en fornuftig hypotese, men vi tester også den hypotesen ved bruk av data. Trikset er ganske enkelt å sikre at de to datasettene ikke er de samme. Vi må aldri teste vår hypotese ved å bruke det samme settet av data som vi pleide å foreslå vår hypotese. Med andre ord, hvis du bruker data mining for å komme opp med strategide ideer, må du sørge for at du bruker et annet sett med data for å sikkerhetskopiere disse ideene. Nå, vær oppmerksom på de viktigste fallgruvene med å bruke data mining og backtesting feil. Det generelle problemet er kjent som overoptimalisering, og jeg foretrekker å bryte dette problemet ned i to forskjellige typer. Dette er problemet med flere hypoteser og overfitting. På en måte er de motsatte måter å gjøre den samme feilen. Problemet med flere hypoteser innebærer å velge mange enkle hypoteser mens overfitting innebærer opprettelse av en svært kompleks hypotese. Problemet med flere hypoteser For å se hvordan dette problemet oppstår, kan vi gå tilbake til vårt eksempel hvor vi testet 20-dagers glidende gjennomsnittlig strategi. La oss anta at vi backtest strategien mot ti års historiske markedsdata, og se, og se, hva Resultatene ikke er veldig oppmuntrende. Imidlertid, å være grove og tommelhandlere som vi er, bestemmer vi oss for ikke å gi opp så enkelt. Hva med et ti-dagers glidende gjennomsnitt. Det kan virke litt bedre, så vi kan sjekke det. Vi driver en annen backtest, og vi finner at resultatene fremdeles er storslåtte, men de er litt bedre enn 20-dagers resultatene. Vi bestemmer oss for å utforske litt og løpe lignende tester med 5-dagers og 30-dagers glidende gjennomsnitt. Endelig skjer det for oss at vi faktisk bare kunne teste hvert eneste glidende gjennomsnitt opp til et punkt og se hvordan de alle utfører. Så vi tester 2-dagers, 3-dagers, 4-dagers og så videre helt opp til 50-dagers glidende gjennomsnitt. Nå vil noen av disse gjennomsnittene utføre dårlig, og andre vil utføre ganske bra, men det må være en av dem som er det absolutte beste. For eksempel kan vi finne at 32-dagers glidende gjennomsnitt viste seg å være den beste utøveren i løpet av denne tiårsperioden. Betyr dette at det er noe spesielt med 32-dagers gjennomsnittet og at vi skal være sikre på at det vil fungere bra i fremtiden. Dessverre antar mange handelsmenn at dette er tilfelle, og de stopper bare analysen deres på dette punktet, og tenker at de har oppdaget noe dyptgående. De har falt inn i Multiple Hypothesis Problem fallgruva. Problemet er at det ikke er noe uvanlig eller signifikant om at noen gjennomsnitt viste seg å være det beste. Tross alt testet vi nesten femti av dem mot de samme dataene, så vi regner med å finne noen gode utøvere, bare ved en tilfeldighet. Det betyr ikke at det er noe spesielt med det spesielle glidende gjennomsnittet som vant i dette tilfellet. Problemet oppstår fordi vi testet flere hypoteser til vi fant en som fungerte, i stedet for å velge en enkelt hypotese og teste den. Heres en god klassisk analogi. Vi kunne komme opp med en enkelt hypotese som Scott er flott på flippende hoder på en mynt. Fra det kan vi lage en prediksjon som sier, hvis hypotesen er sant, vil Scott kunne bla 10 hoder på rad. Da kan vi utføre et enkelt eksperiment for å teste den hypotesen. Hvis jeg kan slå 10 hoder på rad, er det faktisk ikke bevis på hypotesen. Men hvis jeg ikke klarer å fullføre denne prestasjonen, beklager det definitivt hypotesen. Som vi gjør gjentatte eksperimenter som ikke klarer å motbevise hypotesen, vokser vår tillit til sin sannhet. Det er den riktige måten å gjøre det på. Men hva om vi hadde kommet opp med 1000 hypoteser istedenfor bare den ene om at jeg var en god myntfinger Vi kunne lage den samme hypotesen om 1000 forskjellige mennesker. jeg, Ed, Cindy, Bill, Sam, etc. Ok, nå kan vi teste våre flere hypoteser. Vi ber alle 1000 mennesker å snu en mynt. Det vil nok være omtrent 500 som flip hoder. Alle andre kan gå hjem. Nå ber vi de 500 menneskene å vende på nytt, og denne gangen vil ca. 250 vende hodet. På den tredje flippen går det om lag 125 personer, på den fjerde er omtrent 63 personer igjen, og på den femte flippen er det ca 32. Disse 32 menneskene er alle ganske fantastiske arent de de har alle vendt fem hoder på rad Hvis vi flipper fem flere ganger og eliminere halvparten av menneskene hver gang i gjennomsnitt, vil vi ende opp med 16, deretter 8, deretter 4, deretter 2 og til slutt en person igjen som har vendt ti hoder på rad. Dets Bill Bill er en fantabulous flipper av mynter Eller er han Vel, vi vet egentlig ikke, og det er poenget. Bill kan ha vunnet vår konkurranse ut av ren sjanse, eller han kan godt være den beste flipper av hodene denne siden av Andromeda-galaksen. På samme måte vet vi ikke om det 32-dagers glidende gjennomsnittet fra vårt eksempel ovenfor bare virket bra i vår test med ren sjanse, eller hvis det egentlig er noe spesielt med det. Men alt vi har gjort hittil er å finne en hypotese, nemlig at 32-dagers glidende gjennomsnittlig strategi er lønnsom (eller at Bill er en flott myntfinger). Vi har egentlig ikke testet den hypotesen ennå. Så nå som vi forstår at vi ikke har oppdaget noe som er noe viktig, men om 32-dagers glidende gjennomsnitt eller om Bills evne til å vende mynter, er det naturlige spørsmålet å spørre om hva vi skal gjøre siden. Som jeg nevnte ovenfor, innser mange handelsfolk aldri at det er er et neste skritt nødvendig i det hele tatt. Vel, når det gjelder Bill, spør du sannsynligvis, Aha, men kan han flippe ti hoder på rad igjen. Når det gjelder 32-dagers glidende gjennomsnitt, vil wed prøve å teste det igjen, men absolutt ikke mot den samme dataprøven som Vi pleide å velge den hypotesen. Vi ville velge en annen tiårsperiode og se om strategien fungerte like bra. Vi kunne fortsette å gjøre dette eksperimentet så mange ganger som vi ønsket til det var vår forsyning av nye tiårsperioder utløpt. Vi refererer til dette som ut av prøvetest, og det er veien å unngå denne fallgruven. Det finnes ulike metoder for slik testing, hvorav den ene er kryssvalidering, men vi kommer ikke inn i så mye detaljer her. Overfitting er virkelig en slags reversering av det ovennevnte problemet. I eksemplet over flere hypoteser over, så vi på mange enkle hypoteser og plukket den som gjorde det beste i fortiden. I overfitting ser vi først på fortiden og deretter konstruerer en enkelt kompleks hypotese som passer godt med det som skjedde. Hvis jeg for eksempel ser på USDJPY-prisen i løpet av de siste 10 dagene, kan jeg se at den daglige lukkingen gjorde dette: opp, opp, ned, opp, opp, opp, ned, ned, ned, opp. Fikk det Se mønsteret Ja, det gjør jeg heller ikke. Men hvis jeg ønsket å bruke disse dataene for å foreslå en hypotese, kan jeg komme opp med det. Min fantastiske hypotese: Hvis sluttkursen går opp to ganger på rad og deretter ned i en dag, eller hvis det går ned i tre dager på rad, bør vi kjøpe, men hvis sluttkursen går opp tre dager på rad, bør vi selge , men hvis det går opp tre dager på rad og deretter ned tre dager på rad, bør vi kjøpe. Huh høres ut som en whacky hypotese rett, men hvis vi hadde brukt denne strategien de siste 10 dagene, ville vi ha vært rett på hver eneste handel vi gjorde. Overfitter bruker backtesting og data mining annerledes enn de mange hypotese beslutningstakere gjør. Overfitteren kommer ikke opp med 400 forskjellige strategier for backtest. Ingen måte Overfitter bruker data mining verktøy for å finne ut en eneste strategi, uansett hvor komplisert, det ville ha hatt den beste ytelsen i løpet av backtesting perioden. Vil det fungere i fremtiden Ikke sannsynlig, men vi kunne alltid fortsette å justere modellen og teste strategien i forskjellige prøver (ut av prøvetesting igjen) for å se om ytelsen forbedres. Når vi slutter å få ytelsesforbedringer, og det eneste som stiger, er kompleksiteten til modellen vår, så vet vi at vi har krysset linjen inn i overfitting. Så i sammendraget har vi sett at datautvinning er en måte å bruke våre historiske prisdata på, for å foreslå en brukbar handelsstrategi, men at vi må være oppmerksomme på fallgruvene til flerhypoteseproblemet og overfitting. Måten å sikre at vi ikke faller i bytte til disse fallgruvene, er å backtest vår strategi ved hjelp av et annet datasett enn det vi brukte under vår datautvinning. Vi refererer vanligvis til dette som ut av prøvetesting. Et problem med Data mining er at handelsfolk pleier å bruke forskjellige typer filtre for å søke etter et mønster. Problemet med dette er at ethvert signal er sammensatt av de forskjellige sinusformede signaler, så når du bruker forskjellige filtre til et signal, vil vi helt sikkert ende opp med et mønster. Mange studier har blitt gjort på pris mønster, for det meste er basert på data mining, spørsmålet vil antakelsen om at fremtiden spegler fortiden, svaret er kanskje. Vi har 5050 sjanse. Prosentandelen kan økes ved å studere dette mønsteret på forskjellige data. Hvis vi selv ønsker å øke denne prosentdelen, må vi vite hva årsaken til dette mønsteret er, ved å vite årsaken til dette mønsteret vil vi ha en fordel i handel. For eksempel vil jeg gjøre denne antagelsen, let8217s sier at den første fredag ​​i hver måned på grunn av nyheten mange handelsfolk har en tendens til å gå ut av sine handler om morgenen før nyhetene og gå inn igjen etter nyhetene, så det er et mønster av salg og Kjøper på bestemt tidspunkt. Vi kunne bruke denne informasjonen til vår fordel ved å bruke en slags sikringshandel, så vi går inn med både kjøp og salg før nyheten. så etter nyheten selger vi bare for hvem som ønsker å kjøpe og didn8217t ønsker å holde en posisjon under nyhetene, og vi lar kjøpet til prisen kommer tilbake, dette kan brukes på såpenrente, eller et annet oppsett 8230 bla bla. dette er bare en teori. Jeg bruker det til å si at frykt og grådighet har en tid i markedet. Så hva skaper prismønsteret er frykt og grådighet, nå hvis vi isolerer mønsteret og kjenner årsaken bak dette mønsteret som i forrige eksempel frykt for nyheten eller oppgjør kontoen ved slutten av måneden. slike ting. da kunne vi i teorien forutse fremtiden de to første innleggene er kopiert fra dette nettstedet. Alle artiklene fra Scott Percival er verdt å lese. Excellent Thread MiniMe Bli med oss ​​last ned MetaTrader 5 Copyright 2000-2016, MQL5 Ltd. Data Mining en Forex Majors strategi på grunn av De unike egenskapene til ulike valutapar er mange kvantitative Forex-strategier designet med et bestemt valutapar i tankene. Selv om dette kan produsere mange lønnsomme handelsstrategier, er det også fordeler med å utvikle strategier som kan handles på tvers av flere valutapar. Dette introduserer et element av diversifisering som kan gi et ekstra nivå på nedsidebeskyttelse. Daniel Fernandez publiserte nylig et system som han designet for å handle på hver av de fire Forex-majors. Målet hans var å finne et system som ville ha produsert en 20 års oversikt over lønnsom handel på EURUSD, GBPUSD, USDJPY og USDCHF. Daniel bruker en data mining tilnærming til å utvikle en strategi for handel av de fire Forex majors. For å konstruere sitt system brukte Daniel sin data mining programvare for å definere inngangs - og utgangssignaler som ville ha produsert en lønnsom handelsstrategi på hvert av de fire valutaparene de siste 20 årene. Det han møter er en kombinasjon av tre prisbaserte regler som danner grunnlaget for sin Forex Majors-strategi. Daniel8217s Forex Majors Strategi Daniel8217s Forex Majors strategi er veldig enkel fordi den alltid har en stilling, enten lang eller kort, i hver av de fire valutaparene som den handler. Den baserer alle sine handler på daglige diagrammer. Strategien går lang når følgende tre betingelser er oppfylt: Strategien går kort når følgende tre betingelser er oppfylt: Som du kan se er strategien i utgangspunktet en optimal trendstrategi. Dette gir mening fordi Daniel sier i begynnelsen av sin artikkel at langsiktig trend etter strategier generelt er de beste strategiene for handel med flere markeder. En ekstra regel som Daniel8217s strategi bruker, er et ATR-basert stoppested. Det faste stoppet er satt til 180 av 20-dagers ATR. Hvis stoppet utløses, forblir strategien ute av markedet til et signal genereres i motsatt retning. Testing indikerer at re-enter på et signal i samme retning negativt påvirket ytelse. Backtesting Performance De backtesting resultatene som Daniel inkluderte i hans innlegg viser at strategien var ganske lønnsom. Det ga et vinnerforhold på 45, en fortjenestefaktor på 1,38, og en belønning til risikoforhold på 1,68. Daniel8217s største bekymring for strategien var at den maksimale uttrekningstiden utgjorde svært lang tid. Ifølge Daniel8217s tall var gjennomsnittlig årlig avkastning 9,67. Dette besto av 16 lønnsomme år, 4 tapende år og ett år som i utgangspunktet brøt til og med. Det beste året var en avkastning på 37,76, og det verste året var et tap på 20,2. Daniel bemerker at dette systemet ikke ville utgjøre en god frittstående strategi på grunn av avkastningen i forhold til maksimale drawdowns. Imidlertid foreslår han at det kan være et interessant stykke av en større, multi-systemstrategi. Wait Hvis du trenger ytterligere informasjon for å se hvordan TradeMiner kan hjelpe deg i din handel. TradeMiner Software identifiserer historiske sesongmessige tendenser og markedssykluser En vitenskapelig dokumentert metodikk: Juster kriterier for å få umiddelbare resultater av historiske trender. Skanning for historiske sesongtrender gjøres enkelt ved å samhandle med avsnittet som vist ovenfor. Søk etter trender etter måned eller for et bestemt symbol Definer minimum historisk nøyaktighet (dvs. 80 historisk gevinstprosent over ti år ville bety minst 8 av de siste 10 årene må ha vært i tråd med sesongmessige trenden.) Smal eller Utvid handelsdager. Dette indikerer varigheten av antall dager du vil at trenden skal være (dvs. 15 handelsdager til 45 handelsdager ser etter trender som varer tre uker til ni uker.) Velg hvor mange år du skal se tilbake. Dette alternativet lar deg sette minimum antall år TradeMiner vil se tilbake for å finne historiske trender. Filtre luker ut overlappende trender (det vil si trender som starter samme dag, men slutter på forskjellige dager, eller hvis de overlapper i det hele tatt.) Ved å velge Dig nå, skal du skanne gjennom den historiske databasen og identifisere trender og sykluser som oppfyller dine kriterier. TradeMiner vil rangere de historiske resultatene i henhold til et proprietært rangeringssystem. Dette systemet rangerer høyere valgene med de største historiske gevinster på kortest tid, med minst mulig historisk risiko. Poengrangeringen fungerer på en skala fra null til fem, og inkluderer en lettlest, fargekodet nøkkel. Analyser grafer Mangfoldet av diagrammer i TradeMiner gjør at du kan se resultatene fra de foregående årene, identifisere historisk risiko vs. belønning og se detaljerte handelslogger over tidligere års trender. Visuelt den historiske trenden og se resultatene fra de siste årene. I TradeMiner kan du velge noen av de følgende diagrammene, og de vil dukke opp i det nedre, større diagramvinduet. Denne større visningen gir og ytterligere detaljer for hvilken som helst valgt handel. Historisk egenkapitalgraf Historisk risiko mot belønning År for år Handelsdetaljer