Arquitetura Do Sistema De Negociação De Alta Freqüência

Design de sistema de negociação de alta freqüência e gerenciamento de processos Design de sistema de negociação de alta freqüência e gerenciamento de processos Conselheiro: Roy E. Welsch. Departamento: Programa de Design e Gestão de Sistemas. Editora: Massachusetts Institute of Technology Data de emissão: 2009 As empresas comerciais hoje em dia são altamente dependentes da mineração de dados, modelagem de computadores e desenvolvimento de software. Os analistas financeiros executam muitas tarefas semelhantes às das indústrias de software e fabricação. No entanto, o setor financeiro ainda não adotou completamente estruturas de engenharia de sistemas de alto padrão e abordagens de gerenciamento de processos que tenham sido bem sucedidas nas indústrias de software e fabricação. Muitas das metodologias tradicionais para design de produtos, controle de qualidade, inovação sistemática e melhoria contínua encontradas em disciplinas de engenharia podem ser aplicadas no campo das finanças. Esta tese mostra como o conhecimento adquirido de disciplinas de engenharia pode melhorar o gerenciamento de projetos e processos de sistemas de negociação de alta freqüência. Os sistemas de negociação de alta freqüência são baseados em computação. Esses sistemas são sistemas de software automáticos ou semi-automáticos que são inerentemente complexos e requerem um alto grau de precisão de projeto. O design de um sistema de comércio de alta freqüência liga vários campos, incluindo financiamento quantitativo, design de sistemas e engenharia de software. No setor financeiro, onde as teorias matemáticas e os modelos comerciais são relativamente bem pesquisados, a capacidade de implementar esses projetos em práticas comerciais reais é um dos elementos-chave da competitividade das empresas de investimento. A capacidade de converter idéias de investimento em sistemas de negociação de alto desempenho de forma eficaz e eficiente pode dar uma empresa de investimento uma enorme vantagem competitiva. (Cont.) Esta tese fornece um estudo detalhado composto por design de sistema de negociação de alta freqüência, modelagem de sistemas e princípios e gerenciamento de processos Para o desenvolvimento do sistema. É dada especial ênfase ao backtesting e otimização, que são consideradas as partes mais importantes na construção de um sistema comercial. Esta pesquisa constrói modelos de engenharia de sistemas que orientam o processo de desenvolvimento. Também usa sistemas de comércio experimental para verificar e validar os princípios abordados nesta tese. Finalmente, esta tese conclui que princípios e estruturas de engenharia de sistemas podem ser a chave para o sucesso na implementação de sistemas de investimento de alta freqüência ou de investimento quantitativo. Tese (S. M.) - Instituto de Tecnologia de Massachusetts, Projeto de Sistema e Programa de Gestão, 2009. Catalogado a partir da versão em PDF da tese. Inclui referências bibliográficas (p. 78-79). Palavras-chave: Programa de Design e Gestão de Sistemas. Minha conta. Na verdade, existem apenas 3 blocos principais em um sistema de comércio Algo. 1. Manipulador de dados do mercado (por exemplo, manipulador FAST) 2. Módulo de estratégia (por exemplo, estratégia crossOver) 3. Encomendar roteador (por exemplo, roteador FIX), você pode adicionar verificações de risco no módulo de estratégia ou no módulo de roteador de pedidos ou ambos. Por enquanto, seu fluxo de dados está correto, você deve estar pronto para ir. Lembre-se de que você está projetando um ATS para uma latência mínima e a adição de mais camadas ou complexidade virá ao custo da latência. Arquitetura mínima de ATS E se você adicionar os sinos e assobios, pareceria o seguinte: se você também estiver interessado no conteúdo da implementação da arquitetura acima, você deve manter as seguintes coisas em mente. Evite locksmutexes. No caso de você ter que usá-lo, tente substituí-los por estruturas sem trava usando atomics. Existem algumas bibliotecas disponíveis para estruturas de dados sem bloqueio (por exemplo, libcds, kit de concorrência etc.). C-11 suporta std :: atomic. E você deve se esforçar para usá-los também. Evite o que é feito no QuickFIX. É escrito para a flexibilidade de segurança, pois a criação e destruição do objeto (bloqueio) é feita para cada invocação de qualquer mensagem para o roteador. Certamente, não há como escrever um código sensível à latência. Nenhuma atribuição de memória em tempo de execução. O caminho de tempo de execução deve usar gerenciamento de memória personalizado e sem bloqueio com pool de memória pré-alocada. Toda a inicialização pode ser feita em construtores. Acoplamento apertado. O modelo de Threading, o modelo de IO e o gerenciamento de memória devem ser projetados para colaborar uns com os outros para alcançar o melhor desempenho geral. Isso vai contra o conceito OOP de acoplamento solto, mas é necessário evitar o custo de tempo de execução do polimorfismo dinâmico. Use modelos. Na mesma linha, eu também sugeriria que você olhasse a C templatização para conseguir flexibilidade de código. Otimização do OSHardware: Finalmente, você deve procurar trabalhar com a placa de rede Linux RT Kernel e Solarflare com o driver OpenOnLoad para alcançar a latência mínima. Você pode olhar para isolar a CPU e executar seu programa nesse núcleo específico. E, finalmente, a API pública que você precisaria expor aos desenvolvedores de estratégias. Gostaria que este fosse o conjunto mínimo que encapsularia toda a complexidade desse intercâmbio particular. Class OrderRouter public: virtual bool sendNewOrd (OrderInfo) 0 virtual bool sendRplOrd (OrderInfo) 0 virtual bool sendCxlOrd (OrderInfo) 0 virtualBut isso significa que a Classe OrderInfo precisa ter TODOS os detalhes exigidos pelo destinoexchange. Em geral, os intercâmbios exigem o mesmo tipo de informação, mas, à medida que você acompanha e apoia mais discussões de intercâmbios, você se encontrará adicionando mais variáveis ​​nesta classe. Os seguintes são os principais desafios que você precisa se perguntar: 1. Arquitetura multiprocesso ou arquitetura Multi-Threaded. Seja para construir um processo monolítico com vários tópicos, ou escrever vários processos. O custo do processo múltiplo é a latência de passagem de mensagem, enquanto o custo do processo único de thread múltiplo é que qualquer falha pode reduzir todo o sistema. 2. Mensagem que passa: enquanto você pode escolher uma infinidade de opções, você está restrito por consideração de latência. O IPC mais rápido seria memória compartilhada, mas então, como você faria a sincronização, passaria algum tempo com essas duas perguntas, porque elas seriam o bloco de construção em que sua arquitetura se encontra. Editar: FIX e FAST Em relação ao protocolo popularstandard, o FIX é para enviar pedidos e FAST é para dados de mercado. Dito isto, a maioria das trocas tem seu próprio protocolo nativo, que é mais rápido que o FIX, porque o FIX geralmente é implementado no topo do seu protocolo nativo. Mas eles ainda suportam o FIX para aumentar a velocidade de implantação. Por outro lado, enquanto o FIX é adotado pela maioria das trocas, o FAST não goza de uma ampla aceitação. Se alguma coisa, haveria apenas um punhado de troca adotando-o. A maioria deles envia o próprio FIX (baixa latência) ou usa seu próprio protocolo binário nativo. por exemplo. Na Índia, NSE, BSE e MCXMCXSX, todas as três trocas fornecem o protocolo FIX, além do protocolo nativo, mas apenas a BSE oferece FAST para dados de mercado. E isso também está passando de FAST para nativo com a introdução do EOBI. Você pode extrapolar o mesmo para outras trocas. 3.6k Vistas middot View Upvotes middot Não é para reprodução Como John mencionou, a OMS é o cerne de qualquer plataforma de negociação e você deve começar a pesquisar sobre isso. Você precisaria gastar tempo para determinar o ciclo de vida do seu comércio, eventos e recursos que deseja inserir no OMS e aqueles que você deseja que seu Algo Engine lide. A Metcetera oferece uma OMS de código aberto, eu não usei isso pessoalmente, mas é uma das poucas no mercado. A próxima coisa que você deve observar é fornecer uma interface para a fonte de dados e empurrá-la. Isto é para um sistema de entrada de pedido de cliente para lançar os detalhes da ordem e o mecanismo da Algo para gerá-lo. Muitas Sales Side OMS039s usam uma combinação de programas proprietários escritos em JavaC usando o FIX. O protocolo FIX permite que você comunique em tempo real em todos os sistemas em um formato de mensagem pré-definido de amplificador simplificado estabelecido pela comunidade de protocolos FIX. Vá para a página inicial do Organismo de Protocolo FIX para obter mais informações sobre isso. Também olha para Open Source FIX Engine. Uma implementação de fonte aberta do mecanismo FIX. Em seguida, vem uma interface de dados de mercado para obter informações de mercado de segurança de tempo em tempo real, dados que variam de HighLowOpenClose para Best BidBest Ask, Volume negociado total, Último preço, Último volume, Cotações de lances, Pedir orçamentos, etc. As informações que você procura realmente dependem do tipo de Estratégia que deseja implementar. Eu acredito que o Interactive Broker fornece um feed de dados em tempo real via FIX. A conectividade do Exchange é a próxima onde seu Algo interpreta os sinais, cria um pedido e roteia para um Exchange ou ECN. Desenvolvê-lo em casa pode ser difícil, pois você precisaria trabalhar com a associação do Exchange, certificar sua plataforma e pagar uma taxa de associação regular. Uma maneira mais barata é usar uma API de corretor (como IB) e rotear a ordem através delas. Os dados históricos também são essenciais, pois você pode querer comparar o comportamento atual do mercado com seus valores históricos. Parámetros como spread médio, perfis VWAP, volume diário médio etc. podem ser necessários para influenciar a tomada de decisões. Você pode tê-lo no banco de dados (preferido), mas se a velocidade da essência, então, baixe-o no cache do servidor quando você inicia seu programa. Uma vez que seus sistemas periféricos estão configurados, você pode começar a desenvolver seu programa de algo da maneira que você deseja que ele funcione. Esta infra-estrutura básica permitiria que você insira uma ordem de algo pai, leia dados de mercado, reaja aos sinais, mas que gerasse ordens infantis e colocasse no livro de pedidos de câmbio e dados históricos para influenciar a tomada de decisões. O OMS mantém a ligação entre a ordem do filho amador principal, seus status em tempo real e atualizações pela plataforma de conectividade de troca ou algo. O que você deseja implementar dentro do Algo é completamente para você. 2.1k Views middot View Upvotes middot Não para reprodução Por favor, note: Parte 1 deste ensaio apareceu na edição de Febvier 2015 da Contributoria. É publicado e modificado aqui sob uma licença Creative Commons. PARTE 1 (3500 palavras) Um primário de 900 milhões de microsecondos sobre o comércio de alta frequência No tempo que leva você a ler esta frase, um algoritmo de negociação de alta freqüência (HFT), conectado a uma bolsa de valores através da infra-estrutura comercial de 8220 baixa latência8221, poderia fazer , Talvez, mil comércios. Eu digo talvez, porque realmente depende de quanto tempo você faz uma pausa sobre as vírgulas que coloquei na frase. Se você for um indivíduo com grande respeito pelas vírgulas, você pode dar ao algoritmo a chance de jogar em mais algumas centenas de pedidos. Let8217s apenas esclarecem isso. Isso significa que os computadores possuídos (ou alugados) por uma empresa em algum lugar podem 1) pegar dados de uma bolsa de valores, 2) processá-lo através de um sistema de regras codificado passo a passo (algoritmo) para tomar uma decisão sobre comércio ou não , 3) envie uma mensagem de volta à troca com um pedido de ações de propriedade em uma empresa 8211, por exemplo, uma empresa que fabrica brinquedos para crianças 8217 4) obtenha a ordem executada e confirmada e 5) repita isso talvez 250 vezes por segundo . Bem, pode ser mais ou menos assim também, e para ser honesto, poucas pessoas parecem realmente saber o quão rápido esses motores algorítmicos trocam. Mas, mesmo que estejam negociando apenas 50 vezes por segundo, ou mesmo apenas 10 vezes por segundo, ele ainda é desumano rápido. Tendo trabalhado nos mercados de negociação financeira 8211, embora em mercados de swaps over-the-counter mais lentos, e trabalhando em uma variedade de campanhas de advocacia relacionadas ao comércio financeiro, esse é um assunto que me fascina. O objetivo desta peça, porém, não é necessariamente convencê-lo sobre se o HFT é ou não uma coisa boa ou ruim. Em vez disso, é fornecer alguns quadros através dos quais olhar para o fenômeno, e através do qual entender os debates e notícias que, sem dúvida, continuará a ser escrito sobre isso nos próximos anos. 1.1: Colocando HFT em contexto HUMANS: SO SLOOOWWWW Houve um tempo, no passado distante da década de 1970, quando os negócios nas bolsas de valores eram basicamente o domínio exclusivo dos atores humanos. Se era o investidor prudente e de longo prazo comprando uma carteira de ações para um fundo de aposentadoria ou o especulador de cowboy comprando e vendendo em rápida sucessão, o processo sempre foi limitado pela velocidade da mente humana e o tempo necessário para realmente Pegue um telefone e faça um pedido. Mesmo o especulador mais rápido ainda demoraria vários minutos para completar os negócios. Hoje em dia, isso não é mais o caso. A confluência de tecnologia informática, técnicas de codificação e infra-estrutura de comunicação permitiu que os comerciantes automatizassem os processos de pensamento humano transformando-os em algoritmos que podem ser executados usando feixes de luz em cabos de fibra óptica. O tempo necessário para completar um comércio mergulhou no reino de milissegundos e até mesmo de microssegundos, meros milésimos e milionésimos de segundos. Isso trouxe à vida o reino surreal da negociação de alta freqüência. Ele não saiu do nada 8211 it8217s há muito tempo se desenvolvendo, desde os primeiros dias do 8220program comercialização 8221 na década de 80, gradualmente cada vez mais rápido 8211, mas é apenas nos últimos anos que as pessoas começaram a tomar conhecimento. Em particular, aconteceu durante o Flash Crash de 2010, quando o mercado de ações dos Estados Unidos inexplicavelmente caiu e depois se corrigiu em poucos minutos, um evento que muitos atribuíram aos algoritmos HFT que estão faltando. 1.2: Como devo me sentir sobre isso, não presumo saber como você deve se sentir sobre isso. As pessoas estão rotineiramente preocupadas com coisas inofensivas e rotineiramente completamente despreocupadas com coisas incrivelmente prejudiciais. O que podemos dizer, porém, é que para muitas pessoas comuns que se dedicam ao trabalho do dia-a-dia envolvendo mão de obra real, o conceito de um comerciante de robôs que faz 100 transações no tempo que leva a tomar uma chávena de chá faz Eles se sentem desconfortáveis. A prática pode simplesmente parecer não natural, ou complexa, ou fora de controle, ou apenas estranha. Mesmo que pareça não prejudicar, é difícil até mesmo conceituar o que é. Quero dizer, os engenheiros aeroespaciais fazem algo que é bastante complexo e posso informá-lo como eles fazem isso tecnicamente, mas, no entanto, eu entendo o que eles fazem em princípio: eles projetam máquinas voadoras que permitem às pessoas viajar longas distâncias. Um designer de algoritmo de negociação de alta freqüência, por outro lado, faz o que exatamente. Bem, sabemos que ganham dinheiro, mas normalmente as pessoas ganham dinheiro fazendo algo que tem algum valor de uso para a sociedade, como encaixar tubos em seu banheiro ou projetar seu negócio Cartão ou abate de gado para fazer hambúrgueres. Se tivéssemos de perguntar qual o propósito da HFT, por outro lado, as pessoas provavelmente parariam um pouco antes de tentar responder. A obscuridade da técnica e do objetivo levanta naturalmente a suspeita de que este é apenas outro esquema de elites financeiras inchadas para extrair mais da sociedade. Ou claro, para aqueles profissionais financeiros que trabalham na HFT, as pessoas que estão assustadas sobre isso podem ser vistas um pouco como camponeses supersticiosos e ignorantes que não entendem os mercados. Eles querem que as pessoas anulem essa sensação intuitiva de que há algo estranho em relação à HFT, e apenas relaxar: 8220 Somos cientistas, racionalistas difíceis, paramos o que você não quer dizer sobre isso. It8217s é perfeitamente natural. Nós não devemos ganhar dinheiro se o nosso serviço não fosse 8217d 8216demanded82178230 right8221 Eles encontram aliados com certos economistas de mercado e, freqüentemente, adicionam uma vantagem moral explícita de indignação: 8220 Estamos ajudando os mercados oferecendo um valioso serviço de liquidez e descoberta de preços. Se você parar de nós, todos sofrerão.8221 1.3: Negociação, negociação técnica, para trocar trading, para HFT Let8217s dar um passo atrás e tentar colocar essa atividade em contexto. Os mercados financeiros como uma bolsa de valores facilitam a compra e venda de instrumentos financeiros, que são contratos que lhe dão direitos para receber retornos ao longo do tempo. Eles tendem a hospedar diferentes jogadores com diferentes horizontes temporais. Nos anéis externos, você obtém os grandes investidores institucionais, como os fundos de pensão. Eles chegam ao mercado ocasionalmente e fazem grandes investimentos, comprando um grande número de ações, muitas vezes com vistas a mantê-los por vários anos. Então, nos anéis internos, você se torna mais rápido, mais inconstante, os jogadores 8211, podemos chamá-los de comerciantes 8211 que ganham dinheiro saltando dentro e fora dos mercados, como ninhadas de tubarões nadando entre as gotas mais lentas de grandes baleias. Nem todo o comércio é o mesmo. Se você quiser conceitualizar a estrada para o comércio de alta freqüência. Comece por entender o conceito geral de negociação. Os comerciantes financeiros compram e vendem instrumentos financeiros, como ações em empresas. Eles esperam comprar a um preço mais baixo do que eles vendem, obtendo assim lucro. Agora, entenda a negociação técnica. Os comerciantes têm diferentes técnicas de especulação. Eles podem, por exemplo, passar horas pesquisando os registros de uma determinada empresa para fazer avaliações, uma prática chamada de negociação fundamental. Alternativamente, eles podem analisar as atividades de outros comerciantes em um mercado para tomar decisões. Esta análise técnica de preços, pedidos e dados de volume gerados por outros comerciantes leva a negociação técnica. Agora imagine que seja automatizado em Algorithmic Trading. Pode-se decidir automatizar o processo de negociação técnica, de modo que um algoritmo analise um fluxo recebido de dados de preço, ordem e volume e faça negócios sob certas condições. Chamamos isso de negociação algorítmica. (Nota: é possível fazer uma distinção entre comércio algorítmico e automatizado, mas, para facilitar, vamos apenas assumir que estes são os mesmos). Em seguida, imagine que acelerou em negociação de alta freqüência. Se você acelerar esse processo de negociação algorítmica automatizada a velocidades extremas, você está fazendo operações de alta freqüência. A HFT é, portanto, melhor inicialmente pensada como uma negociação algorítmica muito rápida. Que por si só é o comércio técnico automatizado, que por si só é um sub-ramo de comércio mais amplo. Pode-se contrastar com, por exemplo, uma negociação mais lenta e fundamental, que é o que as pessoas gostam de George Soros (ele e seus analistas se sentam em uma sala e observam o mundo e fazem grandes apostas sobre isso). Finalmente, lembre-se de que podemos novamente contrastar esse mundo inteiro de negociação com o mundo do investimento a longo prazo. Que é o que fazem os fundos de pensão grandes e lentos. Para retornar à analogia anterior do ecossistema, então, as empresas HFT são como piranhas entre os tubarões entre as baleias. OBSERVAÇÃO: se você gostou até agora, você pode gostar do meu livro 1.4: como configurar uma empresa HFT DEVE. ESTAR. MAIS RÁPIDO Diferentes organizações comerciais podem ter razões ligeiramente diferentes para se envolver em HFT. Alguns grandes bancos, por exemplo, usam-no como uma ferramenta para tomar uma grande ordem e fragmentá-lo em muitas ordens pequenas, como usar um bocal de dispersão para transformar um jato de mangueira de fogo em uma névoa de mercado fino que as pessoas realmente percebem. Muitos jogadores de HFT, no entanto, são puramente especuladores de curto prazo, empresas de comércio especializadas proprietárias e hedge funds. Se você quisesse definir um desses, aqui estão algumas coisas que você faz. Em primeiro lugar, obtenha algum dinheiro inicial - seja você próprio ou de algumas pessoas realmente ricas. Em segundo lugar, incorporar e capitalizar uma empresa (talvez crie uma empresa de gestão em Londres, onde você realmente se senta e trabalha e, em seguida, crie uma empresa separada nas Ilhas Cayman que realmente detém o dinheiro e, em seguida, elaborar um contrato que diz que a Londres, um trabalha para o Cayman). Em seguida, contrata algumas pessoas, talvez através de uma agência de recrutamento especializada, ou, talvez, aproveite o LinkedIn para procurar profissionais da HFT. Talvez você goste de contratar Steve. Quem sabe como fazer o hardware HFT caro para você, ou o Fabio que pode escrever seu código C e criar a arquitetura do software. Mark aqui não tem quase nada escrito em seu perfil, o que sugere que ele trabalha exclusivamente através de headhunters, típico dos ex-Cambridge, ex-funcionários da Goldman Sachs. Ofereça esse talento principal muito dinheiro, e faça com que eles criem alguns algoritmos. Comece com o design conceitual e, em seguida, obtenha seu personagem C para codificá-lo para você. Você pode até querer patentear seus algoritmos. Ou a arquitetura de sistemas que você projetou. Este não é um artigo técnico pedante sobre a natureza exata da tecnologia HFT. Existem enormes quantidades de discussões de bumf carregadas de jargão e geeky na Internet se você realmente estiver interessado no técnico, mas a essência do que você precisa fazer é isso: você deve cortar algum tipo de acordo com uma corretora e um estoque Troque para obter o seu fantástico algoritmo o mais próximo possível da bolsa de valores. Você deve minimizar a distância física entre o computador em que seu algoritmo está em, e o computador em que o sistema de correspondência de pedidos do exchange8217s está dentro, de modo que os dois possam entrar em um diálogo intenso e de velocidade leve entre si. Existe todo um sub-campo técnico arcano em torno de infra-estrutura de acesso direto de baixa latência. Normalmente, se uma pessoa quiser comprar ou vender ações, elas devem passar por um corretor que é membro da bolsa que quer comprar ou vender ações. Isso leva muito tempo a Waaaaaay para um comerciante da HFT. Parafusar isso, você precisa entrar diretamente no coração da troca sem passar por processos de corretagem normais. Idealmente, você quer encontrar uma maneira de se co-localizar diretamente com uma troca, o que é uma maneira elegante de dizer que você precisa, literalmente, configurar seu computador na sala ao lado de seus computadores. Para resolver a co-localização, confira os serviços oferecidos pela NYSE. Nasdaq. London Stock Exchange. Eurex. CME e até mesmo a Bolsa de Valores de Joanesburgo. Aqui está a Toyko Stock Exchange descrevendo a diferença entre sua área de co-localização e sua área de proximidade (ambos lhe dão uma fonte de energia de 100-200v, mas a área de co-localização possui uma maior capacidade de refrigeração de 8kVa, portanto, você pode querer usar Que, se seu algoritmo for provável que o computador funda). Aqui está um vídeo promocional sobre isso. As trocas possuem toda uma série de serviços 8220conectividade8221. Talvez isso envolva um bom sistema de refrigeração e de alta especificação, além de configurar você com feeds de dados premium. Escusado será dizer que toda a gama vem com um conjunto (inicialmente) desconcertante de jargão - muito associado à pilha de tecnologia - mas, no final, se resume a uma fórmula bastante simples: você aluga um computador ao lado da troca. Você instala seus algoritmos nela. O intercâmbio envia seus algoritmos para uma grande alimentação de dados através de um cabo, seus algoritmos processam e disparam pedidos de volta pelo cabo. E você tenta projetar seu equipamento para que ele faça isso tudo mais rápido do que qualquer outra pessoa. Talvez você se sente em um escritório a poucos quilômetros de distância, monitorando tudo, criando uma versão mais recente do seu sistema. Se você precisar de ajuda para configurar tudo isso, você pode pegar algum suporte e consultoria de infraestrutura de negociação de baixa latência de pessoas como o Sungard. Cisco. Algospan. Dados interativos. E Lato Networks. Caso contrário, aprenda com os mestres existentes, as empresas HFT reais que já derrubaram esse assunto. Como as instituições mais poderosas e por trás das cenas, essas empresas geralmente têm nomes obscuros e não reconhecidos e sites pouco informativos e pouco informativos. Confira, por exemplo, Virtu. ATD. KCG. Tradebot. Tradeworx. Capital Líquido. Chopper Trading. Citadel8217s Tactical Trading Fund. Tower Research e RGM. 1.5: Aperfeiçoe a arte eletrônica da guerra PIMP MY ALGORITHM Agora, não são essas empresas que usam as mesmas estratégias. Alguns usam análise estatística e arbitragem de vários tipos, enquanto outros operam exclusivamente em estratégias de microestrutura de mercado8221, o que parece envolver o conhecimento das tripas eletrônicas íntimas dos sistemas de troca e como eles podem ser aproveitados. Um pode se envolver no flash trade. Que alguns argumentam é uma forma de frente-executada legalizada. Você pode bloquear os mercados com ordens através do 8221order recheio 8243 (o que o HFT denunciante Dave Lauer chama um ataque financeiro DDOS). Você pode classificar pedidos em um mercado como o pó de fadas, talvez tentando incitar os surtos de 8221momentum ignição 8220, que parece ser uma forma de manipulação de mercado sutil. Alguns têm estratégias de negociação agressivas que visam seguir proativamente as tendências e tirar oportunidades, enquanto outras podem ser mais passivas, como o Aikido - bots eletrônico, com o mínimo esforço de energia. It8217s vale a pena ler essa peça por Irene Aldridge se você estiver interessado em algumas das estratégias. Esta introdução aqui também é útil. Como um lado, se você quiser ter uma idéia da linguagem e do espírito da cena, isso sempre vale a pena procurar as discussões tecnológicas dos quants de finanças profissionais em lugares como os Fóruns de Wilmott. Tais pessoas estão imersas no nitty gritty do dia-a-dia das finanças e geralmente têm um conhecimento decente sobre essas coisas. Se você for um jogo para lutar com o jargão, confira um usuário como o Quantumar, que gosta de estabelecer um fluxo de cowboys financeiros. (Isso não importa se você não entender isso, mas é útil para minar essas conversas por pistas): 8220Most of HFT É um jogo de arbitragem muito simples. Ambos sejam os mercados de dinheiro ou futuros, ou em ações eles são atingidos em um ECN e vendem em algum outro lugar, a totalidade ou a maior parte do dinheiro é feita a partir de uma fração de descontos em ações de mercado. Algumas poucas empresas fazem milissegundos de negociação de impulso, eles percebem que alguém está entrando com ordens e eles pisam as ordens (porque são mais rápidos para chegar ao mercado) eles empurram o mercado um centavo e vendem de volta para o comprador original8230. Eles também usam o flash Ordens para saltar para frente de grandes pedidos. Alguns também examinam a profundidade do livro e tentam trocar também. Existem algumas estratégias mais que utilizam em ações. Além disso, algumas empresas consideram os mercados de opções e os arbustos dota. A maioria das estratégias não são matemáticas, mas relacionadas à microestrutura dos mercados8230. Essas lojas são lojas de alta freqüência, pode haver até milhões de pedidos por dia dependendo de quantos mercados e quão ativamente comercializam. Eles exigem principalmente conjuntos de habilidades C realmente bons, conhecimento de conectividade API no lado do software. O lado do hardware requer um conhecimento de hardware de nível muito baixo, como ignorar a pilha e os kernels enganadores. Eles também procuram garotos que podem empurrar dados alguns microssegundos mais rapidamente na rede. Eles usam equipamentos muito caros e especializados. Um switch simples que é decentemente rápido custa 50K8230 Todos os dados que estão disponíveis para grupos HF estão disponíveis para todos os comerciantes, a diferença é que eles trocam essa informação antes que você possa mesmo recebê-la em seu computador. Quão rápido eles podem obtê-lo e reagir no mercado é a diferença. Eles estão lidando com latências de microssegundo de um dígito em suas redes e computadores, não milissegundos.8221 1.6: O debate acadêmico (estreito) Longe de todas as explicações de vídeo do Youtube. Relatórios jornalísticos e discussões em fóruns sobre HFT, obviamente existe um conjunto de pesquisas acadêmicas. Se você estiver procurando por argumentos robustos, em vez de classificar-se 82228217s, diga-lhe como é 8221 street-smarts, o indivíduo orientado para a pesquisa pode navegar nas revistas acadêmicas. Há pesquisas emergentes de departamentos de finanças e economia, sem surpresa, mas também de algumas outras disciplinas. Um amigo meu que ensina financiamento no nível universitário observou que um problema potencial na pesquisa HFT é que os pesquisadores confiam em empresas HFT para dar-lhes dados e, portanto, correm o risco de ser capturados intelectualmente pelas empresas em que confiam, talvez até se envolvendo em Formas de autocensura. Para acrescentar a isso, a pesquisa geralmente parece tentar ser tão seca e técnica quanto possível, parece que ela surge em um mundo sem política, cultura ou história, ou, de fato, pessoas reais, tornando-a triste e difícil de ler. . As questões de pesquisa são estreitas, com foco obsessivo em questões como impacto HFT8217s sobre liquidez e descoberta de preços. Em essência, a liquidez refere-se ao quão fácil é o comércio. Se eu chegar em um mercado e I8217m imediatamente capaz de vender ou comprar, há alta liquidez. Se, por outro lado, leva muito tempo para comprar ou vender, há pouca liquidez. Alguns dos debates em torno de HFT e liquidez dizem respeito a HFT ou a absorvem liquidez. Em outras palavras, as empresas HFT, na rede, ajudam outros participantes a negociar com mais facilidade, ou entram no caminho. Este debate inclui questões de se a liquidez que eles podem oferecer é real ou não. Por exemplo, os comerciantes de robôs podem constantemente indicar que eles estão dispostos a trocar, e depois fugir. A descoberta de preços é um termo um tanto fetichizado para o processo pelo qual o preço aparentemente correto para algo é descoberto através de um grupo de participantes do mercado 1) reagindo à informação por 2) colocando pedidos de compra e venda que são 3) mediados por alguma infra-estrutura de mercado. Então, se isso anunciasse que uma empresa está prestes a falir e o preço das ações de repente foge para cima, é provável que algo tenha dado errado com o processo de descoberta de preços. A questão é: a HFT ajuda a revelar o verdadeiro sentimento em um mercado, ou isso só causa instabilidade e anormalidades estranhas como o Flash Crash. Existe também um estudo emergente sobre se o que as empresas HFT fazem é legal ou constitui alguma forma de Manipulação de mercado ou 8220front-running8221 à custa de outros participantes do mercado. E, finalmente, estamos começando a ver um fluxo de artigos sobre as dimensões humanas da HFT, as pessoas atuais que dirigem essas operações, a política de tudo, a antropologia e como ela reflete a trajetória mais ampla da economia global. Em uma data posterior, espero poder atualizar isso com um banco de dados apropriado desta pesquisa 1.7: Pesquisa e lobby, informa um debate regulatório PRESENTE SUA PROVA IMPARCIAL Muitas das notícias sobre HFT são as batalhas políticas e as ameaças dos reguladores para reprimir nele. Teoricamente, o debate regulatório deve ser informado pela pesquisa acadêmica, mas é claro que também podemos suspeitar que os debates regulatórios sejam igualmente informados pelo lobby. O próprio lobby geralmente assume a forma de grupos que escolhem peças de pesquisa acadêmica específicas para mostrar aos reguladores. A Iniciativa dos Mercados Modernos. Por exemplo, tem curado uma seleção reconfortante de artigos de pesquisa amigáveis ​​para respaldar sua afirmação de que a HFT cria uma utopia de mercado que acumula investidores individuais8217, reduzindo o custo das trades8221 e que o ministério da democracia atualmente é um mercado de 8282. Quando não recebendo spam por grupos tão egoístas e transparentes, os órgãos reguladores estão colocando uma boa quantidade de pesquisa neles, produzindo papéis e briefings. Eles também podem receber envios dessas empresas e grupos de reformas que estão no caminho da guerra contra HFT. Isso inclui grupos como Themis Trading. Quem, nas palavras do autor Michael Lewis, tem mais do que ninguém para explicar e divulgar a predação no novo mercado de ações8221 (veja a extensa coleção de pesquisas críticas sobre HFT). Outras críticas incluem o provedor de dados Nanex e o mencionado David Lauer. Há também uma série de especialistas financeiros renegados da blogosfera financeira que se manifestam contra isso. Os tipos de regulamentos que estão sendo sugeridos incluem a tributação da HFT (algo ao longo das linhas de um imposto sobre transações financeiras) e os regulamentos relativos à velocidade de negociação, ao tamanho da ordem e ao valor do pedido para o comércio (quantas ordens um comerciante pode colocar Em relação a quantas vezes eles realmente negociam). Esses debates estão em várias etapas nos EUA, na UE e na Ásia. Dê uma olhada, por exemplo, na Lei alemã de negociação de alta freqüência. Aliás, vale a pena analisar a dinâmica de batalhas regulatórias similares sobre a especulação do mercado de commodities. As trocas de commodities como o CME Group apontaram para um único estudo de um cara da Universidade de Illinois para argumentar por que a especulação não desestabilizou negativamente os preços das commodities, apesar do fato de que muitos outros estudos argumentaram que isso aconteceu. As firmas HFT, como as empresas comerciais de commodities, aproveitam a complexidade da situação e a lentidão dos reguladores. Eles implicitamente assumem a posição de que, até que ele tenha sido errado, it8217s right8221, em vez de 8220 até que ele tenha sido comprovado, devemos tomar precauções8221. NOTA: Se você gostaria de suportar minha escrita Creative Commons, considere me comprar uma cerveja virtual PARTE 2 (4500 palavras) Cinco quadros para ver HFT O QUE VOCÊ QUER VER ÀS vezes, eu sou indiferente quanto a se ou Não HFT perturba os mercados. Em parte, isso é porque eu não aceito que os mercados sejam um tipo de construção sagrada que, obviamente, sirva a humanidade, e isso não pode ser contaminado. Quero dizer, os mercados têm sido instituições de abuso sistematizado, onde aqueles com mais poder podem usar o ato aparentemente apolítico de troca para extrair vantagem. Mas, digamos, por um momento imagine que as infra-estruturas de mercado geram algum tipo de misteriosa força sagrada que sempre torna a sociedade melhor. O que exatamente o HFT faz para ajudar isso Bem, o refrão dos proponentes é que a HFT facilita a liquidez nos mercados de instrumentos financeiros. Esta declaração vem complementada por indignações de cólera de deuses sobre o que acontecerá se essa liquidez for reduzida. Se você permitir que a liquidez diminua, sua pensão de avós sofrerá que a PESQUISA é sempre troteada como o melhor serviço para a humanidade desde que o fogo foi inventado. Agora, eu não gosto de ser julgador, mas na grande escala das injustiças da sociedade, pouquíssima liquidez nas ações da Microsoft 8217 mal classifica, e na grande escala das conquistas humanas, a maior liquidez nas ações da Microsoft, 8217, mal classifica. It8217s not like the creator of the algorithm has invented a new way to harvest energy from lightning bolts. And certainly, using your university degree in advanced computing to contribute to microscopically more accurate 8216price discovery8217 doesn8217t mean you get to go down in the grand book of human virtue. But of course, this whole appeal to morality from the lobbyists is obviously completely disingenuous. It8217s not like people are getting jobs in HFT firms because theyre possessed with an evangelical desire to improve liquidity to help pensioners. Creating an epic light-speed infrastructure array to exploit microscopic price discrepancies has got about as much to do with helping pensioners as Formula 1 racing has to do with improving transportation for the elderly. 2.1: The unstoppable progress of rational agents without agency WERE INDEPENDENT AGENTS, RESPONDING RATIONALLY TO INCENTIVES Regardless of appeals to the morality of HFT, there is another more subtle line. Note the name of the aforementioned pro-HFT lobby group 8211 The Modern Markets Initiative . The name is a deliberate attempt to paint anyone who is concerned about HFT as an enemy of modern progress, standing in the way of the inevitable triumph of a more efficient, rational world. The tech-as-progress dogma is widely entrenched in our society, like a hard-to-remove piece of social malware that disarms peoples critical impulses. The luddite impulse is ridiculed, rather than celebrated as a healthy skepticism towards tools of the powerful. But this tech fetishism becomes even more entrenched when it meets with the mainstream economics belief in the virtue and inevitability of rational economic agents pursuing self-interest . It8217s here that the dual utopian visions of tech-as-unstoppable-progress and markets-as-unstoppable-progress merge into one stream. If the technology can be built, and provided that some kind of profit can be made by entrepreneurs taking the short-term opportunity to build it, an inertia sets in, an imagined inability to stop the 8216progress8217, regardless of whether it is actually useful in the long term or not. Attempting to stand in the way of such a stream of individual actions is seen as futile, and even unjust, like trying to stop a river flowing down a hill. Indeed, this is part of the implicit background thinking that leads to terms like 8216arms race8217 being used to describe the development of HFT (and other technologies). If one entrepreneur doesn8217t do it, another will . Ever heard a tech person saying you cannot stop technology There is a deep irony to this vision. Above all, there is a distinct lack of agency projected when people insist that 8216this cannot be stopped8217, but it gets coupled with a vision of thousands of entrepreneurs all individually impelled through 8216agency8217 towards something that will occur regardless of whether they choose to make it occur or not. In other words, a kind of agency towards executing a preordained plan. This vision of the rational-agent-without-agency is something that plagues much mainstream thinking on economics, a strange blend of extolling the virtue of the risk-taking individual whilst simultaneously asserting that they8217re irrelevant, mere puppets acting out the will of 8216the market8217. Here, for example, is big-shot venture capitalist Mark Cuban explaining his take on HFT: 8216If you know the game is rigged and that it is legal to participate in this rigged game, would you do everything possible to participate if you could Of course you would . Its a statement dripping in contradictory ambiguity, a vision of independent agents acting like pre-programmed robots that have to abide by some imagined law of economics. MUST. PARTICIPATE. IN. RIGGED. GAME. In reply Id say: No Mark, I am not a character out of an Econ 101 textbook. I am perfectly capable of overriding the impulse to play the rigged game, and to decide to not play it. In saying it is inevitable, you8217re just trying to justify your own inability to do that. The problem, though, is that provided enough people think like Mark, the inertia continues to be presented as natural . a collective action problem portrayed as a liberator of previously unrealised human potential. 2.2: Automation: People create robots to crunch (big) data GOOD DOG, GO FETCH To be one of the aforementioned economic agents in the HFT space, you need to master three things. Firstly, you need to master the physical hardware: the actual wires, cables and microwave towers. Then, you must be able to master the data streams travelling through those wires, to collect it and arrange it in an efficient manner. Then you must be master of the algorithm that knows what to do based on that data. The algorithm is your automated avatar in the marketplace, 8216thinking8217 and acting on your behalf. Your algos must work with lots of data, but it8217s worth noting that not everyone perceives HFT as a realm of 8216big data8217. The hype around big data, to some extent, concerns the growing capability to do real-time processing of huge dams of data (like modelling of climate on supercomputers), but 8216real-time8217 doesn8217t necessarily mean microsecond-level speed. It makes no difference whether it takes you 5 minutes or 20 microseconds to know a hurricane is forming. Much HFT, on the other hand, is more about brute reaction time to a high pressure hose of data, rather than a dam. That said, being able to react at microsecond speed to colossal dams of data is emerging. The HFT company Tradebot (based in this building in Kansas City), has been known to trade a billion shares in one day, making millions of individual trades. In their own words, 8220Market data changes trigger our system to produce new orders in a few hundred nanoseconds. We collect and analyze billions of data rows to find the edge. Our Hadoop cluster is over two petabytes.8221 A Hadoop cluster is an array for holding massive amounts of data, and two petabytes is 2 million gigabytes. How many gigabytes is your computer Regardless of whether all HFT strategies should be considered a realm of Big Data, HFT is a subset of the broader realm of algorithmic trading, which is on the cutting edge of financial data science more generally. To create financial algorithms often first involves 8216back-testing8217 potential algorithms on huge banks of historical market data, essentially engaging in 8220what if I8217d done this between 1980 and the present8221 time-travel exercises. If you find an algo that seems to work on past data, you can crystalise it, then send it to work on real-time data in the present. John Fawcett of Quantopian notes with a certain amount of joy how automated algorithms 8220remove human emotion and bias from trading decisions8221, opening up a brave new world of emotionless finance. You use statistical back-testing to find the most 8216rational8217 strategy, then lock it in a hard-coded shell that 8220never falls prey to sentimental pitfalls8221. You too can now isolate and strip away your emotion from your rationality, automating your rational self in the form of your very own algorithm that you can keep like a pet, or a slave, to do things for you. 2.3: Automation: Robots create (big) data to crunch people NETWORK, OR SPIDERS WEB We tend to understand the concept of actively using technology to achieve certain ends (exercising agency), but we find it harder to conceptualise the potential loss of agency that technology can bring. It8217s a phenomenon perhaps best demonstrated with email . I can use email to exercise my agency in this world, to send messages that make things happen. At the same time, it8217s not like I truly have the option to not use email. In fact, if I did not have an email account, I would be severely disabled. There is a contradiction at play: The email empowers me, whilst simultaneously threatening me with disempowerment if I refuse to use it. In HFT and algorithmic trading more generally, we have a range of disparate players each individually working on building little pieces of the infrastructure and single algorithms that they control. When we zoom out though, we might see the outlines of something bigger. While individual algorithms appear as isolated, individual slaves to creative masters, the collective array of algos can begin to seem like a spiders web displaying emergent properties that are not under the control of any particular human master. Or, lets put it this way: Traditional sci-fi depictions of artificial intelligence always show an individual mad genius building and unleashing an overlord computer that then kind of behaves like a hyper-powerful human. In reality, if an overlord technological system was to be built, it would not be a single computer, and neither would it be built by a single mad genius, and it wouldnt really look or feel anything like a human. It would be an interwoven mesh of technology, brought to life by individuals who never explicitly designed it, with no obvious human face or interface. In reality we already see these emergent forms all around us, but are not well trained to recognise them. They emerge whenever humans 8216lock themselves in8217 to reliance on a technological infrastructure, and lock themselves in to a point where they cannot pull back out due to the interconnections and dependencies that subsequently emerge. Those infrastructures then, have a certain power over society, even though their individual nodes may be under the control of particular people. I have previously referred to this concept 8211 albeit in a different context 8211 as the Techno-Leviathan. technological infrastructures that seem passive and neutral but that contain a kind of latent organising force over the people who seemingly contract into using them. So, the question to ponder is whether, when viewed collectively . we might begin to imagine the high speed mesh of individual algorithms as resembling one a giant robot, brought to life by hapless human agents-without-agency, all believing themselves to be shit-hot independent gunslingers of the market, but actually just a disconnected workforce for an emergent AI. Or at least that8217s what Stephen Hawking might argue . Even if you dont buy that abstract concept, we might look into the more concrete realm of individual algorithms to see the shifting power dynamics: there is much excitement about 8216machine-learning8217, the creation of self-teaching algorithms that seek constant enlightenment and self-improvement, creating their own personalities. Artificial intelligence is not just being able to process stuff, it8217s the ability to learn. Indeed, the FT8217s Sally Davies notes that 8220GFT, which works with big global investment banks, has partnered with Massive Analytic, a big data start-up, to develop trading software based on 8220artificial precognition8221. Even if it doesnt end up in the realm of Minority Report, it stands to be a total mindfuck for regulators. 2.4: Disconnected boys with dangerous toys NERD CULTURE MEETS JOCK CULTURE Having detoured into the possibilities for an emergent rise of the machines, we might go back down to earth and look into the human world of HFT. Who are the individual people involved, and what are the cultural dynamics Obviously there are many different types of people involved in HFT. Im sure many of them are lovely, but the last algo trader-boy I met was a guy from Ronin Capital who happened to be one of the most condescending assholes I8217ve experienced in a while, coming packaged with one of those heavy-set wrist-watches and a shirt with expensive fibres, both marking out a rising member of the financial elite. He spent a lot of time in the gym, because you dont develop big muscles from sitting behind a computer. This seemed to fit quite well with the pseudo Samurai aesthetic of his firm. If you enter Ronin8217s website, there are gong sounds and pictures of swords, as if the traders behind the interface of the computers want to imagine themselves engaged in hand-to-hand combat with a vicious opponent that could actually kill them. Of course, given that they are probably educated at elite universities, it is unlikely that they8217ve ever had any exposure to actual bodily harm, and probably never will. This is a dynamic in the financial sector more broadly: highly educated people, frequently male, induced into believing they8217re engaged in some kind of mortal combat, despite the fact that they8217re surrounded with abundant opportunities and money, and despite the fact that they8217re sitting in an air-conditioned office at a computer engaged in nothing remotely like combat or physical hardship. This pseudo-battle is perhaps best exemplified by TradeBot, who without a trace of irony state that: The stock market is tough. It owes us nothing. It punishes our mistakes. Others have more money, more power, more connections. We are underdogs. We keep learning. We innovate. Every day is a new fight. Technology is our weapon. We make millions of small trades. We cut losses. We identify opportunities. We focus. The market can be beaten. We love the game. When assessing these banal market-as-mortal-combat statements, I like to use the WWII Grandfather Test . which involves me asking myself what my grandfather would say about it. He was a bomber pilot during WWII and got shot down over Germany, crash-landing a flaming heap of metal on the coastline after probably killing a lot of people with incendiary bombs. Ask your granddad: what do you think about Tradebot8217s battle with the 8216the market8217 I don8217t know about your granddad, but I like to think mine would have said, 8216I have no bloody idea what they are doing, but I know it has no connection to real people living in real places8217 . Seriously Tradebot, if you really think you8217re so tough, go do some shipbreaking in Bangladesh. and you8217ll quickly discover that an actual battle isn8217t a 8216game8217. Indeed, you can always sense something is a realm of cushioned elites when the language is all about 8216players8217 jostling with each other. Sports and games are simulacrums of combat, not actual combat. You only perceive the real world as a 8216game8217 when you8217re in certain types of environments that provide a big cushion to protect you 8211 like an elite, global city, for example. There is a particular urban geography to these infantile computer games. When one is sitting in a nice modern city full of other fairly superficial activities, things like HFT gain a certain legitimacy. They are creatures of urban, tech-centric society, where couches, excel-spreadsheets and lattes abound. It8217s only in such a setting that you can imagine grown adults bickering with each other over the meterage of cable connecting them to a stock exchange. Imagine the furious exec shouting at the co-location manager, 8216Our cable is a metre longer than Tradebot8217s cable, why the fuck did you allow that We8217ve lost a nanosecond8217 It8217s kind of embarrassingly juvenile when you stand back a moment, look through granddad8217s eyes, and watch a serious-faced discussion about whether C or Java will achieve the holy grail of zero latency. We8217re not talking about old-school realpolitik here, where some tycoon is battling another tycoon for control of some vast mining territory. Regardless of whether HFT is damaging or not, its just kind of. um. lame. 2.5: HFT and the financialisation of meaningless noise AS YOU CAN SEE, OUR PRODUCT CAPTURES MEANINGFUL MARKET MOVEMENTS 8216Financialisation8217 is a term laden with various interpretations, but it tends to refer to the increasing importance of the financial sector in overall economic life, the infusion of financial sector norms and morality into everyday culture, and the process by which previously uncommoditised things get turned into financial products that can be traded on financial markets. That8217s a pretty broad description, so I prefer to initially think of financialisation as the end result of things being made 1) ownable 2) investable and 3) tradable. The greater the intensity and extent of these elements, the greater the degree of financialisation of that thing. Ownable means the thing can be claimed by someone, and that they can exclude others from its use. 8216Ownability8217 relies on being able to isolate and separate something off from things around it. For example, the enclosure movement involved turning land into demarcated parcels that could be separated from each other and privately owned Investable means turning the thing owned into an asset that delivers returns over time. While a piece of land might be something that you can own, and have an emotional connection too, you might begin to view it as an asset when it is used to produce yields over time. It might be perceived as a generic investment, rather than a piece of land with a particular history and life Tradable means that asset can be passed on to others Still, moving land from person to person is slow and personal. Land only really gets financialised with it is turned into a generic 8216asset class8217 that disconnected investors can quickly buy into or out of. So, imagine a financialisation process in this sequence: I own a farm. I can use it to make food I own a share in my neighbour8217s farm. I can claim a portion of the produce I own a share in a small private farming company. I get annual monetary dividends and read the reports I own a share in a large publicly traded farming corporation. I get monetary dividends and can sell my shares to others at any point on the stock exchange I own a share in a huge agriculture exchange-traded fund (ETF) that owns shares of farming corporations all over the world I own a share in a hedge fund that rapidly trades a portfolio of such ETFs, and bets on such ETFs via derivatives We might say that financialisation is the creeping process by which new frontiers of ownership are isolated, and turned into investable products that a wide, disconnected range of dispassionate investors can emotionlessly slide into and trade with each other. The more distant you are from the thing you8217re invested in, and the easier it is to trade, and the faster the trading, the more disconnection you can experience. But, there is a point when the speed of trading hits a tipping point, and takes you into a realm that is no longer about the farm, or anything real for that matter, at all . This is where HFT take us. While it ostensibly seems to be about the trading of shares on stock-markets (and other things like currencies), in reality HFT has nothing to do with shares. The 8216thing8217, or object that is being traded is not actually a financial instrument, but rather it is the microscopic tremblings of a financial instrument. This is a subtle point to convey. Much normal speculative trading is done fast, with a trader quickly buying something and then trying to sell it to someone else. Nevertheless, there is always a sense of a thing being manipulated in some way. Just like when you are flipping a hot potato, there is always a brief moment of being invested in the heat of the real world, even if fleeting, and there is always some residual awareness that there is some reality to the thing. In the case of a BP share, for example, the share has a reality based the fact that it is a legal claim upon what BP owns. It is thus directly connected to the real world outlook of those oil fields and pipelines. We call traders who make assessments of that reality fundamental traders: They might say I think OPEC is going to decrease supply and thereby boost the price of oil, and thereby boost BPs profit. I will therefore buy this BP share that allows me to benefit from any perceived increase in the value of BP8217s collective assets. The actions of such fundamental traders give rise to a second-degree reality that is exploited by traders who watch the data they generate. We call this technical trading. Such traders may say Market data suggests that a lot of people are currently buying BP shares. I am going to ride with this sentiment. Both of these techniques rely on a type of sentience, an awareness of some external reality and an ability to reason about it. In the case of fundamental trading, its the awareness about some new development in the world of oil. In the case of technical trading, its the awareness of some new trend that is developing among other traders. For something to contain meaning, in the human sense of the word, it should be something that is open to human experience . There are many things that are not open to human experience - for example, perceiving radio waves - and in a sense that takes them out of the realm of meaning. Sure, we can use instruments to detect radiowaves, and try make meaning out of the resultant observations, but radio waves cannot ever really mean anything to us in their raw state. The key thing about a radiowave though, is that its existence does not depend upon human observation. It exists regardless of whether you can perceive it or not. A share is nothing like this. A share, by definition, is a politically constructed claim on a politically constructed company that is run by humans, doing things that are perceivable by humans. Its value does not exist outside of human assessment of how well that is being done, and there is no hidden reality to a company that operates outside the realm of human experience. We cannot say something like well, we cannot see BP, but we know it exists through experiments at CERN . BP, unlike radio-waves, has no microsecond reality. In other words, nothing can meaningfully change in such a legally constructed entity in the imperceptible space of microseconds. Thus, when you in fact do dip into the realm of microseconds, it is highly implausible that an automated trading algorithm is actually being exposed to external 8216outside information8217 that has anything to do with either BPs operations, or observation of an emergent trend in people trading BP shares. At that level, all youre doing is highly precise arbitrage activities in microscopic inconsistencies in peoples perceptions, or perceptions of perceptions, of reality. The activity going on at the molecular microsecond level is by definition, not about the thing being traded. The sheer emotional disconnection engendered by the technological medium, combined with the sheer speed means that this certainly cannot be thought of as trading in things at all. This is the isolation of, and subsequent trading of microscopic, subconscious instability. It is the financialisation of meaningless noise, something that previously wasnt subjected to commodification. The algos have an internal world, like the internal world we see in those electron microscope pictures where tiny, imperceptible flakes of dust appears as a whole landscape with valleys and hills. From the perspective of an atom, that world means a lot, but from the perspective of humans, the internal contours of a speck of dust are irrelevant and meaningless. Likewise, at microsecond level, you8217re trading meaninglessness. In closing: Parasitic algorithmic surrealism One common problem in thinking about HFT, though, is that people8217s minds run away with them. They feel panicked by how alien it seems, having visions of extreme market meltdown as rogue algorithms run everything in a giant psychedelic orgy of routers. Its worth taking a breath before stressing out too much. While it8217s true that the algorithms might exist in serene, unreal bubbles, at some point they are constrained by the reality of the world. Take, for example, the Flash Crash. It was a momentary breach where rogue algorithms painted a warped picture of reality, but minutes later the real world kicked back in and the algos had their collective wills bent back. If Wallmart goes bankrupt, the value of a Wallmart share will tank, and if an algorithm says otherwise, it will be crushed by the legal reality that the shareholders of Wallmart are going to get blasted out of the water. There are probably limits on how much HFT can proliferate. I mean, a parasite relies upon an ecosystem to survive, and in the end, HFT algos have to feed off something. In this case, it8217s probably the big institutional investors - the whales that make up the baseload order flow of the market - that host the HFT parasite. The question is not so much whether HFTs can 8216take over8217 a market, but rather whether they disrupt it, exert a new cost on it, or otherwise cause a nuisance. (of course, if youre an industry lobbyist, you might alternatively suggest that they 8216offer useful services8217 and improve the ecosystem) To me, though, the really interesting question about HFT is not this banal fixation on whether it disrupts markets or not. Its the cultural and political elements. Its how such a ridiculous thing can be viewed as legitimate . And, its the sheer physicality of it, the fact that it appears ephermeral yet relies upon huge real world infrastructure to engage in the essentially meaningless activity. And, it is the geography. Its a technology set that attempts to eliminate distance and time, but perception of distance and time are two main components of a sense of difference between places. Eliminate the sense of distance and the time it takes to get there, and you can create the homogenising illusion of being in many places at once simultaneously. The computer interface at a global HFT firm, presiding over multiple global markets, is an agent of bland homogenisation. Above all, though, HFT is an agent of financial surrealism. We make electricity by burning real fossil fuels dredged out of the Niger Delta, and then waste that running servers doing something that cannot even be represented. Serious-faced men have serious-faced meetings about it, but they might just as well be wearing pink unicorn outfits in a Neverland dream. Seriously, WTF are you doing Further reading: People to follow for up-to-date HFT info And finally. These pieces take me ages to write, so if youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer. Cheers The funny bit about this statement: quotI mean, aerospace engineers do something that8217s pretty complex and I can8217t tell you how they technically do it, but I nevertheless understand what they do in principlequot Is that computers design the flying machines now, and engineers direct the machines which design them. This is a decent overview: aero. stanford. edureportsvkievolutionarykrooa. pdf I39m sure they do Mason. My point here wasn39t so much whether or not computers are involved in aerospace engineering, but rather the fact that we have an intuitive grasp of the end goal of aerospace engineering (which we often don39t have with HFT) Well written and you make some thought-provoking points at the end. I don39t think your understanding of automated trading is particularly nuanced (I run a trading firm) but it does not necessarily detract from your point. Keep in mind that these trading firms are able to make money because there are eager and willing counterparties looking to trade. If you want to argue that the world would be better off if all this short term trading could be somehow abolished, I could be persuaded to agree. Unfortunately no one involved (the buyers -- or more likely agents thereof -- or the sellers, in this market for instantaneous liquidity) are particularly interested in that scenario. Best Introduction of High Frequency trading I have ever read. Great article. Paul Great piece, thanks Would just question your claim about there being no legal or political reality in the microsecond realm. We can make authority over any social category rest with whatever we like, even if that state of affairs is never observed.