Para compreender as oscilações extremas dos valores de ativos é preciso combinar histórico de preços, notícias, eventos e dados de mídia social, mas muitos deles estão disponíveis apenas na forma de texto não estruturado. Por isso, usando machine learning e dados em tempo real, o Refinitiv Labs desenvolveu um protótipo que ajuda traders a identificar e reagir a movimentos extremos de preço de forma quase imediata.
- As instituições financeiras contam com uma quantidade significativa de dados estruturados e não estruturados à sua disposição. Esses elementos, no entanto, raramente são utilizados para a descoberta de novos insights.
- O Projeto Mosaic, um protótipo criado pelo Refinitiv Labs, ajuda os traders de ações a detectar e explicar movimentos extremos de preços com bastante rapidez.
- No processo de criação do Projeto Mosaic demonstramos quais as melhores práticas para a construção de soluções hospedadas em nuvem, em tempo real e de maneira colaborativa, com designer thinkers, engenheiros, cientistas de dados e, o mais importante, clientes.
Atualmente os dados são abundantes. E não estamos falando apenas de volume, mas da quantidade de fontes de onde derivam, da frequência com que são atualizados e da variedade de formatos que podem assumir. Contudo, o tempo gasto para classificá-los pode impedir as empresas de gerar informações acionáveis em ritmo acelerado.
Embora as instituições financeiras costumem buscar insights ocultos em fluxos de dados homogêneos e estruturados, para aproveitar todo o seu potencial é necessária a análise de inúmeras fontes e formatos. O processo de análise de dados geralmente começa com a exploração, limpeza, filtragem e formatação dos conjuntos disponíveis; tudo isso antes mesmo que a análise e a modelagem em si possam ser inciadas.
O Refinitiv Labs se propôs a resolver esse problema, focando em um desafio enfrentado pela maioria dos corretores de ações: capacidade de responder de forma dinâmica a oscilações inesperadas nos valores dos ativos.
Conheça o Projeto Mosaic: machine learning para explicar movimentos extremos de preço
Movimentos extremos de preços costumam ocorrer de uma hora para outra, sem aviso, e os traders passam por um processo lento e meticuloso de obtenção e análise de informações díspares para identificar a causa dessas anomalias.
Para compreender alterações acentuadas nos preços dos ativos é preciso dispor de informações sobre o segmento de mercado, indústria, país, região e assim por diante. Para realmente entender o que provoca esse aumento repentino em uma determinada cotação, o Refinitiv Labs verificou que deveria trabalhar com uma série de fontes de dados não estruturadas, incluindo histórico de preços, notícias e postagens em redes sociais.
Dados não estruturados? Recorra ao machine learning
Assim, o Refinitiv Labs desenvolveu o Projeto Mosaic, um protótipo que fornece aos traders uma explicação em tempo real de por que o preço de um ativo mudou, combinando dados das seguintes fontes:
- Refinitiv Data Platform
- Notícias
- Redes sociais
- Determinados eventos, como divulgação de balanços trimestrais e relatórios financeiros anuais
O Projeto Mosaic identifica mudanças extremas de preços e explica por que eles ocorreram, usando modelos avançados de machine learning que processam um fluxo contínuo de dados estruturados e não estruturados.
A análise em tempo real ajuda a detectar alterações nos valores, enquanto um modelo de machine learning, treinado com dados históricos, confirma se esses movimentos são anômalos.
É comum, por exemplo, que duas empresas se deparem com um aumento significativo na cotação de suas ações se um boato sobre M&A circular durante o pregão. O Projeto Mosaic pode alertar os usuários sobre esse pico e ainda fornecer notícias e postagens relevantes, além de chamar atenção para eventos que possam estar relacionados a essa mudança nos preços.
Pipeline de dados em tempo real
Como a equipe de cientistas de dados, engenheiros e designer thinkers do Refinitiv Labs criou este novo protótipo de machine learning?
Os modelos de machine learning se beneficiam de um pipeline de dados, pois isso os faz gerar resultados confiáveis.
Esses pipelines conseguem “ler” um fluxo constante com grandes volumes de dados de diferentes fontes, processando e inserindo esses elementos no modelo de machine learning. Este, por sua vez, finaliza as previsões com base em todos os dados recebidos.
Também é útil usar pipelines semelhantes, ou mesmo idênticos, para treinamento, execução de inferência e retreinamento sistemático do modelo, mitigando possíveis efeitos negativos, como drift, ao longo do tempo.
No caso do Projeto Mosaic, o pipeline teve que lidar com um grande volume diário de dados (terabytes) de várias fontes e em vários formatos.
Todo o processamento precisava ocorrer em tempo real, o que limitou o intervalo disponível para o tratamento de cada mensagem, gerando a necessidade de uma solução ainda mais sofisticada.
Para atender a esses requisitos, o Projeto Mosaic conta ferramentas tecnológicas de ponta que incluem: Refinitiv Data Platform; Apache Beam; Apache Kafka; Elasticsearch; Google BigQuery; e Google Cloud DataFlow.
Enquanto um backtester define e executa simulações com dados históricos, um compartimento armazena alertas gerados para os usuários pelo mecanismo do Project Mosaic.
Infraestrutura em nuvem
Para garantir maior escala, desempenho e confiabilidade, o Projeto Mosaic foi construído como uma solução em nuvem. Inclusive, seus componentes principais, incluindo o Google BigQuery e Google Cloud DataFlow, são originários da nuvem.
Outros componentes podem ser executados internamente, mas o emprego da infraestrutura em nuvem para implantação e gerenciamento aumentou de forma significativa a velocidade de desenvolvimento e atualizações.
Hospedar o protótipo na nuvem torna mais fácil aumentar o espaço para armazenamento de dados, a capacidade de processamento e a realização de análises de dados complexas. Isso também significa que o Projeto Mosaic requer o mínimo de esforço e infraestrutura para manter servidores, redes, sistemas operacionais e pacotes de software.
Assista Projeto Mosaic: Using Machine Learning to Explain Extreme Price Moves
Projeto colaborativo, centrado no cliente
Os principais fatores de sucesso por trás do Projeto Mosaic são a colaboração entre os design thinkers, engenheiros, pesquisadores e cientistas de dados do Refinitiv Labs e, o mais importante, o estímulo contínuo oferecido pelos nossos clientes.
Em muitas organizações, equipes especializadas operam de forma isolada. Nós, no entanto, descobrimos que esse distanciamento impede as empresas de alcançar os melhores resultados possíveis para os usuários finais.
O Refinitiv Labs garante que nossas equipes multidisciplinares trabalhem juntas desde o início de um projeto. E, no Projeto Mosaic, o feedback contínuo dos clientes garantiu que o protótipo fornecesse aos traders os insights necessários.
O que aprendemos?
O Refinitiv Labs está lançando atualmente um programa piloto global para os clientes e continua a refinar o Projeto Mosaic com base em seus comentários.
Os princípios e processos por trás deste projeto oferecem às equipes de ciência de dados e inovação algumas lições bastante úteis:
- Estabeleça a base que permitirá o processamento de dados em escala e configure um pipeline de dados.
- Aproveite ao máximo a nuvem para aumentar a velocidade e flexibilidade, reduzindo custos.
- Mais importante ainda: mantenha o foco no usuário final e no problema dele, e não na tecnologia em si.
Conheça o Projeto Mosaic: machine learning para explicar movimentos extremos de preço
A Refinitiv está agora no Telegram! Receba atualizações diárias de análises de mercado em seu celular. Inscreva-se em t.me/Refinitiv
