Aprendizagens profundas e grandes dados: Wall Street e o novo paradigma de dados.

O professor Anasse Bari da Universidade de Nova York, anteriormente com o Grupo do Banco Mundial, é uma figura proeminente no domínio da análise preditiva.

Wall Street é um grande negócio, e está prestes a tornar-se ainda maior com o aumento de grandes dados.

É o sonho de todos os investidores ter conhecimento prévio da direção do mercado antes de acontecer, e é por isso que as empresas de investimentos financeiros são levadas a mina por dados e não por ouro na economia da informação. Tradicionalmente, os investidores basearam suas decisões em fundamentais, intuições e análises extraídas de fontes tradicionais de dados, tais como relatórios de ganhos trimestrais, arquivamentos de demonstrações financeiras para a Comissão de Valores Mobiliários (SEC), dados históricos de mercado, relatórios de pesquisa institucional e às vezes o chamadas “redes especializadas”.

O novo paradigma baseado em dados, alimentado por novas fontes de dados alternativas, computação de alto desempenho e análise preditiva, oferece uma estrutura mais robusta para gerar dados orientados

teses de investimento. Os dados – a partir de imagens de satélite de áreas de interesse, drones automatizados, sensores de contagem de pessoas, posições de navios porta-contentores, dados transacionais de cartões de crédito, relatórios de trabalhos e demissões, telefones celulares, mídias sociais, artigos de notícias, tweets, consultas de pesquisa on-line – é agora A mercadoria mais valiosa para Wall Street. A aplicação de análises preditivas a essas fontes de dados alternativas pode ajudar a descobrir e contextualizar insights que podem produzir melhores previsões. Conhecer algo que apenas alguns outros sabem dá às empresas uma vantagem competitiva e as posiciona melhor para forjar novas estratégias.

No mundo das finanças, o novo paradigma de dados implica a aplicação de análises preditivas a novos conjuntos de dados que são coletados de fontes de dados financeiros não tradicionais para descobrir características novas e consistentemente preditivas e padrões potencialmente úteis sobre a entidade em questão além do que é facilmente disponível a partir de fontes tradicionais de dados financeiros. Por exemplo, os sinais móveis anônimos que podem mostrar quantas pessoas estão em uma área de interesse em um momento dado são agora uma instância de dados financeiros alternativos que podem ser usados ​​com outros dados financeiros para deduzir uma visão baseada em evidências para ajudar a tomar decisões de investimento .

Em outra instância, os cientistas de dados extraíram imagens de satélites de shopping centers como uma fonte de dados alternativa para prever números de receita de grandes empresas varejistas. Em vários casos, o número de carros nos estacionamentos tem potencial para ser uma característica preditiva do número de vendas das empresas de varejo. A aplicação de análises preditivas para imagens de satélite vai além das cadeias de varejo e de alimentos; Também tem sido usado para tomar decisões em grandes investimentos agrícolas. Em particular, a aplicação de algoritmos de aprendizagem profunda para imagens de satélite pode ajudar os investidores a avaliar as potenciais empresas das empresas investidas. Eu fazia parte de um projeto que analisava imagens de satélite noturnas da Terra para ajudar a prever mudanças no PIB por quilômetro quadrado. A hipótese era que a intensidade dos dados de luz em áreas geográficas está correlacionada com o PIB nessa área. Os investidores comprariam essa informação para tomar decisões de alocação de estoque.

Olhos no céu estão observando culturas agrícolas, e os algoritmos de análise preditiva são aplicados para recortar imagens para identificar a saúde das culturas, prever a umidade do óleo e produzir números. Além disso, muitos hedge funds usaram imagens de satélite para tomar decisões sobre investimentos em petróleo e energia em todo o mundo. A análise preditiva pode ajudar a processar imagens de satélites de tanques de petróleo e pode ser usada para aprender o nível de petróleo bruto nos tanques para revelar o fornecimento de petróleo bruto no país de interesse. À medida que as imagens de satélite se tornam cada vez mais disponíveis em vários níveis de resolução e freqüência, novos mercados estão emergindo em agricultura de precisão, silvicultura e gerenciamento de desastres como inundações e secas, derrames de petróleo e pesca ilegal, que estão diretamente ligados a uma série de decisões de investimento .

Essa revolução de dados em finanças me inspirou a começar a pesquisar e desenvolver uma estrutura de apoio à decisão baseada em evidências para a compreensão dos mercados financeiros. Ao longo dos últimos anos, trabalhei em vários casos práticos de análise analítica preditiva de diferentes níveis de complexidade, domínios, fontes de dados e impactos comerciais, o que, em última instância, me levou a perceber a necessidade de um quadro abrangente com uma abordagem fundamentalmente nova. A estrutura mina uma série de fontes de dados heterogêneas e gera um conjunto de hipóteses, suas evidências associadas e pontuações de aptidão para melhor explicar os fenômenos financeiros.

Comecei a desenvolver algoritmos que visam nos ajudar a entender os fatores que afetam o desempenho e os ganhos das empresas, e as formas pelas quais esses fatores poderiam ser usados ​​para gerar hipóteses e fazer previsões. A estrutura aborda um problema de ciência dos dados pela primeira surrendo um grande universo de entidades e fontes de dados e, em seguida, em cada iteração que examina sub-universos estreitos onde novos sinais são extraídos que podem gerar um novo nível de sub-universos ainda mais estreitos. Em muitos casos, haverá várias hipóteses vencedoras que podem ser aplicáveis ​​apenas por um período de tempo, caso em que os algoritmos precisarão atualizar sua base de conhecimento e possivelmente empregar novos pontos de dados.

A estrutura baseia-se em avanços em várias áreas da ciência da computação: inteligência de enxame, análise preditiva, aprendizado de máquinas, recuperação de informações, processamento de linguagem natural e representação e raciocínio do conhecimento. Em um caso em que adotamos esse quadro, o problema da ciência dos dados em questão foi avaliar e prever os ganhos futuros de um grande negócio de mobiliário. Entre muitas hipóteses que foram analisadas, houve um com um índice de confiança relativamente alto: os preços das ações e o desempenho das principais empresas de mobiliário doméstico estão correlacionados com grandes empresas de varejo de fornecimento de melhorias domiciliares que vendem ferramentas e serviços com um atraso de aproximadamente cinco semanas. A hipótese foi apoiada por evidências extraídas de diferentes fontes de dados, como dados do cliente, mídia social online e dados financeiros.

A aptidão desta hipótese foi calculada e comparada com todas as outras hipóteses para evitar a possibilidade de uma coincidência. Em um caso de uso recente, nossos algoritmos extraíram várias fontes de dados para criar um índice de fidelidade de clientes precoce para a Apple Inc., que ajudou a prever as vendas do iPhone X e a próxima “Supercycle” para a Apple. Em outro cenário, o quadro foi usado para identificar os líderes e os outliers no setor de vestuário para prever as vendas no varejo antes do tempo. Os insights que foram extraídos de dados importantes ajudaram a prever grandes pontos decisivos nos dados.

Enquanto a estrutura de análise preditiva que estou desenvolvendo ainda está em seus estágios preliminares, os avanços na inteligência artificial permitirão acomodar diversos problemas de ciência dos dados. No entanto, eu também o usarei para avaliar a legalidade e a preservação da privacidade dos conjuntos de dados em questão. A avalanche de novos dados que circulam em Wall Street, muitas vezes fornecida pelos chamados “corretores de dados”, é certamente inestimável, mas as preocupações foram levantadas sobre os meios de aquisição de dados. Eu prevejo que vamos começar a ver uma série de casos legais questionando a legalidade dessas fontes de dados alternativas e métodos de coleta de dados, já que em breve serão a nova forma de insider trading. As empresas de Wall Street devem ser conscientes sobre quais conjuntos de dados são legais para comprar e para o meu.

O novo paradigma de dados que leva a tomada de decisões em Wall Street deve ser celebrado, mas também regulamentado, pois tem o poder de impactar as decisões em Wall Street, impactando as nossas vidas. Ao preparar a próxima geração de cientistas de dados em minhas salas de aula da Universidade de Nova York, muitas vezes enfatizo que um cientista de dados não só deve ter uma boa compreensão dos algoritmos de aprendizado de máquina e ser um estrategista criativo, mas também ter a capacidade crítica de questionar o legalidade dos conjuntos de dados em questão.

A análise preditiva é certamente um dos campos mais emocionantes e promissores no momento, e já podemos vê-lo moldar nossas vidas de diversas maneiras.

O professor Anasse Bari da Universidade de Nova York, anteriormente com o Grupo do Banco Mundial, é uma figura proeminente no domínio da análise preditiva. Bari está ensinando uma nova geração de cientistas de dados na NYU e está realizando pesquisas sobre novos frameworks de mineração de dados para melhor modelar os mercados financeiros. Ele está fornecendo informações orientadas por dados que podem ajudar os fundos de hedge de Wall Street e outras instituições a tomar decisões sólidas de investimento. Bari é um erudito Fulbright nascido em Marrocos que recentemente co-autor da segunda edição do livro Predictive Analytics for Dummies que foi publicado em 2016 por John Wiley & Sons, Inc.

A conferência AI e Data Science in Capital Markets da Newsweek de 6 a 7 de dezembro em Nova York é a reunião mais importante de especialistas em Inteligência Artificial e Aprendizado de Máquinas na negociação. Junte-se a nós por dois dias de conversas, workshops e sessões de networking com jogadores-chave da indústria.

Haga clic aquí para más información