Car-tech

Engenheiros do Facebook identificam os desafios de big data do Graph Search

Big Data – O grande desafio dos 3Vs

Big Data – O grande desafio dos 3Vs
Anonim

Os engenheiros do Facebook têm muitos desafios pela frente enquanto trabalham para ampliar a Pesquisa Gráfica, a nova ferramenta de pesquisa social do site. Um obstáculo: uma abundância excessiva de dados para filtrar.

Veja o exemplo da busca de restaurantes japoneses em Nova York, apreciados por pessoas do Japão. Uma pesquisa que parece gerar centenas, se não milhares, de resultados, apenas devolve dois negócios insignificantes.

O mecanismo de busca, em sua forma beta atual, simplesmente não tem o poder de processamento para peneirar os milhões de conexões entre japoneses. no site para realizar a pesquisa, engenheiros do Facebook disseram quinta-feira durante uma pequena entrevista à imprensa na sede da empresa em Menlo Park, Califórnia

[Mais leitura: Os melhores serviços de streaming de TV]

Kerry Davis, IDGNSMike Curtiss, engenheiro no Facebook, descreve o plano de fundo do Graph Search, que é alimentado por um mecanismo de busca chamado Facebook Unicorn.

"Ainda há muito trabalho que temos que fazer", disse o engenheiro de software Michael Curtiss. "Uma consulta como esta é muito difícil", para começar com os 100 milhões no Japão e, em seguida, em uma fração de segundo para classificar todas as páginas apreciadas por pessoas no Japão, ele disse. intratável na quantidade limitada de tempo que temos ”, disse o engenheiro, que ajudou a projetar o mecanismo de busca Unicorn do site, que fornece a infraestrutura do Graph Search. “O que acabamos tendo que fazer é cortar possivelmente bons resultados.”

Kerry Davis, base de pesquisa de gráficos do IDGNSFacebook é chamada Unicorn pela empresa. Dentro dela, os tipos de borda são atribuídos a um número. Aqui, o número de amigos, que funciona como uma palavra-chave dentro do sistema, é mostrado na parte inferior esquerda da tela.

O Facebook está adotando várias abordagens para resolver esse e outros problemas de big data associados à Pesquisa Gráfica.

Uma estratégia envolve um conceito em bancos de dados de computador conhecido como “otimização de consulta” para melhorar a velocidade e a eficiência de certos tipos de pesquisas.

No caso da busca em restaurantes japoneses, a técnica poderia ser aplicada para começar primeiro com os restaurantes que são apreciados em vez de começar com o Japão, e depois filtrar os gostos pelas pessoas, disseram os engenheiros do Facebook.

A empresa também está enfrentando os desafios no nível do hardware, adicionando memória flash adicional e outros novos recursos ao servidores que ele usa em datacenters, para acomodar o aumento no tráfego de pesquisa causado pelo Graph Search.

“Precisamos fazer um trabalho extra em data centers, comprando novas plataformas de hardware, [com] novos tipos de servidores sendo suportados As necessidades computacionais do Unicorn, ”disse Soren Lassen, que liderou a equipe de infraestrutura de busca por trás do Graph Search.

O Facebook começou a lançar o Graph Search no mês passado para um número limitado de usuários nos EUA. vasculhar as conexões de 1 trilhão de usuários da rede social para procurar pessoas, lugares, fotos e interesses usando frases em inglês simples.

Em princípio, nada pode impedir os usuários de digitar uma consulta que é incomumente longa, como “Empregadores de amigos dos meus amigos que moram em Nova York e que gostam do

Downton Abbey ”, disseram os engenheiros, já que o Graph Search usa dicas como“ Curtir ”e check-ins para classificar melhor os resultados. Eventualmente, a Pesquisa Gráfica incorporará outras métricas, como comentários de usuários e atualizações de status, para compilar e classificar os resultados, mas isso está mais além, disse a empresa.