Android

Yahoo busca o Hadoop Boost com lançamento da versão interna

Hadoop Tutorial 3 - History Behind Creation of Hadoop (Google, Yahoo, and Apache)

Hadoop Tutorial 3 - History Behind Creation of Hadoop (Google, Yahoo, and Apache)
Anonim

Para promover a adoção da tecnologia Hadoop para o processamento de grandes conjuntos de dados, o Yahoo lançará uma versão do software que aperfeiçoou para alimentar muitos de seus principais sites e serviços.

O anúncio foi na quarta-feira no segundo anual Hadoop Summit, organizado pelo Yahoo e patrocinado por vários grandes fornecedores que apóiam essa tecnologia, incluindo IBM, Sun e Amazon.com. Os mecanismos de busca, sistemas de anúncios e serviços de webmail do Yahoo usam o Hadoop, uma implementação de código aberto do modelo de programação MapReduce. para processamento de grandes conjuntos de dados em clusters de processadores

[Mais leitura: Os melhores serviços de streaming de TV]

No Yahoo, o Hadoop executa mais de 25.000 servidores para processar dados de dezenas de bilhões de páginas da Web, dezenas de pet abytes de armazenamento e bilhões de registros todos os dias.

Ao liberar o código-fonte de sua distribuição Hadoop, o Yahoo espera impulsionar o desenvolvimento deste projeto da Apache Software Foundation.

Yahoo, que emprega o fundador do Hadoop, Doug Cutting, Aprimoramentos do Hadoop para o projeto Apache, mas agora está lançando sua implementação completa do Hadoop, que é a maior do mundo e foi amplamente testada e aperfeiçoada para uso em sistemas de produção ao vivo. O código do Yahoo vem sem restrições sobre seu uso comercial. "Tem havido muito interesse em expressar que, se disponibilizássemos isso, seria útil para outros usuários", disse Shelton Shugar, vice-presidente sênior de computação em nuvem da Microsoft. O Yahoo está cada vez mais consolidando plataformas de processamento em clusters do Hadoop porque eles podem escalar melhor e fornecer o processamento de dados em grande escala que os sites e serviços da empresa exigem, disse ele. "Estamos muito felizes com a forma como o Hadoop é Trabalhando para nós. É uma plataforma fabulosa ", disse Shugar.

Amazon.com lançou recentemente um serviço hospedado projetado para simplificar para desenvolvedores o uso do Hadoop chamado Amazon Elastic MapReduce, enquanto empresas como Cloudera comercializam distribuições comerciais Hadoop projetadas para implantações corporativas