Android

Amazon Automates Hadoop Uso para desenvolvedores

Hadoop on Amazon AWS Part 8: Working with our own HDFS

Hadoop on Amazon AWS Part 8: Working with our own HDFS
Anonim

Amazon.com lançou um serviço hospedado projetado para simplificar para desenvolvedores o uso da implementação Hadoop do modelo de programação MapReduce para processamento de grandes conjuntos de dados em clusters de processadores.

Chamado Amazon Elastic MapReduce, o serviço de computação em nuvem é destinado a desenvolvedores cujas aplicações precisam processar grandes quantidades de dados, para as quais o Hadoop é ideal.

Com o Amazon Elastic MapReduce, muitas tarefas que os desenvolvedores precisariam manipular manualmente relacionadas ao Hadoop são automatizadas, a computação em nuvem da Amazon Web Services (AWS) da empresa A divisão disse em um blog oficial na quinta-feira.

[Mais leitura: Os melhores serviços de streaming de TV]

"Usando o Elastic MapReduce, você pode criar, executar, monitorar e controlar tarefas do Hadoop com facilidade de apontar e clicar. Você não precisa sair e comprar montes de hardware. Você não precisa colocá-lo em rede, nem administrá-lo. Você não precisa se preocupar em ficar sem recursos ou compartilhá-los com outros membros da sua organização. Você não precisa monitorá-lo, ajustá-lo ou gastar tempo atualizando o sistema ou o software aplicativo nele ", lê-se no anúncio do blog.

A AWS decidiu criar este serviço depois de descobrir que tem clientes executando trabalhos do Hadoop na Amazon Elastic Compute Cloud (EC2), que fornece capacidade de computação hospedada Como o Hadoop está se tornando cada vez mais popular, a Amazon tem como objetivo tornar mais fácil para outros desenvolvedores tirar proveito dessa implementação de MapReduce.

Elastic MapReduce trabalha em conjunto com EC2 e o serviço de nuvem de armazenamento hospedada do Amazon Simple Storage Service (S3). "Elastic MapReduce automatiza automaticamente uma implementação do Hadoop da estrutura MapReduce em instâncias do Amazon EC2, subdividindo os dados em um fluxo de trabalho em partes menores para que possam ser processado - a função 'map' - em paralelo, e eventualmente recombinar os dados processados ​​na solução final - a função 'reduce'. O Amazon S3 serve como fonte para os dados sendo analisados ​​e como destino de saída para os resultados finais, "de acordo com uma descrição separada do serviço.

Como com outros serviços em nuvem da AWS, a Amazon cobra Elastic MapReduce com base em sua uso, sem uma taxa mínima.