Componentes

Fornecedores de banco de dados Adicione MapReduce do Google

MapReduce

MapReduce
Anonim

Greenplum e Aster Data Systems, duas startups envolvidas em larga escala A análise de dados anunciou esta semana que seus produtos suportarão o MapReduce, uma técnica de programação originalmente desenvolvida pelo Google para processamento paralelo de grandes conjuntos de dados em hardware.

Desenvolvedores de software tendem a se sentir mais à vontade com linguagens como Java e C ++ SQL, disse Mayank Bawa, co-fundador e CEO da Aster, fabricante de um sistema de banco de dados de cluster que divide as cargas de trabalho em vários níveis distintos. "A maioria dos desenvolvedores luta com as nuances de fazer um banco de dados dançar bem em suas direções". escreveu em um post no blog. "De fato, um maestro SQL é necessário para executar consultas interessantes para transformações de dados (durante o processamento ETL ou processamento Extract-Load-Transform) ou data mining (durante analítica)."

Digite MapReduce, cujo objetivo era fornecer um "estrutura trivialmente paralelizável, de modo que mesmo desenvolvedores novatos (também estagiários) pudessem escrever programas em uma variedade de linguagens (Java / C / C / Perl / Python) para analisar dados independentes de escala", escreveu Bawa.

Enquanto isso, Greenplum, O fabricante de um banco de dados que diz que pode escalar para um petabyte de informações, disse esta semana que uma estrutura MapReduce será parte de seu mecanismo de fluxo de dados a partir de setembro. Os anúncios gêmeos trouxeram um aceno de aprovação de um observador atento do banco de dados world.

"Por si só, o MapReduce pode fazer muito trabalho importante na manipulação e análise de dados. Integrá-lo ao SQL deve apenas aumentar sua aplicabilidade e poder", escreveu Curt Monash da Monash Research, no blog do DBMS2.

"MapReduce não é necessário para tabu gerenciamento de dados. Isso tem sido eficientemente paralelizado de outras maneiras ", acrescentou." Mas, se você quiser construir estruturas não tabulares, como índices de texto ou gráficos, o MapReduce acaba sendo uma grande ajuda. "