O Hadoop obtém mais pesquisas com o MapR, Cloudera libera

Os usuários da plataforma de processamento de dados Hadoop agora têm mais duas ferramentas para ajudá-los a classificar suas montanhas de informações.

A nova distribuição M7 do MapR remove as camadas Hadoop JVM para melhorar o desempenho do Hadoop O MapR integrou a Busca LucidWorks em sua própria distribuição. Enquanto isso, a Cloudera lançou o primeiro release completo de seu mecanismo de consulta de código aberto Impala SQL para o Hadoop.

[Leitura adicional: Os melhores serviços de streaming de TV]

“Usar a pesquisa como interface de usuário para big data é muito interessante. A pesquisa é bem adequada para alavancar muitos tipos diferentes de informações, especialmente informações não estruturadas ”, disse Jack Norris, diretor de marketing da MapR. "Estamos vendo alguns aplicativos realmente interessantes com os mecanismos de pesquisa em seu núcleo, mesmo que um usuário típico não pense neles como um motor de busca."

LucidWorks Search é a versão comercial do Apache Lucene / Solr de código aberto completo mecanismo de pesquisa de texto. Com a nova integração do MapR, o LucidWorks Search pode pesquisar dados no Hadoop File Systems (HDFS) ou em arquivos em outros sistemas de arquivos.

O LucidWorks Search oferece snapshots e espelhos para alta disponibilidade e elimina grande parte do trabalho necessário para instale o Lucene / Solr do zero. Ele também oferece suporte nativo para mais fontes de dados, uma interface gráfica de usuário e uma estrutura de segurança.

O mecanismo de pesquisa pode ser usado em um aplicativo Web dinâmico para recuperar rapidamente fotos, publicidade, recomendações de produtos e outras informações que podem ser usadas para preencher sites da Web em tempo real. “Esse não é um substituto de menor custo para data warehouses. Trata-se de alavancar novas fontes de dados e fazer algumas coisas que têm um impacto dramático nos negócios ”, disse Norris.

A MapR e a LucidWorks trabalham juntas no emparelhamento de suas tecnologias desde 2011, quando formaram um acordo de marketing conjunto. No início deste ano, eles lançaram um conector que facilita o uso do Lucene / Solr com a distribuição MapR Hadoop.

O LucidWords Search trabalha com a recém-lançada distribuição M7 do MapR, em formato beta. Além de suportar o LucidWorks Search, a edição M7 foi reprojetada para eliminar compactações ou verificações de consistência em segundo plano, acelerando o desempenho.

Também nesta semana, a Cloudera lançou a versão 1.0 do Cloudera Impala, um mecanismo de consulta compatível com SQL de código aberto. Hadoop. SQL é a linguagem de interface de banco de dados usada em sistemas de gerenciamento de banco de dados relacional (RDMS) e é bem conhecida pelos administradores de banco de dados.

O Impala foi projetado para executar consultas mais rapidamente que o Hadoop do Hadoop, porque não usa a estrutura MapReduce, que requer resultados da pesquisa sejam gravados no disco. Em vez disso, os usuários podem consultar dados armazenados no HDFS e no HBase diretamente. Os usuários podem consultar os dados de forma interativa ou por meio de processos em lote.

A Cloudera lançou uma versão desse mecanismo em outubro passado como um beta. Desde então, o software foi testado por empresas como a 37signals e a Expedia.

O Impala é o componente principal do pacote suplementar Cloudera Enterprise RTQ (Real-Time Query) para a plataforma Cloudera Hadoop. O Impala pode ser baixado sem custo.

Atualizado em 6 de maio para corrigir informações sobre a tecnologia Cloudera Impala.