Série "Crie o seu primeiro app" - #11 A teoria necessária para entender bancos de dados
Índice:
O Facebook está repensando a maneira como armazena dados para lidar com os 7 petabytes de novas fotos que os usuários da rede social enviam todos os meses. À medida que o número de fotos cresce, o Facebook precisa encontrar formas mais baratas e menos famosas de armazená-las, segundo o vice-presidente de engenharia de infraestrutura da empresa.
Usuários enviam cerca de 300 milhões de fotos por dia, mais em ocasiões especiais Jay Parikh, do Facebook, disse na quarta-feira à conferência Structure Europe, em Amsterdã. "O Halloween é um dos nossos maiores dias de upload de fotos do ano. Chegamos a algo entre provavelmente 1 e 2 bilhões de fotos enviadas em apenas um dia", disse ele.
Fotos como as tiradas no Halloween logo perdem o interesse, sem ninguém olhando para eles depois de alguns dias ou semanas, mas "Nosso contrato com nossos usuários é que não podemos excluir os dados quando eles não são acessados, temos que mantê-los", disse ele. Isso levou à idéia de colocar as fotos em uma espécie de "armazenamento a frio", disse Parikh.
[Mais leitura: Os melhores serviços de streaming de TV]
Para fazer isso, o Facebook planeja construir um novo data center com Diferentes tipos de armazenamento, hardware de servidor e equipamentos de rede que consomem menos energia e custam menos que os datacenters existentes - tudo isso sem alterar os tempos de resposta dos servidores.
Mas quão eficiente o Facebook pode fazer seu armazenamento a frio? Quando os custos e o consumo de energia nos datacenters são reduzidos, isso geralmente acontece às custas das velocidades de acesso.
Armazenar dados em fitas, por exemplo, reduz o consumo de energia, mas atrasa o acesso a dados.
Amazon Web Services está seguindo um caminho do meio com seu serviço de armazenamento em nuvem Glacier, que é uma alternativa à fita. O serviço é otimizado para dados que são acessados com pouca frequência e para os quais tempos de recuperação de várias horas são aceitáveis.
Isso é muito lento para o Facebook, de acordo com Parikh. "Eu não posso ter uma foto que você acessa de cinco ou dez anos atrás, e para mim mostrar um banner para o usuário que diz: 'Ei, por que você não tenta de novo em 24 horas?' Ainda precisa ser relativamente em tempo real ", disse ele.
Baixas necessidades de energia
A maioria dos datacenters usados hoje é otimizada para usar muita poder para lidar com tarefas que precisam de grande poder de computação. A tecnologia de "armazenamento a frio" que o Facebook está pensando está no outro extremo, disse Parikh. "Você precisa de muito espaço, mas não precisa de muita energia", disse ele, acrescentando que tudo sobre o data center precisa ser repensado para lidar com o problema na escala que o Facebook enfrenta.
Em um nível alto O Facebook está trabalhando em um software que vai descobrir como e onde armazenar um conteúdo na infraestrutura quando envelhecer, disse Parikh. "Isso significará que as cópias dos dados se moverão ao longo do tempo e utilizarão as diferentes partes da infraestrutura que teremos otimizado para a idade do conteúdo". Algumas das invenções na camada de software permitirão que o Facebook ainda responda rapidamente, mas armazene os dados de maneira mais econômica, disse ele.
O armazenamento a frio fará parte da infraestrutura do Facebook no próximo ano ou dois, disse ele. O Facebook planeja divulgar e compartilhar as partes que considera relevantes através do Open Compute Project, uma iniciativa iniciada pelo Facebook para aplicar o modelo de colaboração de software de código aberto ao mundo do hardware de data center.
Os europeus provavelmente usarão mais dados móveis do que os EUA, diz Cisco Os europeus provavelmente usarão mais dados móveis do que os EUA, de acordo com O tráfego de dados móveis deve dobrar a cada ano nos próximos cinco anos, impulsionado pelos serviços de vídeo, e os usuários mais pesados provavelmente serão europeus, de acordo com a Cisco Systems, que acaba de publicar uma atualização de seus dados. Previsão de tráfego de dados do Visual Networking Index.
Na Europa, mesmo aqueles com os aparelhos de dados mais primitivos, sem uma conexão 3G, provavelmente consumirão mais de 18MB de dados por mês até 2013, mais que o dobro de seus equivalentes nos EUA , de acordo com a Cisco. No ano passado, o número foi de apenas 800KB na Europa, e 400KB nos EUA
O Microsoft Surface Pro 64GB vem com apenas 23 GB de espaço de armazenamento disponível Os tablets geralmente têm menos espaço de armazenamento anunciado devido ao software pré-instalado. O tablet Surface Pro de 64 GB da Microsoft vem com cerca de um terço da sua capacidade de armazenamento anunciada quando vai à venda em 9 de fevereiro. Embora seja comum que os tablets tenham menos espaço de armazenamento disponível devido ao software pré-instalado, o Surface Pro é um dos piores infratores comp
Esta não é a primeira vez que os tablets Surface da Microsoft estão no centro das atenções devido à pouca disponibilidade de espaço de armazenamento para usuários fora do mercado. a Caixa. Quando os tablets Surface RT foram lançados em outubro, o Surface RT de 32GB veio com 16GB de uso gratuito (50% da capacidade anunciada), enquanto a versão de 64GB tem 45GB grátis, o que representa cerca de 70% do armazenamento anunciado à venda.
UE watchdog: A coleta de dados não pode voar sob a 'experiência do usuário' Não há justificativa para o uso de informações do consumidor em grandes projetos de dados de acordo com as principais autoridades de proteção de dados da Europa
Melhorar as experiências dos usuários não é justificativa para o uso de informações do consumidor em grandes projetos de dados. 29 O Grupo de Trabalho, que inclui os supervisores de proteção de dados dos 27 países membros da União Européia, disse que o “consentimento explícito e específico” dos consumidores é quase sempre necessário se as empresas quiserem usar suas informações em grandes projetos de dados. documento adotado na semana passada, o grupo afirmou que “propósitos vagos ou gerais” com