O Hotmail obtém um novo sistema de armazenamento - ainda mais rápido!

O Hotmail recebe bilhões de mensagens de e-mail todos os dias e elas precisam ser armazenadas com segurança. ser prontamente disponibilizado de forma eficiente. O sistema de armazenamento baseado em nuvem do Hotmail suporta mais de um bilhão de caixas de correio e centenas de petabytes de dados (um petabyte é um milhão de gigabytes). E administrar centenas de milhares de transações simultâneas de maneira eficiente nessa escala é um desafio de engenharia. O sistema de armazenamento é construído usando a tecnologia Microsoft, incluindo o Windows Server e o Microsoft SQL Server.

A Microsoft tem trabalhado em uma grande atualização para esse sistema de armazenamento. Desde o início deste ano, um novo sistema baseado em tecnologias desenvolvidas no Hotmail está sendo executado em um cluster piloto usando contas pessoais de funcionários da Microsoft. E após testes rigorosos, o novo sistema foi certificado, o que proporciona melhor confiabilidade a um preço significativamente menor.

Vamos ver algumas dessas novas tecnologias usadas pelo Hotmail.

Implementando o JBOD substituindo RAID:

“RAID (Redundant Array of Inexpensive Disks) é uma tecnologia que permite que vários discos rígidos sejam conectados a uma única placa controladora, o que os faz parecer com um único disco rígido maior e muito mais confiável (às vezes chamado de “Logical Unit”) para o software que executa o disco rígido. sistema de armazenamento. ”

O Hotmail tem usado o RAID há muito tempo. Os e-mails foram mantidos em vários grupos de RAID, de modo que, mesmo quando o RAID inteiro falha, as mensagens podem ser restauradas. O Hotmail estudou a perspectiva de confiabilidade de unidades de capacidade maiores que 1 terabyte e descobriu que não era o dinheiro do ponto de vista da confiabilidade. Como os sistemas RAID lidam facilmente com problemas que afetam o sistema único, mas não quando a máquina inteira ou o controlador RAID enfrenta problemas. O Hotmail descobriu que ter cópias em uma máquina diferente que não compartilha o controlador não era apenas mais confiável, mas também mais barato que a configuração RAID.

Assim, eles desenvolveram JBOD (apenas um bando de discos) onde as cópias de dados residem em discos rígidos independentes. drives, controladores e máquinas. Assim, fazendo o controlador do disco rígido quase completamente fora do caminho e entregando-o ao software para controlar. Este software do sistema JBOD foi desenvolvido pelo Hotmail.

Este software JBOD monitora constantemente as falhas e gera um alerta quando encontrado, provocando assim um processo de reparo. Esse processo de reparo pode estar reinicializando uma máquina ou reiniciando um processo, para consertar corrupção de dados ou até mesmo envolver intervenção humana, se necessário. A principal vantagem de usar o software é que ele pode manter as boas cópias de e-mails priorizando a ação de reparo se encontrar menos cópias. Usando este software, a própria replicação foi simplificada

“O sistema de armazenamento consiste em um conjunto de máquinas, cada uma com sua cópia de uma mensagem de e-mail e um jornal que registra as mensagens que chegaram, organizadas por data de chegada. As máquinas conversam entre si de tempos em tempos, comparam seus diários e copiam todas as mensagens que percebem que não foram copiadas para todas as máquinas. “

Implementando unidades de estado sólido (SSDs) em vez de discos rígidos.

Sabemos que os SSDs são muito mais rápidos que os discos rígidos. Os discos rígidos, embora maiores e mais baratos, são lentos na manipulação da taxa de solicitações.

“Um disco rígido normal pode executar pouco mais de cem operações de leitura / gravação por segundo, enquanto alguns dos mais rápidos SSDs podem cem mil operações por segundo. ”

Embora essa velocidade tenha um preço, pois é muito cara / gigabyte em comparação aos discos rígidos.

Os SSDs lidam com a carga em constante mudança de maneira eficiente. Isso pode ser explicado como o Hotmail não apenas armazena as mensagens de e-mail, mas também monitora vários metadados em constante mudança, como lista de mensagens na caixa de entrada, status de mensagens lidas / não lidas, encadeamento de conversas, etc. Esses metadados ocupam uma pequena fração do espaço de armazenamento coloca a carga máxima em discos rígidos devido à natureza em constante mudança. Portanto, usar SSDs para armazenar metadados e discos rígidos para mensagens é uma combinação melhor e eficiente.

Além dessas melhorias, o Hotmail revelará muito mais em posts futuros. O lançamento do novo sistema de armazenamento já começou e os novos clusters serão baseados no JBOD. Já 30 milhões de usuários estão no JBOD, enquanto outros 100 milhões estarão se movendo no decorrer do tempo.

Se você percebeu, o Hotmail se tornou muito rápido. Se você não tiver - tente agora.