Uso de armazenamento de dados
O ano de 2024 começou com um armazenamento de ~130TB. Entre março houve uma redução para ~110TB devido a saída de um colaborador e, consequentemente, a compressão, arquivamento e filtragem dos dados feito pelo próprio colaborador (Figura 1).
Ao final do ano, estamos com aproximadamente 160TB de dados armazenados. Se consideramos os menor nível do ano (março), temos aproximadamente 50TB de dados adicionados nesse ano o que é um pouco superior a 4TB/mês.
O valor de 4TB/mês é inferior a metade da taxa de crescimento observada no ano de 2023 (ver armazenamento em 2023). Nesse ritmo de crescimento, a storage atingirá 80% da capacidade apenas em 24 meses.
Consumo de inodes
Apesar da boa margem que temos de espaço para armazenamento, temos passado por uma limitação no número de inodes (96% no dia 04/12/2024)1.
Resumidamente, cada 1 arquivo armazenado consome 1 inode + N bytes corresponde aos dados armazenados. A storage atual do Marvin tem um limite de 277.1TB e 34.4 milhões de inodes (ou arquivos). Por isso, é recomendável que os usuários tentem adotar padrões de arquivos capazes de armazenar maior quantidade de dados por arquivo. Alguns exemplos são, multifasta para salvar múltiplas sequências, multi SDF para estruturas moleculares, etc. Além disso, muitos programas e scripts permitem trabalhar diretamente com a leitura e escrita de dados compactados o que resulta em ganhos de eficiência de armazenamento e performance de execução devido a redução de operações de IO (leitura e escrita).
A Figura 2 exibe o consumo de inodes em relação ao volume de dados armazenados para cada usuário. A linha vermelha indica o a média esperada para a storage do Marvin com o sistema de arquivos Lustre. Pontos acima da linha vermelha indicam um consumo de inodes acima da média esperada.
Quando os inodes atingem 100%, nenhum arquivo pode ser mais salvo.↩︎