Uso de armazenamento de dados

O ano de 2025 começou com um armazenamento de ~160TB. De janeiro até meados de outubro, houve um incremento de mais de 100TB. (Figura 1).

Ao final do ano, estamos com aproximadamente 270TB de dados armazenados. Considerando o espaço utilizado no início do ano, temos uma média de pouco mais de 9TB/mês.

O valor de 9TB/mês é mais que o dobro da taxa de crescimento observada no ano de 2024 (ver armazenamento em 2024).

No mês de outubro, realizamos o arquivamento de dados antigos de CryoEM para a storage Ibira do Sirius. Esse arquivamento de dados brutos reduzio aproximadamente 40TB.

Figura 1: Gráfico do armazenamento de dados na storage do Marvin.

Consumo de inodes

Assim como no ano anterior, temos passado por uma limitação no número de inodes (89% no dia 06/01/2026)1.

Resumidamente, cada 1 arquivo armazenado consome 1 inode + N bytes corresponde aos dados armazenados. A storage atual do Marvin tem um limite de 277.1TB e 34.4 milhões de inodes (ou arquivos). Por isso, é recomendável que os usuários tentem adotar padrões de arquivos capazes de armazenar maior quantidade de dados por arquivo. Alguns exemplos são, multifasta para salvar múltiplas sequências, multi SDF para estruturas moleculares, etc. Além disso, muitos programas e scripts permitem trabalhar diretamente com a leitura e escrita de dados compactados o que resulta em ganhos de eficiência de armazenamento e performance de execução devido a redução de operações de IO (leitura e escrita).

A Figura 2 exibe o consumo de inodes em relação ao volume de dados armazenados para cada usuário. A linha vermelha indica a média esperada para a storage do Marvin com o sistema de arquivos Lustre. Pontos acima da linha vermelha indicam um consumo de inodes acima da média esperada.

Figura 2: Consumo de inodes por volume de dado armazenado os usuários do Marvin. A linha vermelha mostra a média esperada pelo sistema Lustre da storage e corresponde a 8MB/inode (arquivo).

  1. Quando os inodes atingem 100%, nenhum arquivo pode ser mais salvo.↩︎