Discussão

Armazenamento

Houve redução na taxa de crescimento do volume de dados armazenados em relação ao ano de 2023. Considerando a taxa atual de aproximadamente 4TB/mês a storage atingirá os 80% em 24 meses.

Há um elevado consumo de inodes devido ao grande número de arquivos pequenos. Acreditamos que isso poderá ser mitigado informando o usuário sobre “boas práticas em ambiente HPC” e, se necessário, a Equipe de Dados Biológicos poderá auxiliar no otimização de scripts e programas utilizados.

Exemplos de boas práticas são o uso de arquivos que permitam a combinação de múltiplos dados em um único arquivo (ex. multifasta para sequências) e o uso extensivo de compactação de arquivos e pastas.

Usuários

O número de usuários do Marvin continua em crescimento e atualmente são 107 usuários. No entanto, notamos que boa parte deles utilizam apenas os recursos de armazenamento de dados dado que apenas 30 usuários submeteram jobs para as filas do Slurm.

Acreditamos que treinamentos poderão contribuir para ampliarmos o número de usuários.

Processamento

A média de jobs submetidos por mês cresceu aproximadamente 240%.

A duas filas com maior número de jobs foram, respectivamente, a “short-cpu” e “short-gpu-small”.

Aproximadamente 50% dos jobs são executados em menos de 1 hora.

O tempo médio de espera na fila foi de 6 horas e meia. Isso ocorre porque é comum que os usuários submetam lotes de jobs para serem processados. Isso é comum em ambientes HPC, mas pode impactar usuários que desejam executar tarefas interativamente. A EDB estuda maneiras que possam minimizar o impacto a esses usuários, mas sem comprometer a performance e eficiência dos usuários que fazem uso do “processamento em lotes”.

Conclusão

O relatório demonstrou o crescimento na utilização do HPC em relação ao ano anterior. Esse crescimento é positivo e indica um melhor aproveitamento do recurso. No entanto, isso também resulta em maior competição entre os usuários por tempo de processamento.

Nossa percepção é que será cada vez mais necessário informarmos os usuários sobre “boas práticas” e uso eficiente dos recursos, assim como começarmos a estabelecer políticas para um compatilhamento harmonioso do recurso.