Hugging Face lança ferramenta para guardar arquivos grandes de modelos de IA
A plataforma criou os Storage Buckets, que funcionam como um disco externo na nuvem para cientistas de dados armazenarem datasets e checkpoints sem complicação.
A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) acaba de lançar os Storage Buckets, segundo informou a empresa em seu blog oficial. A novidade resolve um problema prático: quando alguém está treinando um modelo de inteligência artificial, precisa salvar versões intermediárias do trabalho — os chamados checkpoints (cópias do modelo em diferentes etapas do treinamento) — e também guardar datasets enormes (conjuntos de dados usados para ensinar a IA). Até agora, fazer isso na plataforma exigia criar repositórios públicos ou privados, o que tornava o processo burocrático e lento para arquivos muito grandes.
Com os Storage Buckets, a Hugging Face oferece um espaço de armazenamento que funciona de forma parecida com o Google Drive ou o Dropbox, mas otimizado para o fluxo de trabalho de quem mexe com IA. A ferramenta aceita arquivos de qualquer tamanho, permite upload e download rápidos através de uma interface de linha de comando (CLI, a janela preta onde programadores digitam comandos) e não obriga o usuário a versionar cada mudança — você simplesmente joga os arquivos lá e pronto. Isso é especialmente útil durante experimentos, quando cientistas de dados precisam salvar dezenas de versões de um modelo sem se preocupar com organização ou controle de versão.
A diferença principal em relação aos repositórios tradicionais da plataforma é o tipo de uso. Repositórios são feitos para compartilhar modelos prontos, com histórico completo de modificações e documentação pública. Já os Storage Buckets servem para guardar material de trabalho bruto — coisas que você ainda não quer publicar, que mudam o tempo todo ou que simplesmente ocupam espaço demais. A Hugging Face compara a novidade a serviços como o Amazon S3 (um sistema de armazenamento da AWS usado por empresas para guardar qualquer tipo de arquivo na nuvem), mas integrado direto ao ecossistema da plataforma.
Por enquanto, os Storage Buckets estão em versão beta (fase de testes aberta ao público) e disponíveis para todos os usuários, inclusive contas gratuitas, embora com limites de espaço. A empresa não detalhou os preços finais para planos pagos, mas a ideia é cobrar pelo volume armazenado e pela quantidade de transferências de dados, seguindo o modelo padrão do mercado de cloud storage (armazenamento em nuvem). A funcionalidade está acessível tanto pela interface web quanto pela biblioteca Python da Hugging Face, o que facilita a automação de backups durante o treinamento de modelos.
