MLPerf Mobile

O MLPerf Mobile é uma ferramenta de benchmarking gratuita e de código aberto, projetada para medir o desempenho de dispositivos móveis, como smartphones e tablets, em diversas tarefas de inteligência artificial (IA) e aprendizado de máquina (ML). As cargas de trabalho testadas incluem classificação de imagens, compreensão de linguagem, upscaling de super-resolução e geração de imagens com base em prompts de texto. Este benchmark utiliza aceleração de IA por hardware em muitos dos dispositivos móveis mais recentes para garantir o melhor desempenho sempre que possível.

O MLPerf Mobile é desenvolvido e mantido pelo grupo de trabalho MLPerf Mobile da MLCommons®, um consórcio de engenharia de IA/ML sem fins lucrativos composto por mais de 125 membros, incluindo empresas do setor e acadêmicos de diversas instituições ao redor do mundo. O MLCommons produz benchmarks de nível internacional para treinamento e inferência de IA em diversas escalas de sistemas, desde grandes instalações de data center até pequenos dispositivos embarcados.

Os recursos do MLPerf Mobile incluem:

- Testes de benchmark em vários domínios com base em modelos de IA de última geração, incluindo:

- Classificação de imagens

- Detecção de objetos

- Segmentação de imagens

- Compreensão de linguagem

- Super resolução

- Geração de imagens a partir de prompts de texto

- Aceleração de IA personalizada nos dispositivos móveis e SoCs mais recentes.

- Amplo suporte para dispositivos Android por meio da aceleração de fallback de delegados do TensorFlow Lite.

- Modos de teste personalizados para todos, desde usuários casuais que desejam uma avaliação rápida de desempenho até membros do MLCommons que pretendem enviar resultados oficiais para publicação.

- Atrasos de resfriamento personalizáveis ​​entre os testes para evitar a limitação térmica e garantir resultados precisos.

- Armazenamento opcional de resultados em nuvem para que você possa salvar e acessar seus resultados anteriores de vários dispositivos em um só lugar. (Este recurso é gratuito, mas requer o registro de uma conta.)

O MLPerf Mobile normalmente é atualizado várias vezes ao ano com novos testes e suporte para aceleração, à medida que os modelos de IA e os recursos de hardware móvel evoluem. Observe que alguns testes de benchmark podem não ser suportados e, portanto, podem não aparecer como disponíveis para teste em dispositivos mais antigos.

O código-fonte e a documentação do aplicativo MLPerf Mobile estão disponíveis no repositório do MLCommons no Github. Para suporte ao usuário ou dúvidas, sinta-se à vontade para abrir problemas no repositório do aplicativo no Github:

github.com/mlcommons/mobile_app_open

Se você ou sua organização tiver interesse em se tornar um membro do MLCommons, entre em contato com participation@mlcommons.org para obter mais informações.