MLPerf Mobile

MLPerf Mobile es una herramienta de benchmarking gratuita y de código abierto diseñada para medir el rendimiento de dispositivos móviles como smartphones y tablets en diversas tareas de inteligencia artificial (IA) y aprendizaje automático (AA). Las cargas de trabajo probadas incluyen clasificación de imágenes, comprensión de lenguaje, escalado de súper resolución y generación de imágenes basada en indicaciones de texto. Este benchmark utiliza la aceleración de IA por hardware en muchos de los dispositivos móviles más recientes para garantizar el mejor rendimiento posible.

MLPerf Mobile es desarrollado y mantenido por el grupo de trabajo MLPerf Mobile de MLCommons®, un consorcio de ingeniería de IA/AA sin fines de lucro compuesto por más de 125 miembros, incluyendo empresas del sector y académicos de diversas instituciones de todo el mundo. MLCommons produce benchmarks de primer nivel para el entrenamiento e inferencia de IA en sistemas de diversas escalas, desde grandes centros de datos hasta pequeños dispositivos integrados.

Las características de MLPerf Mobile incluyen:

- Pruebas de referencia en diversos dominios basadas en modelos de IA de vanguardia, incluyendo:

- Clasificación de imágenes

- Detección de objetos

- Segmentación de imágenes

- Comprensión lingüística

- Súper resolución

- Generación de imágenes a partir de indicaciones de texto

- Aceleración de IA personalizada para los dispositivos móviles y SoC más recientes.

- Amplia compatibilidad con dispositivos Android mediante la aceleración de respaldo de delegados de TensorFlow Lite.

- Modos de prueba personalizados para todos, desde usuarios ocasionales que buscan una evaluación rápida del rendimiento hasta miembros de MLCommons que desean publicar resultados oficiales.

- Retrasos de enfriamiento personalizables entre pruebas para evitar la limitación térmica y garantizar resultados precisos.

- Almacenamiento de resultados opcional en la nube para que pueda guardar y acceder a sus resultados anteriores desde múltiples dispositivos en un solo lugar. (Esta función es gratuita, pero requiere registro de cuenta).

MLPerf Mobile se actualiza varias veces al año con nuevas pruebas y compatibilidad con la aceleración a medida que evolucionan los modelos de IA y las capacidades del hardware móvil. Tenga en cuenta que algunas pruebas de referencia podrían no ser compatibles y, por lo tanto, no aparecer disponibles para su prueba en dispositivos antiguos.

El código fuente y la documentación de la aplicación móvil MLPerf están disponibles en el repositorio de Github de MLCommons. Para obtener ayuda o realizar preguntas, no dude en abrir incidencias en el repositorio de Github de la aplicación:

github.com/mlcommons/mobile_app_open

Si usted o su organización están interesados ​​en hacerse miembros de MLCommons, contacten con participation@mlcommons.org para obtener más información.