MLPerf Mobile

MLPerf Mobile to darmowe, otwarte narzędzie testowe, przeznaczone do pomiaru wydajności urządzeń mobilnych, takich jak smartfony i tablety, w różnych zadaniach związanych ze sztuczną inteligencją (AI) i uczeniem maszynowym (ML). Testowane obciążenia obejmują klasyfikację obrazów, rozumienie języka, superskalowanie rozdzielczości oraz generowanie obrazów na podstawie komunikatów tekstowych. Ten benchmark wykorzystuje sprzętową akcelerację AI w wielu najnowszych urządzeniach mobilnych, aby zapewnić najwyższą możliwą wydajność.

MLPerf Mobile jest tworzony i utrzymywany przez grupę roboczą MLPerf Mobile w MLCommons®, konsorcjum non-profit zajmującym się inżynierią AI/ML, zrzeszającym ponad 125 członków, w tym firmy branżowe i naukowców z wielu różnych instytucji na całym świecie. MLCommons tworzy światowej klasy testy porównawcze dla szkolenia i wnioskowania AI w systemach o różnej skali, od dużych instalacji centrów danych po maleńkie urządzenia wbudowane.

Funkcje aplikacji MLPerf Mobile obejmują:

- Testy porównawcze w różnych domenach oparte na najnowocześniejszych modelach AI, w tym:

- Klasyfikacja obrazów

- Wykrywanie obiektów

- Segmentacja obrazów

- Rozumienie języka

- Super rozdzielczość

- Generowanie obrazów z komunikatów tekstowych

- Dostosowane przyspieszenie AI na najnowszych urządzeniach mobilnych i układach SoC.

- Szerokie wsparcie dla urządzeń z systemem Android poprzez akcelerację zastępczą delegatów TensorFlow Lite.

- Dostosowane tryby testowania dla każdego, od zwykłych użytkowników, którzy chcą szybko ocenić wydajność, po członków MLCommons, którzy zamierzają przesłać oficjalne wyniki do publikacji.

- Konfigurowalne opóźnienia chłodzenia między testami, aby uniknąć dławienia termicznego i zapewnić dokładność wyników.

- Opcjonalne przechowywanie wyników w chmurze, dzięki czemu można zapisywać i uzyskiwać dostęp do poprzednich wyników z wielu urządzeń w jednym miejscu. (Ta funkcja jest bezpłatna, ale wymaga rejestracji konta).

Aplikacja MLPerf Mobile jest zazwyczaj aktualizowana kilka razy w roku, dodając nowe testy i obsługę akceleracji w miarę rozwoju modeli AI i możliwości sprzętu mobilnego. Należy pamiętać, że niektóre testy porównawcze mogą nie być obsługiwane na starszych urządzeniach i dlatego mogą nie być dostępne do testowania.

Kod źródłowy i dokumentacja aplikacji mobilnej MLPerf są dostępne w repozytorium MLCommons na Github. W celu uzyskania wsparcia lub w przypadku pytań prosimy o zgłaszanie problemów w repozytorium aplikacji na Github:

github.com/mlcommons/mobile_app_open

Jeśli Ty lub Twoja organizacja jesteście zainteresowani członkostwem w MLCommons, prosimy o kontakt pod adresem participation@mlcommons.org w celu uzyskania dodatkowych informacji.