MLPerf Mobile

MLPerf Mobile은 스마트폰, 태블릿 등 모바일 기기의 다양한 인공지능(AI) 및 머신러닝(ML) 작업 성능을 측정하도록 설계된 무료 오픈소스 벤치마킹 도구입니다. 테스트 대상 워크로드에는 이미지 분류, 언어 이해, 초고해상도 업스케일링, 텍스트 프롬프트 기반 이미지 생성 등이 포함됩니다. 이 벤치마크는 다양한 최신 모바일 기기에서 하드웨어 AI 가속을 활용하여 최상의 성능을 보장합니다.

MLPerf Mobile은 전 세계 여러 기관의 업계 기업과 학자를 포함하여 125개 이상의 회원으로 구성된 비영리 AI/ML 엔지니어링 컨소시엄인 MLCommons®의 MLPerf Mobile 워킹 그룹에서 개발 및 유지 관리합니다. MLCommons는 대규모 데이터 센터 설비부터 소형 임베디드 기기에 이르기까지 다양한 시스템 규모에서 AI 학습 및 추론을 위한 세계적인 수준의 벤치마크를 제공합니다.

MLPerf Mobile의 기능은 다음과 같습니다.

- 최첨단 AI 모델을 기반으로 다양한 도메인에 걸친 벤치마크 테스트(다음 포함):

- 이미지 분류

- 객체 감지

- 이미지 분할

- 언어 이해

- 초고해상도

- 텍스트 프롬프트에서 이미지 생성

- 최신 모바일 기기 및 SoC에서 맞춤 조정된 AI 가속

- TensorFlow Lite 델리게이트 폴백 가속을 통해 Android 기기를 광범위하게 지원합니다.

- 빠른 성능 평가를 원하는 일반 사용자부터 공식 결과를 제출하여 발표하려는 MLCommons 회원까지 모두를 위한 맞춤형 테스트 모드

- 테스트 간 쿨다운 지연 시간을 사용자 지정하여 열 조절을 방지하고 정확한 결과를 보장합니다.

- 클라우드 기반 결과 저장소(선택 사항)를 통해 여러 기기의 이전 결과를 한 곳에 저장하고 액세스할 수 있습니다. (이 기능은 무료이지만 계정 등록이 필요합니다.)

MLPerf Mobile은 일반적으로 AI 모델과 모바일 하드웨어 기능이 발전함에 따라 매년 여러 차례 새로운 테스트 및 가속 지원으로 업데이트됩니다. 일부 벤치마크 테스트는 지원되지 않을 수 있으므로 구형 기기에서는 테스트에 사용할 수 없는 것으로 표시될 수 있습니다.

MLPerf 모바일 앱의 소스 코드와 문서는 MLCommons Github 저장소에서 확인할 수 있습니다. 사용자 지원이나 문의 사항은 앱의 Github 저장소에서 이슈를 열어 주시기 바랍니다.

github.com/mlcommons/mobile_app_open

MLCommons 회원 가입에 관심이 있으시거나 소속된 단체가 있으시면 participation@mlcommons.org로 연락하여 자세한 정보를 문의해 주세요.