MLPerf Mobile

MLPerf Mobile adalah alat pembanding sumber terbuka gratis yang dirancang untuk mengukur performa perangkat seluler seperti ponsel pintar dan tablet dalam berbagai tugas kecerdasan buatan (AI) dan pembelajaran mesin (ML). Beban kerja yang diuji meliputi klasifikasi gambar, pemahaman bahasa, peningkatan resolusi super, dan pembuatan gambar berdasarkan perintah teks. Benchmark ini memanfaatkan akselerasi AI perangkat keras pada banyak perangkat seluler terbaru untuk memastikan performa terbaik jika memungkinkan.

MLPerf Mobile dibangun dan dikelola oleh kelompok kerja MLPerf Mobile di MLCommons®, sebuah konsorsium rekayasa AI/ML nirlaba yang beranggotakan lebih dari 125 anggota, termasuk perusahaan industri dan akademisi dari berbagai institusi di seluruh dunia. MLCommons menghasilkan benchmark kelas dunia untuk pelatihan dan inferensi AI di berbagai skala sistem, mulai dari instalasi pusat data besar hingga perangkat tertanam kecil.

Fitur-fitur MLPerf Mobile meliputi:

- Uji tolok ukur di berbagai domain berdasarkan model AI tercanggih, termasuk:

- Klasifikasi gambar

- Deteksi objek

- Segmentasi gambar

- Pemahaman bahasa

- Resolusi super

- Pembuatan gambar dari perintah teks

- Akselerasi AI yang disesuaikan pada perangkat seluler dan SoC terbaru.

- Dukungan luas untuk perangkat Android melalui akselerasi fallback delegasi TensorFlow Lite.

- Mode uji yang disesuaikan untuk semua orang, mulai dari pengguna biasa yang menginginkan penilaian kinerja cepat hingga anggota MLCommons yang ingin mengirimkan hasil resmi untuk dipublikasikan.

- Penundaan pendinginan yang dapat disesuaikan antar pengujian untuk menghindari pelambatan termal dan memastikan hasil yang akurat.

- Penyimpanan hasil berbasis cloud opsional sehingga Anda dapat menyimpan dan mengakses hasil sebelumnya dari beberapa perangkat di satu tempat. (Fitur ini gratis tetapi memerlukan pendaftaran akun.)

MLPerf Mobile biasanya diperbarui beberapa kali setiap tahun dengan pengujian baru dan dukungan akselerasi seiring perkembangan model AI dan kemampuan perangkat keras seluler. Harap diperhatikan bahwa beberapa uji benchmark mungkin tidak didukung, dan oleh karena itu mungkin tidak tersedia untuk pengujian, pada perangkat yang lebih lama.

Kode sumber dan dokumentasi untuk aplikasi MLPerf Mobile tersedia di repositori Github MLCommons. Untuk dukungan pengguna atau pertanyaan, silakan buat masalah di repositori Github aplikasi:

github.com/mlcommons/mobile_app_open

Jika Anda atau organisasi Anda tertarik untuk menjadi anggota MLCommons, silakan hubungi participation@mlcommons.org untuk informasi lebih lanjut.