Start and Stop
iPhone Configuration Tool's console
Internationalisation
Memory usage
Network performance
Battery usage
Text input
Co-existence with background apps
User friendliness
Databases
Functional
Usability
UI Testing
App performs well in the background
Performance testing
Security and Data Privacy for Authenticated App usage
Start and Stop
App installs over wifi
App installs over 3G
App installs via iTunes and cable
App starts up OK
App resumes OK (after task switching away and touching app icon again)
App exits OK (press and hold app icon in task bar, and press '-')
App does not crash on exit (check crash logs)
App restarts after exit OK
App uninstalls OK
Icon has "added gloss" disabled if it already includes a gloss effect
App can handle exit in the middle of any longer-running action
iPhone Configuration Tool's console
console does not report any errors during normal use of the app
app does not generate any unexpected system warnings
console reports acceptable app warnings during normal use of the app
Internationalisation
App works as expected with different language settings
App works as expected with different timezone settings
App handles daylight savings changes
Memory usage
App consumes reasonable memory
App still functions when most spare memory has been (artificially) pre-allocated (e.g. open multiple safari windows)
App fails gracefully when there is not enough memory
App does not leak memory during prolonged usage
App does not slow down with big data sets or after big downloads
Network performance
App warns the user when there is no network connectivity (if it needs it)
App does not mistakenly warn the user there is no network when there is
App is not confused by wifi hotspots that require a login before providing access to the internet
App can handle malformed data from upstream components
App copes with poor connectivity (find poor reception, or partially cover with foil)
App uses expected/reasonable bandwidth
App uses limited bandwidth over cellular connections
Battery usage
App does not excessively drain the battery (backlight, CPU)
Low battery warning is displayed when battery low
Text input
App can handle unicode characters in input boxes
App can handle huge input (use copy'n'paste from a paragraph elsewhere)
App can handle punctuation characters where text is expected
App can handle badly formatted input
App can handle empty data input
Action button in keyboard is appropriate ('done', 'search', etc)
Text field can be cleared when appropriate
Co-existence with background apps
App handles receiving phone call gracefully
App layout OK during a phone call with double height status bar
App functions smoothly when music is playing in the background
App handles popup notifications from other apps gracefully
Connecting charger does not interrupt or spoil the app
Removing charge does not interrupt or spoil the app
User friendliness
Actions taking longer than 2seconds have visual feedback of activity
Rapid key presses are handled OK and do not cause slow-downs
Page scrolling is smooth and responsive
Databases
If using Core Data, and the schema has changed, test upgrading from earlier versions
Test upgrading app user defaults
Functional
App’s performance for designated and non-designated tasks
Compatibility in different devices, screen size, resolutions, OS and browsers.
Integration with other services like location/GPS, Wi-Fi, and social media
Functioning of redirect options
Application consistency in its desktop version
Adequate prevention from performing undesired actions
Misinterpretation or comprehensibility issues on the UI and design of the app.
Signup, sign in, login flow, and functionality
App response at the time of push notification
Rejecting calls while the app is running
How the app responds after every intrusion
Power consumption
Check every field and form
Search functionality
Compatibility with different OS and its versions
Memory consumption
UI errors
Identify and distinguish the scope and goal of testing
Analyze the functional requirement
Form best practices by considering past tests for better test coverage
Detect the stipulations or conditions that will impact the functional aspect of the app
Usability
Responsiveness of the App Logo and Name when clicking the Application Manager
Receiving visual feedback for user actions in the application within 3 seconds max.
Functionality of the exit options at any point of running the application
Keep away unmapped keys in your Application
Enabling responsive Mobile menu for Tablets and Mobiles
Easy Navigation across different screens
It’s estimated that ROI (Return on investment) on UX is 9,900%
8 out of 10 users are willing to pay more for better UX (user experience)
70% of the users discard the app if they are not offered good UX
Slow-loading website costs billions of dollars
UI Testing
Interface changes with change in screen orientation
Clarity and Readability of application buttons
Responsiveness of drop down lists
Minimizing user actions by enabling them directly pick their choice from the screen
Prompt display of errors and warning messages
Distinguishing the inactive buttons from active buttons
Font options, zoom-in and out and legibility of app display
To Check whether the text size is in accordance with the user’s phone settings
Orientation of screen after rotation
Check whether informative texts have apt alternatives
Check whether screen readers can identify headings
Test the non-text elements such as Description. Images, charts, graphs, audio/video content, etc.
Ensure audio and video elements in the app have a proper text transcript
Check whether captions are given properly even for real-time audio and video
Check the prerecorded audio descriptions
Look for info and its descriptions
Read all the content and ensure that there is nothing that disrupts the flow
Check the Sensory Characteristics
Audio control (for instance, while using the app the user is able to control volume despite the device audio)
Have a look at all the aspects of images of text
Check the contrast of various elements of the app
Check whether the app displays the default language
Make sure that the elements (touch targets) are of considerable size for people to access
Make sure that the gesture the app attempts are simple
To Ensure the layouts and design is consistent
App performs well in the background
Making/Receiving voice calls while the app is running
Rejecting calls while viewing the application
Resuming App from the same point as left at the time of switching to another app
Sending/Receiving messages and alerts while the app is running
Sending/Receiving Push Notifications and responding to them
Performance testing
Time taken to launch the application
Application performance at times of peak load conditions and continual key pad entry
Splash performance check and ensuring it remains on screen for less than 3-4 seconds
Application performance in low device battery and charging conditions
Deploy Live Monitoring Services to keep the app’s computing power on check
Integration with the device and other applications without hampering performance.
Application install/uninstall successfully within the desired timeframe
Displaying error messages and exits gracefully at times of low memory issues
App Performance at the time of a Network problem and error alert prompts
Application performance when the Network is back in action
App loading time
Battery consumption
Network scalability
Memory and CPU utilization
App performance during various load
Cache size availability
Rendering time 2D and 3D
Offline performance
App behavior based on network fluctuations
Image processing time
App performance during low memory scenarios
App performance during various battery stages
Performance of the app during low memory conditions
App performance in various devices and OS versions
Memory leakage of the application
App performance once network resumes to normalcy
Security and Data Privacy for Authenticated App usage
Customers’ Payment data security
Network protocols security for running applications
Breach in applications’ security and error reporting
Authenticating application certificates and permissions
Automatic Application lock out upon continuously entering invalid
Gather crucial information from
Manual site exploration
Examining hidden data and aspects of the app
Evaluation of user roles
Ports and hostnames
Third-party integrations
Vulnerable files
Have a clear idea about what kind of tests needs to be performed what important vulnerabilities need to be focused on
Categories tests based on relevancy and the requirement some of the general categories are
Platform configuration tests
Functional loopholes and business flow check
Sensitive data exposure
3rd party component check
Session management issues
Server related vulnerabilities
Check if there are any authentication bypass
Limit scenarios by creating them based on the checklist
Data management and processing must be checked inside out
Check the codebase using a robust tool or framework
Use the combination of tool-based penetration test as well as red-team intervention
Check the authentication verification capability of the app by testing the
Default credentials
Remember password feature
Cache vulnerabilities
Weak password policy
Unencrypted channels that transfer credentials
Session management capability of the application by analyzing
Session Tokens for cookie flags
Cookie duration
Session termination
Session management
Randomness of the cookie
Penginstalan aplikasi melalui wifi
Penginstalan aplikasi melalui 3G
Penginstalan aplikasi melalui iTunes dan kabel
Aplikasi dimulai dengan baik
Aplikasi berjalan dengan baik (setelah task beralih dan menyentuh ikon aplikasi lagi)
Aplikasi keluar dengan baik (tekan dan tahan ikon aplikasi pada task bar, lalu tekan '-')
Aplikasi tidak macet saat keluar (periksa log kerusakan)
Aplikasi memuat ulang setelah keluar OK
Aplikasi mencopot pemasangan OK
Ikon telah "menambahkan kilap" dinonaktifkan jika sudah menyertakan efek kilap
Aplikasi dapat menangani keluar di tengah-tengah aksi yang sedang berjalan
konsol tidak melaporkan kesalahan apa pun selama penggunaan normal aplikasi
aplikasi tidak menghasilkan peringatan sistem yang tidak diharapkan
konsol melaporkan peringatan aplikasi yang dapat diterima selama penggunaan normal aplikasi
Aplikasi berfungsi seperti yang diharapkan dengan pengaturan bahasa yang berbeda
Aplikasi berfungsi seperti yang diharapkan dengan pengaturan zona waktu yang berbeda
Aplikasi menangani perubahan waktu musim panas
Aplikasi menggunakan memori yang wajar
Aplikasi masih berfungsi ketika sebagian besar memori cadangan telah dialokasikan sebelumnya (secara artifisial) (mis. memb
Aplikasi gagal dengan anggun ketika tidak ada cukup memori
Aplikasi tidak membocorkan memori selama penggunaan yang lama
Aplikasi tidak melambat dengan kumpulan data yang besar atau setelah pengunduhan yang besar
Aplikasi memperingatkan pengguna ketika tidak ada konektivitas jaringan (jika dibutuhkan)
Aplikasi tidak salah memperingatkan pengguna bahwa tidak ada jaringan ketika ada jaringan
Aplikasi tidak bingung dengan hotspot wifi yang membutuhkan login sebelum memberikan akses ke internet
Aplikasi dapat menangani data yang cacat dari komponen hulu
Aplikasi mengatasi konektivitas yang buruk (menemukan penerimaan yang buruk, atau menutupi sebagian dengan kertas tima
Aplikasi menggunakan bandwidth yang diharapkan/wajar
Aplikasi menggunakan bandwidth terbatas melalui koneksi seluler
Aplikasi tidak menguras baterai secara berlebihan (lampu latar, CPU)
Peringatan baterai lemah ditampilkan saat baterai lemah
Aplikasi dapat menangani karakter unicode di kotak input
Aplikasi dapat menangani input yang sangat besar (gunakan copy'n'paste dari paragraf di tempat lain)
Aplikasi dapat menangani karakter tanda baca di mana teks diharapkan
Aplikasi dapat menangani input yang diformat dengan buruk
Aplikasi dapat menangani input data kosong
Tombol aksi pada keyboard sesuai ('selesai', 'cari', dll)
Kolom teks dapat dihapus jika diperlukan
Aplikasi menangani penerimaan panggilan telepon dengan baik
Tata letak aplikasi OK selama panggilan telepon dengan bilah status tinggi ganda
Aplikasi berfungsi dengan lancar saat musik diputar di latar belakang
Aplikasi menangani notifikasi popup dari aplikasi lain dengan baik
Menghubungkan pengisi daya tidak mengganggu atau merusak aplikasi
Menghapus daya tidak mengganggu atau merusak aplikasi
Tindakan yang memakan waktu lebih dari 2 detik memiliki umpan balik visual dari aktivitas
Penekanan tombol yang cepat ditangani dengan baik dan tidak menyebabkan perlambatan
Pengguliran halaman lancar dan responsif
Jika menggunakan Core Data, dan skema telah berubah, uji peningkatan dari versi sebelumnya
Menguji peningkatan default pengguna aplikasi
Performa aplikasi untuk tugas yang ditentukan dan yang tidak ditentukan
Kompatibilitas di berbagai perangkat, ukuran layar, resolusi, OS, dan browser.
Integrasi dengan layanan lain seperti lokasi/GPS, Wi-Fi, dan media sosial
Berfungsinya opsi pengalihan
Konsistensi aplikasi dalam versi desktopnya
Pencegahan yang memadai untuk melakukan tindakan yang tidak diinginkan
Masalah salah tafsir atau pemahaman pada UI dan desain aplikasi.
Pendaftaran, masuk, alur masuk, dan fungsionalitas
Respons aplikasi pada saat ada notifikasi push
Menolak panggilan saat aplikasi sedang berjalan
Bagaimana aplikasi merespons setelah setiap gangguan
Konsumsi daya
Periksa setiap bidang dan formulir
Fungsionalitas pencarian
Kompatibilitas dengan berbagai OS dan versinya
Konsumsi memori
Kesalahan UI
Mengidentifikasi dan membedakan ruang lingkup dan tujuan pengujian
Menganalisis kebutuhan fungsional
Membentuk praktik terbaik dengan mempertimbangkan pengujian sebelumnya untuk cakupan pengujian yang lebih baik
Mendeteksi ketentuan atau kondisi yang akan berdampak pada aspek fungsional aplikasi
Responsivitas Logo dan Nama Aplikasi saat mengklik Manajer Aplikasi
Menerima umpan balik visual untuk tindakan pengguna dalam aplikasi dalam waktu maksimal 3 detik.
Fungsionalitas opsi keluar di setiap titik saat menjalankan aplikasi
Menjauhkan tombol yang tidak dipetakan dalam Aplikasi Anda
Mengaktifkan menu Seluler yang responsif untuk Tablet dan Ponsel
Navigasi yang mudah di layar yang berbeda
Diperkirakan ROI (Pengembalian investasi) pada UX adalah 9.900%
8 dari 10 pengguna bersedia membayar lebih untuk UX (pengalaman pengguna) yang lebih baik
70% pengguna akan membuang aplikasi jika mereka tidak mendapatkan UX yang baik
Situs web yang lambat memuat membutuhkan biaya miliaran dolar
Antarmuka berubah dengan perubahan orientasi layar
Kejelasan dan Keterbacaan tombol aplikasi
Daya tanggap dari daftar tarik-turun
Meminimalkan tindakan pengguna dengan memungkinkan mereka memilih pilihan mereka secara langsung dari layar
Tampilan kesalahan dan pesan peringatan yang cepat
Membedakan tombol yang tidak aktif dengan tombol yang aktif
Opsi font, pembesaran dan pengecilan, serta keterbacaan tampilan aplikasi
Untuk Memeriksa apakah ukuran teks sudah sesuai dengan pengaturan ponsel pengguna
Orientasi layar setelah rotasi
Periksa apakah teks informatif memiliki alternatif yang tepat
Periksa apakah pembaca layar dapat mengidentifikasi judul
Menguji elemen non-teks seperti Deskripsi. Gambar, bagan, grafik, konten audio/video, dll.
Memastikan elemen audio dan video dalam aplikasi memiliki transkrip teks yang tepat
Periksa apakah keterangan diberikan dengan benar bahkan untuk audio dan video real-time
Periksa deskripsi audio yang telah direkam sebelumnya
Cari info dan deskripsinya
Baca semua konten dan pastikan tidak ada yang mengganggu alur
Periksa Karakteristik Sensorik
Kontrol audio (misalnya, saat menggunakan aplikasi, pengguna dapat mengontrol volume meskipun ada audio perangkat)
Lihatlah semua aspek gambar dari teks
Periksa kontras dari berbagai elemen aplikasi
Periksa apakah aplikasi menampilkan bahasa default
Pastikan bahwa elemen (target sentuh) memiliki ukuran yang cukup besar untuk diakses orang
Pastikan bahwa gerakan yang dilakukan aplikasi sederhana
Memastikan tata letak dan desain konsisten
Membuat/Menerima panggilan suara saat aplikasi sedang berjalan
Menolak panggilan saat melihat aplikasi
Melanjutkan Aplikasi dari titik yang sama dengan yang ditinggalkan pada saat beralih ke aplikasi lain
Mengirim/Menerima pesan dan peringatan saat aplikasi sedang berjalan
Mengirim/Menerima Pemberitahuan Push dan meresponsnya
Waktu yang dibutuhkan untuk meluncurkan aplikasi
Performa aplikasi pada saat kondisi beban puncak dan entri ke papan tombol secara terus-menerus
Pemeriksaan kinerja splash dan memastikannya tetap berada di layar selama kurang dari 3-4 detik
Performa aplikasi dalam kondisi baterai perangkat lemah dan kondisi pengisian daya
Menerapkan Layanan Pemantauan Langsung untuk menjaga daya komputasi aplikasi tetap terjaga
Integrasi dengan perangkat dan aplikasi lain tanpa menghambat kinerja.
Penginstalan/penghapusan aplikasi berhasil dilakukan dalam jangka waktu yang diinginkan
Menampilkan pesan kesalahan dan keluar dengan lancar pada saat terjadi masalah memori yang rendah
Performa Aplikasi pada saat terjadi masalah Jaringan dan peringatan kesalahan muncul
Performa aplikasi saat Jaringan kembali berfungsi
Waktu pemuatan aplikasi
Konsumsi baterai
Skalabilitas jaringan
Pemanfaatan memori dan CPU
Performa aplikasi selama berbagai beban
Ketersediaan ukuran cache
Waktu rendering 2D dan 3D
Performa offline
Perilaku aplikasi berdasarkan fluktuasi jaringan
Waktu pemrosesan gambar
Performa aplikasi selama skenario memori rendah
Performa aplikasi selama berbagai tahap baterai
Kinerja aplikasi selama kondisi memori rendah
Performa aplikasi di berbagai perangkat dan versi OS
Kebocoran memori aplikasi
Performa aplikasi setelah jaringan kembali normal
Keamanan data pembayaran pelanggan
Keamanan protokol jaringan untuk aplikasi yang sedang berjalan
Pelanggaran dalam keamanan aplikasi dan pelaporan kesalahan
Mengotentikasi sertifikat dan izin aplikasi
Penguncian aplikasi secara otomatis saat memasukkan data yang tidak valid secara terus menerus
Mengumpulkan informasi penting dari
Eksplorasi situs secara manual
Memeriksa data dan aspek tersembunyi dari aplikasi
Evaluasi peran pengguna
Port dan nama host
Integrasi pihak ketiga
File yang rentan
Memiliki gambaran yang jelas tentang jenis pengujian yang perlu dilakukan, kerentanan penting apa yang perlu difokuskan
Kategorikan tes berdasarkan relevansi dan kebutuhan beberapa kategori umum adalah
Tes konfigurasi platform
Celah fungsional dan pemeriksaan alur bisnis
Pemaparan data sensitif
Pemeriksaan komponen pihak ketiga
Masalah manajemen sesi
Kerentanan terkait server
Periksa apakah ada jalan pintas otentikasi
Batasi skenario dengan membuatnya berdasarkan daftar periksa
Manajemen dan pemrosesan data harus diperiksa luar dalam
Periksa basis kode menggunakan alat atau kerangka kerja yang kuat
Gunakan kombinasi uji penetrasi berbasis alat serta intervensi tim merah
Periksa kemampuan verifikasi otentikasi aplikasi dengan menguji
Kredensial default
Fitur ingat kata sandi
Kerentanan cache
Kebijakan kata sandi yang lemah
Saluran tidak terenkripsi yang mentransfer kredensial
Kemampuan manajemen sesi aplikasi dengan menganalisis
Token Sesi untuk bendera cookie
Durasi cookie
Pengakhiran sesi
Manajemen sesi
Keacakan cookie
mnya (secara artifisial) (mis. membuka beberapa jendela safari)