Bagian ini akan menjelaskan proses pengembangan instrumen yang dilakukan untuk menunjukkan bahwa proses yang dilakukan dalam pengembangan tes sudah memenuhi kualifikasi dan standar yang ilmiah. Gambar 1 menunjukkan proses lengkap pengembangan instrumen dari pendesainan tes hingga rilis skor yang didapatkan dari pengadministrasian tes.
Gambar 1. Prosedur Pengembangan Tes
Pengembangan tes diawali dari pendesainan tes. Pendesainan ini dilakukan dengan menggunakan kombinasi antara (a) dasar teori mengenai kemampuan yang diukur dengan (b) dasar teori mengenai pengembangan alat ukur. Desain tersebut kemudian diimplementasikan menjadi kisi-kisi tes yang berisi informasi mengenai dimensi-dimensi tes, jumlah butir dan informasi pendukung. Selain kisi-kisi tes pendesainan tes menghasilkan informasi mengenai spesifikasi tes yang memuat beberapa informasi seperti (a) pembagian waktu pelaksanaan tiap komponen tes, (b) format butir, (c) prosedur penyekoran, (d) jenis-jenis komponen tes, dan sebagainya.
Kisi-kisi ini kemudian menjadi bahan untuk melakukan penulisan soal. Proses penulisan soal dilakukan oleh para penulis yang sudah terlatih dan berpengalaman dalam menulis soal tes potensi akademik. Para penulis ini telah mendapatkan pembekalan dari pengembang tes sehingga soal yang ditulis tetap berada pada jalur yang dikembangkan oleh pengembang tes. Penulisan soal dilakukan setiap tahun sekali untuk membuat seri tes terbaru dan mengganti butir-butir soal yang memiliki performansi yang kurang optimal.
Setelah proses penulisan soal dilakukan, tahap selanjutnya adalah uji coba butir-butir soal yang telah ditulis untuk mendapatkan informasi mengenai properti psikometris setiap butir. Properti psikometris ini menjadi bahan bagi pengembang tes untuk melakukan perbaikan terhadap butir soal yang dikembangkan sebelumnya. Butir-butir soal yang memiliki kualitas yang baik akan dimasukkan dalam proses perakitan tes atau dimasukkan ke dalam bank soal untuk dikembangkan bagian dari butir soal di tes seri lainnya. Informasi yang didapatkan dari proses uji coba tersebut antara lain tingkat kesulitan butir soal, daya diskriminasi butir soal dan reliabilitas tes. Dua pendekatan dipakai dalam pengembangan informasi tersebut yaitu teori tes klasik dan teori tes modern sehingga masing-masing informasi tersebut terdiri dari dua jenis, yaitu teori klasik dan teori modern.
Bank soal yang dimiliki kemudian dipakai untuk mengembangkan seri-seri baru tes dengan mempertimbangkan adanya butir soal yang menjadi anchor atau jangkar. Setidaknya ada 30 persen butir soal menjadi jangkar untuk memastikan paralelisasi dari seri-seri yang dihasilkan. Proses perakitan yang dilakukan dengan menggunakan bank soal juga memperhatikan hal-hal berikut: seri baru yang dihasilkan dari bank soal memiliki tingkat kesulitan yang setara dan properti psikometris lainnya juga memiliki kesetaraan. Bank soal juga senantiasa diperbaharui dengan melakukan pembaharuan properti psikometris yang ada sehingga perakitan tes baru selalu didasari pada informasi properti psikometris yang baru. Pengadministrasian tes akan dilakukan setelah seri tes selesai dirakit. Hasil dari pengadministrasian ini ada dua hal, pertama adalah skor yang diberikan kepada peserta tes. Kedua, data mengenai performansi butir yang kemudian menjadi bahan untuk melakukan analisis data untuk melihat perkembangan terbaru mengenai properti psikometris sebuah butir. Proses ini terus berlangsung sehingga ada proses pembaharuan mengenai seri tes yang diadministrasikan.