Materi Urip Purwono, Ph.D.

1. Konvensi Nasional Tes Psikologi Indonesia
Bali 7 – 8 April 2016
Taksonomi
Computer BasedTesting
Urip Purwono
Pusat Studi Psikometri
Fakultas Psikologi Universitas Padjadjaran

2. Latar Belakang
• Computer BasedTesting (CBT) menjadi semakin populer
• Dipergunakan istilah yang berbeda-beda
• Computer BasedTesting
• Computer AssistedTesting
• Computer AdaptifveTesting
• E-Testing
• ComputerizedTesting
• Banyak perkembangan model-model CBT
• Masing-masing model memiliki kompleksitasnya masing-masing

3. Tujuan
• Menyampaikan “taksonomi” model-model CBT dan aspek teknis
yang menyertainya, sebagai bahan diskusi

4. CBT
Linear
Fix
Single
Form
Multiple
Form
Random
Item
Form
Adaptive Random
Item
Testlet
Taksonomi CBT

5. Model Linear, Fix
• Single Form
• Bentuk paling sederhana dari CBT
• Hanya seperti memindahkan PPT/PBT ke CBT sehingga tidak lebih efisien dari
PPT/PBT
• Memungkinkan “pengacakan” nomor soal
• Memungkinkan “pengacakan” options
• Penskoran dapat dilakukan secara langsung
• Dapat dilakukan review tes secara keseluruhan sebelum pengadministrasian tes

6. Model Linear, Fix
• Multiple Form
• Peserta mendapatkan form yang berbeda-beda, dan pre-assigned tergantung
dari banyaknya form yang tersedia
• Menggunakan form-form yang setara atau dilakukan penyetaraan pada saat
skoring
• Memungkinkan pendistribusian form yang disesuaikan dengan tempat duduk
peserta
• Fitur lainnya sama dengan Model linear fix single test

7. Model Linear, Random
• Random Item
• Istilah lain: Linear OnThe FlyTesting (LOFT)
• Pemilihan item dilakukan real time, on the fly
• Untuk setiap nomor tersedia sejumlah item paralel
• Dapat dikembangkan dengan mendasarkan pada ClassicalTestTheory maupun
Item ResponseTheory
• Penulisan soal dilakukan secara horizontal – ialah dengan mengembangkan
sejumlah item yang paralel untuk setiap nomor soal, sesuai dengan kisi-kisinya
• Item paralel bukan cloning
• Kesulitan Utama: Menjamin Form/Set yang paralel

8. Model Linear, Random
• Random Form/Set
• Tersedia banyak form/set paralel dengan item yang tetap pada setiap form/set
• Pemilihan form/set dilakukan real time, on the fly
• Dapat disusun form/set yang paralel, atau dilakukan penyetaraan/equating pada
saat penyekoran
• Dapat dikembangkan dengan mendasarkan pada ClassicalTestTheory maupun
Item ResponseTheory

9. Model Adaptive, Item
• Tes disesuaikan dengan kemampuan peserta
• Dimungkinkan bahwa setiap peserta mendapatkan item yang berbeda dalam
jumlah yang berbeda
• Dilakukan melalui Bank Soal
• Setiap soal pada Bank Soal harus sudah terkalibrasi
• Hanya dapat dilakukan dengan mendasarkan pada Item Respons
Theory
• Item dipilih dan diadministrasikan secara iterative dengan tujuan
memaksimalkan Test Information Function

10. Test Information Function (TIF)
' 2
1 1
( )
( ) ( )
( )[1 ( )]
n n
i
i
i i
i i
P
I I
P P

 
  
   

SE
I
( )
( )



1
   
 
 
1| 1
1
i j i
i j i
Da b
i j i i Da b
e
P u c c
e


   



 3-p Model IRT

11. Model Adaptive, Item
• Gagasan untuk menyesuaikan tingkat kesulitan item dengan
kemampuan peserta pertama kali dikemukakan oleh Lord (1977,
1980):
• Dimulai dengan menyajikan item dengan tingkat kesulitan moderat
• Item yang disajikan berikutnya tergantung dari apakah peserta menjawab benar
atau salah pada item sebelumnya
• Kemampuan peserta diestimasikan setelah setiap penyajian item

12. Model Adaptive, Item
• Banyak pilihan algoritma pemilihan item. Dasar pertimbangan
pemilihan item (oleh sistem):
a) measurement precision
b) content balancing,
c) test security, dan
d) efisiensi pengetesan
• Stopping rules tergantung dari jenis tes (NRT atau CRT)
• Variasi:
• CAT dengan menggunakan tes bayangan (“ShadowTest”)
• CAT dengan menggunakan stratifikasi

13. Model Adaptive, Testlets
• Soal-soal dalam Bank Soal dikelompokkan dalam Testlets
• Adaptive dilakukan pada tingkatTestlets
• Peserta dapat mereview dan mengubah jawaban di semua soal pada
testlest yang sedang dikerjakan
• Fitur lainnya sama dengan CAT (Item)

14. Perkembangan terbaru: Computer-Adaptive
Multistage Testing
• Item dikelompokkan dalam testlet (disebut module)
• Module dikelompokkan dalam “panel”
• Setiap peserta mulai dengan module 1
• Module selanjutnya pada panel berikutnya tergantung dari estimasi
kemampuan peserta pada module 1

15. Pelaporan CBT
Construct Alat Ukur Hasil/Skor Kesimpulan Interpretasi
Leap
Big Leap

16. Standar Pengembangan CBT
• Teknologi
• Kualitas
• Kontrol
• Security

17. Rangkuman
• CBT dikembangkan dengan tujuan akurasi dan efisiensi pengetesan
• Terdapat banyak ragam CBT
• Migrasi dari PPT/PBT ke CBT tidak berarti bahwa aspek-aspek teknis
psikometri yang juga akan menyangkut fairness dapat dikesampingkan
• CBT dalam bentuknya yang manapun tidak berbicara mengenai validitas
(construct yang diukur oleh tes). Studi-studi validasi tetap harus dilakukan
untuk mendapatkan bukti-bukti sejauh mana teori dan data empirik
mendukung interpretasi dan penggunaan skor yang didapat melalui suatu
tes
• CBT tidak menggantikan ahli/psikolog, tetapi membantu psikolog untuk
mendapatkan data yang lebih akurat dengan cara yang lebih efisien