ABSTRAK Kegiatan belajar memerlukan evaluasi pembelajaran. Evaluasi pembelajaran merupakan pengukuran hasil belajar mahasiswa terhadap penguasaan materi pelajaran sesuai dengan kompetensi yang ditetapkan. Evaluasi pembelajaran mata kuliah pemrograman pada saat ini umumnya masih berbasis kertas; dimana masih memiliki beberapa kelemahan, yaitu memerlukan waktu yang lebih lama untuk menghitung skor dan mengolah skor. Novitasari (2015) telah mengembangkan aplikasi pembelajaran pemrograman Java yang interaktif bagi pengguna dengan metode pemecahan masalah, dimana aplikasi tersebut dapat meningkatkan kemampuan dan menguji pemahaman dalam menyelesaikan kasus pemrograman bagi mahasiswa. Aplikasi tersebut masih memerlukan perbaikan seperti: penambahan kategori soal, fasilitas untuk menyimpan nilai setiap pengguna dan fasilitas untuk menyimpan statistik keberhasilan menjawab soal. Tujuan dari penelitian ini adalah untuk menambahkan beberapa fitur evaluasi pada aplikasi pembelajaran pemrograman bahasa Java dengan metode pemecahan masalah dan menganalisis apakah butir soal pada sistem yang dikembangkan telah memenuhi ciri-ciri evaluasi pembelajaran menurut Muntoha. Ciri-ciri evaluasi yang dianalisis yaitu memiliki validitas, tingkat kesukaran, realibilitas dan daya pembeda. Aplikasi ini dapat diakses melalui URL www.cs.unsyiah.ac.id/~ddista13/LariJava/. Proses pembangunan aplikasi menggunakan metode waterfall dan diuji menggunakan blackbox testing. Pengumpulan data dilakukan dengan memberikan soal kepada 27 mahasiswa jurusan Informatika angkatan 2014. Hasil analisa butir soal diperoleh: reliabilitas tes sebesar 0,69 yang menandakan derajat reliabilitas tinggi artinya soal yang digunakan baik dalam mengukur kemampuan mahasiswa. Seluruh butir soal bernilai valid yaitu menandakan bahwa butir soal yang digunakan dalam tes termasuk baik. Berdasarkan uji tingkat kesukaran dari 15 butir soal terdapat 6 butir soal kategori sukar, 4 butir soal kategori sedang dan 5 butir soal kategori mudah. Kemudian berdasarkan uji daya pembeda terdapat 1 butir soal kategori baik sekali, 4 butir soal kategori baik, 4 butir soal kategori cukup dan 6 butir soal kategori jelek. Semua butir soal yang diuji telah memenuhi karakteristik evaluasi Muntaha, sehingga dapat disimpulkan bahwa semua butir soal dapat diimplementasikan dalam aplikasi Lari Java. Kata Kunci: Pembelajaran Pemrograman, Evaluasi,Butir Soal.