Reliabilitas merupakan ukuran suatu kestabilan dan konsistensi responden dalam menjawab item-item dalam sebuah instrumen. Pada penelitian ini, alat ukur yang digunakan adalah satu set pertanyaan yang terdiri dari 15 butir pertanyaan untuk mengukur kemampuan dasar matematika mahasiswa baru FMIPA Unsyiah tahun 2015. Pengukuran dilakukan sebanyak dua kali, pengukuran pertama diikuti oleh 325 mahasiswa dan dilanjutkan dengan pengulangan tes yang hanya diikuti oleh sebagian dari sampel, yaitu sebesar 81 mahasiswa. Tujuan penelitian ini adalah untuk mengukur kualitas instrumen tes kemampuan dasar matematika mahasiswa baru FMIPA Unsyiah melalui analisa reliabilitas. Indeks reliabilitas konsistensi internal dan tes ulang yang diperoleh kemudian dibandingkan, dan selanjutnya dilakukan uji korelasi antara nilai tes kemampuan dasar matematika dengan nilai akhir Matematika Dasar I. Berdasarkan indeks reliabilitas konsistensi internal diperoleh kesimpulan bahwa instrumen tersebut memiliki tingkat reliabilitas tinggi, sementara pada uji reliabilitas tes ulang dapat disimpulkan bahwa terdapat hubungan sedang yang signifikan antara total skor pada tes kemampuan dasar matematika yang pertama dengan total skor pada tes yang ke dua. Pada uji korelasi tes ujian kemampuan dasar matematika dan nilai akhir Matematika Dasar I dapat disimpulkan bahwa terdapat hubungan lemah yang signifikan antara total skor pada tes kemampuan dasar matematika yang pertama dengan nilai akhir Matematika Dasar I. Kata kunci : Reliabilitas, konsistensi internal, tes ulang, korelasi.