Kopi merupakan salah satu komoditas ekspor yang menghasilkan devisa cukup tinggi bagi Indonesia. Untuk meningkatkan mutu dan nilai ekspor di Dunia tentunya membutuhkan adanya kopi yang berkualitas baik. Kualitas buah kopi dapat ditentukan pada saat proses panen terjadi. Tingkat kematangan buah kopi dapat dilihat dari warnanya yang mana buah yang telah matang ditandai dengan warna merah cerah. Proses yang dilakukan setelah panen buah kopi dikumpulkan pada suatu tempat lalu dilakukan penyortiran berdasarkan tingkat kematangannya. Saat ini penyortiran dilakukan secara manual oleh petani yang mana hasilnya kurang akurat dan efektif. Penelitian ini menawarkan sistem otomasi dapat membantu para petani dalam proses penyortiran sehingga dapat mengklasifikasi buah kopi sesuai dengan tingkat kematangan. Citra buah kopi diperoleh dengan kamera dan diproses menggunakan Matlab yang terintegrasi dengan sistem. Citra tersebut diolah dengan melihat nilai RGB pada setiap citra yang diambil untuk menentukan kelompok warna buah yaitu merah, orange dan hijau. Buah dengan 3 kategori tersebut akan dikelompokan dengan suatu sistem pemilah dibawah kendali Atmega 328p. Penelitian ini menghasilkan rancangan prototipe sistem pemilahan buah kopi berdasarkan warna yang mampu mengelompokan berdasarkan warna dengan memanfaatkan metode pengolahan citra. Dari hasil penelitian yang dilakukan dari 90 sampel buah kopi keakuratan dari masing-masing kategori yang terdiri dari 30 buah kopi berwarna merah adalah 93,3%, 30 buah kopi berwarna orange adalah 100% dan 30 buah kopi berwarna hijau adalah 86,6% dengan waktu pemilahan rata-rata perbuah 10,4 detik.