Mahkamah adalah tempat hakim atau kadi melaksanakan sidang pengadilan dalam menyelesaikan suatu perkara. Mahkamah baru dikenal pada zaman khalifah ketiga, Usman bin Affan (576–656) yang memerintah 644–656.
Pada zaman Rasulullah SAW, mahkamah sebagai tempat menyelesaikan perkara yang diajukan kepadanya belum ditentukan secara khusus. Setiap perkara yang ada dan dia jukan kepada Rasulullah SAW diselesaikan pada tempat ia berada ketika kasus tersebut diajukan kepadanya. Oleh sebab itu penyelesaian perkara bisa dilakukan di masjid, di rumah Nabi Muhammad SAW sendiri, di jalan, di perkampungan penduduk Badui, maupun di tempat lainnya.
Di zaman Nabi Muhammad SAW belum ada gedung pengadilan yang khusus dibangun untuk menyelesaikan perkara seperti yang dikenal sekarang. Karenanya, istilah “mahkamah” itu sendiri belum lahir pada masa awal Islam.
Tempat khusus untuk menyelesaikan suatu perkara di zaman tersebut tidak diperlukan karena kebutuhan untuk itu belum ada karena umat Islam belum terlalu banyak. Yang lebih penting adalah penentuan hakim. Untuk Madinah, yang bertindak sebagai hakim pada waktu itu adalah Nabi SAW sendiri. Dalam sejarah peradilan Islam di zaman Nabi SAW terdapat hakim yang ditunjuknya untuk beberapa daerah, namun Nabi SAW tidak pernah menentukan tempat tertentu yang harus ditempati seorang hakim dalam menyelesaikan perkara.
Demikian pula halnya di zaman Abu Bakar as-Siddiq. Pada masa tersebut juga belum ditentukan tempat khusus sebagaimana yang dikenal sekarang dengan sebutan mahkamah (gedung peradilan) sebagai tempat menyelesaikan perkara yang terjadi.
Selanjutnya pada masa Umar bin Khattab terjadi pemisahan kekuasaan peradilan dari tangan khalifah. Walaupun demikian sejarah tidak menyebutkan adanya tempat khusus bagi para kadi untuk menyelesaikan suatu perkara. Biasanya yang dijadikan tempat tersebut, baik di masa Khalifah Abu Bakar maupun Umar, adalah masjid. Di masjidlah segala perkara yang diajukan diselesaikan oleh para kadi. Akan tetapi penentuan kota dan wewenang yurisdiksi kadi telah dilakukan sejak zaman Umar. Umpamanya, Abu Darda ditunjuk sebagai kadi di Madinah dan Syuraih bin Amir di Mesir. Selain itu ada kadi khusus untuk kasus perdata dan lain sebagainya.
Baru pada masa Usman, istilah “mahkamah” sebagai tempat khusus untuk menyelesaikan perkara oleh hakim atau kadi dikenal. Usman adalah khalifah pertama yang mendirikan gedung pengadilan secara khusus.
Permasalahan mahkamah khusus dalam menangani perkara peradilan lebih merupakan kebutuhan zaman dan perkembangan masyarakat. Dalam masyarakat yang masih sedikit dan sederhana agaknya tempat khusus untuk peradilan belum diperlukan. Akan tetapi dalam masa selanjutnya hal tersebut diperlukan. Pemisahan antara kekuasaan eksekutif dan kekuasaan yudikatif pada gilirannya juga memerlukan penataan teknis terhadap kekuasaan yudikatif tersebut. Oleh sebab itu dalam Tarikh al-Qadha’ (Sejarah Peradilan Islam) terlihat bahwa ulama telah berusaha menjelaskan berbagai permasalahan menyangkut peradilan, baik yang menyangkut materi hukum maupun pelaksana peradilan dan perangkat peradilan lainnya.
Dalam hadis Nabi SAW misalnya dikatakan: “Seorang hakim tidak boleh memutus perkara, sedangkan dia dalam keadaan marah” (HR. Bukhari dan Ahmad bin Hanbal). Dari hadis ini, ulama menyimpulkan bahwa situasi dan kondisi seorang hakim dalam menghadapi suatu perkara harus da lam keadaan mental yang stabil, tidak terganggu pikirannya, dan suasananya pun harus nyaman. Sebagai konsekuensinya, untuk mendukung suasana tersebut, suasana peradilan haruslah menyenangkan, termasuk tentunya tempat bersidang. Untuk itu permasalahan tempat menyelesaikan perkara (mahkamah) lebih merupakan perangkat kebutuhan dalam rangka menyempurnakan hakikat peradilan itu sendiri. Oleh karenanya hal ini berkembang sesuai dengan perkembangan zaman serta masyarakat Islam itu sendiri.
Sejalan dengan terjadinya dualisme hukum di dunia Islam sejak abad ke-18, yakni di Turki dan Mesir, dikenal beberapa gedung peradilan yang mengikuti wewenang masing-masing peradilan yang ada. Umpamanya dikenal nama Mahkamah Syar‘iyah, Mahkamah Qansuliyah, dan Mahkamah Ahliyah. Penamaan ini lebih menunjukkan wilayah yuridis masing-masing peradilan tersebut. Misalnya, ada peradilan khusus yang menangani hukum syarak dan kasus orang asing atau juga kasus antarpribumi, dan bahkan ada peradilan khusus untuk penganut agama tertentu di Turki pada abad ke-18 dan ke-19. Untuk tiap jenis peradilan tersebut, ada gedung khusus yang dibuat untuk masing-masing pengadilan.
Di Indonesia, istilah “mahkamah” untuk arti “tempat mengadili” (lembaga peradilan), masih tetap ada, yaitu untuk Mahkamah Militer (Mahmil) dan Mahkamah Militer Tinggi (Mahmilti) dalam lingkungan Peradilan Militer. Demikian pula halnya dengan Mahkamah Agung, yang merupakan pengadilan tertinggi negara Republik Indonesia. Dahulu, istilah ‘mahkamah” juga terdapat dalam lingkungan peradilan agama di Indonesia, seperti Mahkamah Islam Tinggi (MIT) untuk pengadilan tinggi agama di daerah Jawa dan Madura dan Mahkamah Syar‘iyah serta Mahkamah Syar‘iyah Propinsi masing-masing untuk pengadilan agama tingkat pertama dan tingkat banding di daerah luar Jawa, Madura, dan Residensi Kalimantan Selatan serta (sebagian) Timur.
Tetapi kini, istilah “mahkamah” di lingkungan peradilan agama sudah tidak digunakan lagi karena telah dihapuskan Peraturan Menteri Agama RI No. 6 th. 1980 dan bahkan oleh Undang-Undang Republik Indonesia Nomor 7 tentang Peradilan Agama. Undang-Undang ini menggunakan istilah Pengadilan Agama untuk tingkat pertama dan Pengadilan Tinggi Agama untuk tingkat banding.
Akan tetapi pada 4 Maret 2003 Menteri Agama Said Agil al-Munawar meresmikan berdirinya Mahkamah Syar‘iyah Propinsi Nanggroe Aceh Darussalam (NAD). Dasar hukum pembentukan Mahkamah Syar‘iyah di NAD adalah Undang-Undang Nomor 18 Tahun 2001 tentang otonomi khusus DI Aceh sebagai Propinsi NAD. Di tingkat propinsi, pengadilan tinggi dinamakan Mahkamah Syar‘iyah tingkat Propinsi, sedangkan pengadilan negerinya menjadi Mahkamah Syar‘iyah.
Namun dalam pelaksanaannya hukum Islam belum sepenuhnya diterapkan, karena belum lengkapnya aturan petunjuk pelaksanaan yang disebut Qanun (Qanun). Qanunlah yang akan menjadi pedoman hukum dan tata laksana kehidupan di Aceh. Hingga 2003, Qanun yang telah disahkan baru berjumlah dua buah, yakni Qanun Nomor 10 Tahun 2002 tentang lembaga Mahkamah Syar‘iyah dan Qanun Nomor 11 Tahun 2002 tentang pelaksanaan akidah, ibadah, dan syariat Islam.