Kementerian Agama berdiri pada tanggal 3 Januari 1946 berdasarkan Penetapan Pemerintah Nomor I/SD, dengan Prof. H. M. Rasjidi, BA sebagai Menteri Agama pertama. Dalam konferensi Dinas Jawatan Agama seluruh Jawa dan Madura di Solo tanggal 17 s/d 18 Maret 1947, Menteri Agama Prof. H. M. Rasjidi, BA menerangkan bahwa sebab-sebab pemerintah mendirikan Kementerian Agama adalah untuk memenuhi maksud UUD 45 pasal 29 yang menerangkan bahwa Negara berdasarkan ke-Tuhan-an Yang Maha Esa, dan bahwa Negara menjamin kemerdekaan tiap-tiap penduduk untuk memeluk agamanya masing-masing dan beribadat menurut agama dan kepercayaannya masing-masing.
Berdasarkan Peraturan Pemerintah Nomor 33 Tahun 1949 ditetapkan perincian tugas pokok Kementerian Agama adalah sebagai berikut:
Melaksanakan asas “Ketuhanan Yang Maha Esa” dengan sebaik-baiknya
Menjaga bahwa tiap-tiap penduduk mempunyai kemerdekaan untuk memeluk agamanya masing-masing dan untuk beribadat menurut agama dan kepercayaannya
Menyelenggarakan, memimpin, dan mengawasi pendidikan agama pada sekolah-sekolah negeri
Menjalankan, memimpin, membina/membimbing, dan memupuk, serta mengamati pendidikan dan pengajaran di madrasah dan perguruan-perguruan agama lainnya
Menyelenggarakan segala sesuatu yang bersangkut paut dengan pelayanan rohani, kepada anggota-anggota tentara, asrama-asrama rumah-rumah penjara, dan tempat-tempat lain yang dipandang perlu
Mengatur, mengerjakan, dan mengamati segala hal yang bersangkutan dengan pencatatan pernikahan, rujuk, dan talak orang Islam
Memberikan bantuan maksimal untuk perbaikan dan pemeliharaan tempat tempat untuk beribadah
Menyelenggarakan, mengurus dan mengawasi segala sesuatu yang bersangkut paut dengan Pengadilan Agama dan Mahkamah Islam Tinggi
Menyelidiki, menentukan, mendaftarkan dan mengawasi pemeliharaan wakaf
Mempertinggi kecerdasan umat dalam hidup bermasyarakat dan hidup beragama
Pada tahun 1971 dikeluarkan Keputusan Menteri Agama No. 53 tahun 1971 tentang Struktur Organisasi, Tugas, Wewenang dan Tata Kerja Instansi Departemen Agama Daerah. Adapun susunannya adalah sebagai berikut:
Perwakilan Departemen Agama Provinsi
Perwakilan Departemen Agama Kabupaten
Kantor Urusan Agama Kecamatan
Urusan Pengawas adalah Inspektorat Perwakilan
Berdasarkan Keputusan Menteri Agama No. 373 Tahun 2002 tentang Organisasi dan Tata Kerja Kantor Wilayah Departemen Agama Propinsi dan Kantor Departemen Agama Kabupaten/Kota, Struktur Kantor Departemen Agama Kota Yogyakarta termasuk tipologi I d adalah sebagai berikut:
Kantor Departemen Agama
Sub. Bagian Tata Usaha
Seksi Urusan Agama Islam
Seksi Penyelenggaraan Haji dan Umroh
Seksi Madrasah dan Pendidikan Agama Islam pada Sekolah Umum
Seksi Pendidikan Keagamaan dan pondok Pesantren
Seksi Pendidikan Agama Islam pada Masyarakat dan Pemberdayaan Masjid
Penyelenggara Zakat dan Wakaf
Penyelenggara Bimbingan Masyarakat Katolik
Berdasarkan Keputusan Menteri Agama No. 1 Tahun 2010 dan No. 373 Tahun 2002, Struktur Kantor Kementerian Agama Kota Yogyakarta termasuk tipologi I d adalah sebagai berikut:
Kantor Kementerian Agama
Sub. Bagian Tata Usaha
Seksi Urusan Agama Islam
Seksi Penyelenggaraan Haji dan Umroh
Seksi Madrasah dan Pendidikan Agama Islam pada Sekolah Umum.
Seksi Pendidikan Keagamaan dan Pondok Pesantren
Seksi Pendidikan Agama Islam pada Masyarakat dan Pemberdayaan Masjid
Penyelenggara Zakat dan Wakaf
Penyelenggara Bimbingan Masyarakat Katolik
Berdasarkan Peraturan Menteri Agama No. 10 Tahun 2010 dan No. 13 Tahun 2012, Struktur Kantor Kementerian Agama Kota Yogyakarta sebagai berikut:
Kantor Kementerian Agama
Sub. Bagian Tata Usaha
Seksi Pendidikan Madrasah
Seksi Pendidikan Diniyah dan Pondok Pesantren
Seksi Pendidikan Agama Islam.
Seksi Penyelenggaraan Haji dan Umroh
Seksi Bimbingan Maysrakat Islam
Penyelenggara Syariah
Penyelenggara Katolik.
Kelompok Jabatan Fungsional
Berdasarkan Peraturan Menteri Agama No. 19 Tahun 2019, Struktur Kantor Kementerian Agama Kota Yogyakarta sebagai berikut:
Subbagian Tata Usaha;
Seksi Pendidikan Madrasah;
Seksi Pendidikan Diniyah dan Pondok Pesantren;
Seksi Pendidikan Agama Islam;
Seksi Penyelenggaraan Haji dan Umrah;
Seksi Bimbingan Masyarakat Islam;
Penyelenggara Zakat dan Wakaf;
Penyelenggara Katolik; dan
Kelompok Jabatan Fungsional.
Berikut ini adalah Kepala Kantor yang pernah menjabat di lingkungan Kementerian Agama Kota Yogyakarta:
Drs. Djunaidi (1980 s.d. 1985)
Drs. H. Sarpan (1985 s.d. 1993)
Drs. H. Tardmudji. (1993 s.d. 1995)
Drs. H. Moh. Djamingan (1995 s.d. 1998)
Drs. H. Bun Yamin, M.A. (1999 s.d. 2002)
Drs. H. Sukiman, M.A. (2002 s.d. 2004)
H. Nurudin, S. H., M.A. (2004 s.d. 2011)
Drs. H. Fathony, M.A. (2011 s.d. 2013)
Drs. H. Sigit Warsita, MA (2014 s.d 2018)
Drs. H. Nur Abadi, MA (2018 s.d. 2022)
H. Nadhif, S.Ag. M.S.I. (Novemeber 2022 – Agustus 2025)
H. Ahmad Shidqi, S.Psi., M.Eng. (Agustus 2025 - Sekarang)