Mardiasmo lahir di Solo, Jawa Tengah, 10 Mei 1958. Ia menyelesaikan pendidikan jurusan Akuntansi Fakultas Ekonomi dan Bisnis Universitas Gadjah Mada pada 1981, magister pada University of Bridgeport, Connecticut, Amerika Serikat, pada 1989 dan Doktor School of Public Policy, University of Birmingham Inggris pada 1999.
Pada 10 Desember 2010, Mardiasmo terpilih menjadi Ketua Dewan Pengurus Nasional Ikatan Akuntan Indonesia (IAI) periode 2010-2014 dalam Kongres XI IAI di Jakarta. Di sektor publik, Mardiasmo pernah menyampaikan keinginannya agar akuntan dapat mengawal Anggaran Pendapatan dan Belanja Negara dari perencanaan hingga pelaporan, sehingga APBN benar- benar sampai ke tujuan, melalui pembangunan.
Kepala Badan Pengawasan Keuangan dan Pembangunan (BPKP) itu pun pernah menjabat sebagai Direktur Jenderal Perimbangan Keuangan Kementerian Keuangan, di bawah kepemimpinan Menteri Keuangan Sri Mulyani pada 2010.
Pada 28 Jumi 2012, Menteri Negara BUMN Dahlan Iskan mengangkat Mardiasmo sebagai Komisaris Utama Jasa Rahaja berdasarkan Keputusan Pemegang Saham Perusahaan di Luar Rapat Umum Pemegang Saham, tentang Pengangkatan Anggota-Anggota Dewan Komisaris Perusahaan Perseroan.
Dan pada 27 Oktober 2014, Presiden Joko Widodo menunjuk Mardiasmo sebagai Wakil Menteri Keuangan saat pelantikan menteri Kabinet Kerja 2014-2019. Mardiasmo menggantikan Wakil Menteri Keuangan Bambang Brodjonegoro pada Kabinet Indonesia Bersatu II era pemerintahan Presiden Susilo Bambang Yudhoyono 2009-2014.