Khaidir pernah menjabat sebagai Direktur Hubungan Kelembagaan di Asabri. Ia juga pernah berkarier di lembaga legislatif dengan menjadi anggota DPRK Aceh Utara periode 2009–2014.

Kariernya kemudian berlanjut ke tingkat nasional sebagai anggota DPR RI Komisi IX periode 2014–2019.

Dalam bidang pendidikan, Khaidir meraih gelar Sarjana Ilmu Politik dari Universitas Malikussaleh pada 2016. Ia kemudian menyelesaikan pendidikan Magister Administrasi Publik di universitas yang sama pada 2019.

Komisi XI DPR RI menetapkan Nyoman Adhi Suryadnyana dan Khaidir Abdurrahman sebagai dua calon anggota BPK terpilih setelah proses uji kelayakan dan kepatutan. Hasil tersebut selanjutnya menunggu penetapan melalui Rapat Paripurna DPR RI.