Dari segi sejarah pembinaannya, rumah ini dibina di atas sekeping tanah yang dimiliki oleh ibunda Tunku iaitu Che Menjalara yang kemudiaannya diwariskan kepada Almarhum Tunku Abdul Rahman. Binaan asal rumah ini semasa pendudukan Jepun pada tahun 1942 adalah menggunakan struktur kayu dan diberi nama Rumah Jalan Baru. Walau bagaimanapun, beliau membina semula struktur bawah rumah tersebut dengan bata pada tahun 1953, manakala masih mengekalkan struktur kayu di bahagian atasnya.

Nama Rumah Merdeka telah diberikan oleh sahabat-sabahat Tunku seperti Senu Abdul Rahman, Khir Johari dan Tan Cheng Lock yang pernah melawat rumah ini beberapa kali dalam acara tertentu. Apabila Tunku menjadi Perdana Menteri Malaysia, beliau terus menggunakan rumah ini apabila berada di Kedah dan apabila beliau bersara, rumah ini telah digunakan sebagai lokasi mesyuarat pemimpin-pemimpin UMNO.

Mengikut cerita lama juga, dikatakan Tunku telah menyediakan skrip Mahsuri dan Raja Bersiong di rumah ini dan kemudiannya dijadikan filem.

The house was also the initial venue of a goodwill mission by an Indonesian delegation to meet Malaysian representatives, which paved the way to the end of Confrontation between Indonesia and Malaysia. Turut dikatakan, rumah ini juga merupakan lokasi permulaan delegasi dari Indonesia dan wakil Malaysia bertemu dan berbincang lalu membuka jalan kepada penamatan konfrontasi antara Malaysia dan Indonesia.

Manakala di belakang rumah ini pula terdapat sebatang sungai iaitu Sungai anak Bukit yang mengalir ke Sungai Kedah. Terdapat jeti kecil di belakang rumah ini dan dikatakan Tunku gemar belayar di sungai tersebut menggunakan motorbotnya di waktu lapang. Bot tersebut kini turut dipapar di halaman Rumah Merdeka.