Museum KAA ini didirikan atas arahan Direktorat Jenderal Informasi dan Diplomasi Publik Kementerian Luar Negeri atas prakarsa Prof. Dr. Mochtar Kusumaatmadja, dan dibuka oleh Presiden Republik Indonesia Soeharto pada tanggal 24 April 1980, di puncak HUT ke-25 KAA.
Menurut Prof. Mochtar Kusumaatmadja, Museum ini tercipta karena beberapa kepala Negara Asia-Afrika telah menyatakan niatnya untuk berkunjung ke lokasi penandatanganan Deklarasi Dasa Sila Bandung, yang menjadi bukti nyata sejarah kemerdekaan negara-negara di Asia dan Afrika.