Koleksiyonlarının zenginliği ve çeşidi açısından dünyanın önde gelen müzelerinden birisi olan Askerî Müzenin kuruluşu modern anlamda olmamakla beraber 15. yüzyıla kadar uzanmaktadır. 1453'te İstanbul'un Türkler tarafından fethinden sonra Aya İrini Kilisesi, değerli harp silah araç ve gereçlerinin toplandığı Cebehane olarak düzenlenmiştir. 1726 tarihinde Cebehane'deki tüm malzemeye yeni bir düzen verilerek Dar-ül Esliha adıyla yeni bir kuruluş gerçekleştirilmiştir. Modern anlamda Türk müzeciliğinin temeli Tophane Müşiri Ahmet Fethi Paşa'nın gayretleri ile 1846 yılında atılmış ve bu tarih Türk müzeciliğinin ve Askerî Müzenin gerçek anlamda ilk kuruluşu olmuştur. Aya İrini'deki revakların (üç tarafı kapalı bir tarafı ise sütunlara oturan kemerlerle dışarı açılan mekân) araları camekânlarla kapatılarak sergileme mekânları hâline getirilmiştir. Bu mekânlardan bir bölümünde eski harp silah, araç ve gereçlerinden oluşan koleksiyonlar, diğer bölümlerde ise arkeolojik eser koleksiyonları sergilenmiştir. Ahmet Fethi Paşa'dan sonra Aya İrini'deki bu koleksiyonlar kısa bir süre sonra ilk defa "Müze" adını alarak Müzeyi Hümayun olarak isimlendirilmiştir. Müze teşkilatının kurulmasından sonra özellikle arkeolojik eserlerin sayısının artması üzerine bu eserler Çinili Köşk'e taşınmış ve bugünkü İstanbul Arkeoloji Müzelerinin temeli atılmıştır. Ahmet Muhtar Paşa, silah koleksiyonlarını, ilanlar ve resmî yazışmalar ile zenginleştirmiştir. Kütüphanesi, sineması, atış poligonu, yayınları, kıyafethanesi ve mehteri ile günümüz çağdaş müzecilik anlayışına uygun, nitelikli bir müze oluşturulmuştur. 1940 yılına kadar Aya İrini'deki faaliyetlerini sürdüren Askerî Müze, İkinci Dünya Savaşı'nın Türkiye'ye de sıçrayabileceği düşüncesiyle faaliyetlerine bir süre ara vermiştir. Savaş tehlikesinin ortadan kalkmasından sonra 1949 yılında Maçka Silahhanesi'nde depolanan eserler 1959'dan itibaren Harbiye Mektebi Jimnastikhanesi binasında tekrar sergilenmeye başlanmıştır. Bu binanın zamanla Askerî Müze koleksiyonları için yetersiz kalması ve çağdaş anlamda gelişmeye yönelik adımların atılmasına imkân vermemesi üzerine 1966 yılından itibaren restorasyon çalışmaları sürdürülen eski Harbiye binasının Askerî Müze olarak kullanılmasına karar verilmiş ve 10 Şubat 1993 günü yeni bir düzenleme ile ziyarete açılmıştır.