Музей основан в 1958 г. в честь 1100-летия со дня рождения выдающегося таджикско-персидского поэта Абу Абдаллаха Джафара Рудаки, которого часто называют "Гомером Востока". Он родился недалеко от Пенджикента в конце IX в. Музей располагается в специально построенном для него здании в центре города. На фасаде музея - два резных панно, выполненных по мотивам фресок древнего Пенджикента, и знаменитое изречение А. Рудаки: "Нет в мире радости сильней, чем лицезрение близких и друзей". Интерьер музея искусно декорирован. Входные резные двери выполнены мастером из Истравашана Юлдашбеком Баратбековым, потолок вестибюля расписан мастером Мирзо Хашимом Худжанди, а алебастровые окаймления дверных и оконных проемов выполнили братья Асадовы из Худжанда.

Музей музыкальных инструментов основан в 1990 г. на базе частной коллекции народного артиста РТ Гурминджа Завкибекова. Талантливый актер, всесторонне одаренный человек, Гурминдж начал собирать коллекцию с ранней юности.

На Востоке музыкальные инструменты всегда были средством передачи поэзии. Инструмент выражал душу певца - хафиза, затрагивал самые тонкие струны и глубокие чувства автора. Инструмент олицетворял человека с его переживаниями и радостями, молодостью и старостью, добром и злом.

Основу музея составили коллекции школьного общественного музея, который в 1963 г. был преобразован в филиал Историко-краеведческого музея г. Худжанд, а с 1980 г. по решению Министерства культуры ТССР стал самостоятельным музеем.

Музей занимает здание бывшей православной церкви, построенное в 1865-1867 годах. Это было одно из первых кирпичных зданий города, наряду с домом губернатора, школой и рядом административных построек, все они хорошо сохранились и служат украшением одной из центральных частей города, которую многие жители продолжают называть "русским кварталом".

Музей был открыт 29 ноября 1986 г. в дни празднования 2500-летия Худжанда и работает в составе кафедры гуманитарных исследований при ректорате Худжандского государственного университета им. Б.Г. Гафурова. Он расположен в помещениях восстановленной в 1999 г. части восточной крепостной стены Худжандской крепости VIII-X вв., которая была частью фортификационной системы города.

Толстые стены цитадели из сырцового кирпича были укреплены мощными башнями. Современное здание музея имитирует только внешний облик средневековой крепости.