Музей основан в 1958 г. в честь 1100-летия со дня рождения выдающегося таджикско-персидского поэта Абу Абдаллаха Джафара Рудаки, которого часто называют "Гомером Востока". Он родился недалеко от Пенджикента в конце IX в. Музей располагается в специально построенном для него здании в центре города. На фасаде музея - два резных панно, выполненных по мотивам фресок древнего Пенджикента, и знаменитое изречение А. Рудаки: "Нет в мире радости сильней, чем лицезрение близких и друзей". Интерьер музея искусно декорирован. Входные резные двери выполнены мастером из Истравашана Юлдашбеком Баратбековым, потолок вестибюля расписан мастером Мирзо Хашимом Худжанди, а алебастровые окаймления дверных и оконных проемов выполнили братья Асадовы из Худжанда.

Музей музыкальных инструментов основан в 1990 г. на базе частной коллекции народного артиста РТ Гурминджа Завкибекова. Талантливый актер, всесторонне одаренный человек, Гурминдж начал собирать коллекцию с ранней юности.

На Востоке музыкальные инструменты всегда были средством передачи поэзии. Инструмент выражал душу певца - хафиза, затрагивал самые тонкие струны и глубокие чувства автора. Инструмент олицетворял человека с его переживаниями и радостями, молодостью и старостью, добром и злом.

Музей был открыт 29 ноября 1986 г. в дни празднования 2500-летия Худжанда и работает в составе кафедры гуманитарных исследований при ректорате Худжандского государственного университета им. Б.Г. Гафурова. Он расположен в помещениях восстановленной в 1999 г. части восточной крепостной стены Худжандской крепости VIII-X вв., которая была частью фортификационной системы города.

Толстые стены цитадели из сырцового кирпича были укреплены мощными башнями. Современное здание музея имитирует только внешний облик средневековой крепости.

Основу музея составили коллекции школьного общественного музея, который в 1963 г. был преобразован в филиал Историко-краеведческого музея г. Худжанд, а с 1980 г. по решению Министерства культуры ТССР стал самостоятельным музеем.

Музей занимает здание бывшей православной церкви, построенное в 1865-1867 годах. Это было одно из первых кирпичных зданий города, наряду с домом губернатора, школой и рядом административных построек, все они хорошо сохранились и служат украшением одной из центральных частей города, которую многие жители продолжают называть "русским кварталом".

Музей был образован указом ВЦИК в 1934 г. на основе Выставки достижений народного хозяйства, проходившей в Душанбе. Тогда в музее насчитывалось всего 530 экспонатов. На сей день их более 50 тыс. Произведения живописи и скульптуры поступили в музей из ряда центральных исторических и художественных музеев Российской Федерации.

Музей, основанный как первый государственный музей молодой советской республики Таджикистан, был назван именем Камоллидина Бехзода - знаменитого мастера миниатюры XV-XVI вв.