俄罗斯音乐博物馆坐落在原什尔梅捷夫伯爵在丰坦卡运河沿岸上的宫殿里，宫殿是用石头建成的，它分为两层。

人们普遍认为这个宫殿最初建筑于1750年。在接下来的两个世纪里，这个宫殿不断被完善、改进和翻新。什尔梅捷夫家族的人们在1917年革命爆发之前，一直在不断的扩建这幢建筑。之后，在这幢房子里曾开设过贵族生活博物馆，这个博物馆就是在两百年间什尔梅捷夫伯爵的族人的收集的基础上建立起来的。其中包括一个珍品绘画、图书馆、圣像画集和教堂版画、武器收集藏品、雕塑、钱币和工艺品和其他种类的艺术品。贵族生活博物馆关闭之后，大约在三十年代，宫殿被分配给了一些科研机构使用，他们根据自己的想法和需要整理了什尔梅捷夫的宫殿，完全没有留意是否要留下这些珍贵的藏品。宫殿中的大部分收藏都没能继续留在什尔梅捷夫的宫殿里，他们被送往莫斯科或者列宁格勒，分别放置在那里的各种博物馆中，什尔梅捷夫宫殿里仅剩下位数不多的藏品。八十年代末在什尔梅捷夫宫殿里展开了全面的重建工作，恢复了原来的格局，复原了原来的样貌，重新展示出了十九世纪的室内设计。在1990年决定在什尔梅捷夫宫殿设立圣彼得堡音乐博物馆并在那里展出国家珍藏的乐器。根据这项决定戏剧博物馆和音乐艺术博物馆都把自己的馆藏乐器放置在这里进行展出。目前，宫殿内有一个永久性展览——其中包括“历史上的什尔梅捷夫和他在十八世纪到二十世纪早期的贵族习俗”，“什尔梅捷夫家族和十八世纪到二十世纪早期的彼得堡的音乐生活”， “国家乐器的收藏”和“回归的文化遗产”致力于展现俄罗斯著名作曲家和指挥家亚历山大格拉祖诺夫在国外那段时期的生活。在“国家乐器的收藏”这个常设展馆里，你不只能看见古旧的竖琴，大键琴和中提琴，而且还可以听到俄罗斯编钟的声音和古董的工具演奏的声音。在“回归的文化遗产”这个常设展馆里，重现了格拉祖诺夫在巴黎公寓遗留的样貌。在这里你可以看到格拉祖诺夫一家曾经使用过的家具，他们的证件还有他们的照片，格拉祖诺夫曾经使用过的指挥棒和伴随这位著名作曲家演奏出很多美妙旋律的钢琴，这里还存有他的签名和以及他用过的五线谱。此外，什尔梅捷夫宫殿也为私人设置临时展览或者开办音乐会。