日本国立国会图书馆有两个源流。

一是设立于1890年、隶属于旧宪法下帝国议会的贵族院众议院图书馆，另一则是设立于1872年、隶属于文部省的帝国图书馆。其中帝国图书馆经历了自书籍馆(1872)、东京书籍馆(1875)、东京府书籍馆(1877)、东京图书馆(1880)至帝国图书馆(1897)的变迁。

1947年改称为国立图书馆。