1636年建立于马萨诸塞州的剑桥。
前身为哈佛学院图书馆，以J.哈佛1638年去世后遗留下来的半数房屋和 400册藏书为基础建立的。最初几乎仅依靠赠书，发展比较缓慢。1723年仅收藏3500册图书。1764年藏书增加到5000册时哈佛大楼遭受火灾，大部分藏书被毁，仅存404册图书。1800年藏书达万册。1841年首次有专用馆舍，即仿照英国剑桥英王学院礼拜堂设计的戈尔大楼。1877年和1895年又两次扩建。1915年威德纳图书馆开放。1942年主要收藏珍本和手稿的霍顿图书馆开放，随后新英格兰保存本图书馆、拉蒙特本科生图书馆、普西图书馆等相继建成开放。经过350 多年的收集，到1987～1988年已发展成为拥有96个图书馆、1030名工作人员、1200多万册图书、10万多种期刊、400 多万件缩微品的举世闻名的图书馆群。它们大部分设在剑桥和波士顿的哈佛校园内；有的还远在华盛顿和意大利的佛罗伦萨。
