15世纪末，由欧洲通往美洲的大西洋航道被哥伦布开辟，欧洲人纷纷远涉重洋来到美洲。17世纪初，首批英国移民到达北美，在那里开拓自己的“伊甸园”——新英格兰。移民中有100多名清教徒，曾在牛津和剑桥大学受过古典式的高等教育，为了让他们的子孙后代在新的家园也能够受到这种教育，他们于1636年在马萨诸塞州的查尔斯河畔建立了美国历史上第一所学府——哈佛学院，初名新市民学院，是为了纪念在成立初期给予学院慷慨支持的约翰·哈佛牧师。学校于1639年3月更名为哈佛学院。1780年，哈佛学院正式改称哈佛大学。截止2014年，学校有本科生6700余人，硕士及博士研究生14500余人。
截止2014年，哈佛大学下设13个学院，分别为哈佛大学文理学院、哈佛商学院、哈佛大学设计学院、牙科医学、哈佛大学神学院、教育学院、哈佛法学院、哈佛医学院、哈佛大学公共卫生学院、哈佛大学肯尼迪政治学院、工程与应用科学院、哈佛大学研究生院、哈佛学院，另设有拉德克利夫高等研究学院，总共在46个本科专业 、134个研究生专业招生;其中本科生教育主体由哈佛学院承担。哈佛法学院(Harvard Law School)创立于1817年，虽然比大学部(Harvard College)建校(1636)晚几近两百年，仍是美国最古老的法学院。Gund Hall, the home of the GSD。哈佛商学院(Harvard Business School)是如今美国乃至全世界最大、最富、最有名望，也最具权威的管理学校。这里是商业人才培育的圣地，被称作商人、主管、总经理的西点军校，美国许多大企业家和政治家都曾在此学习;在美国500家最大公司里担任最高职位的经理中，有1/5毕业于这所学院。哈佛工商管理硕士学位(Master of Business Administration)是权力与金钱的象征，也是许多美国青年梦寐以求的学位。哈佛大学设计学院(Harvard Graduate School of Design，简称GSD)：哈佛大学的建筑教育始于19世纪末期，其设计学院(又名设计研究生院，以下简称GSD)融建筑、规划、景观于一体，是世界上最负盛名的设计院所之一。
哈佛的住宿体系是为了给学生在本科四年中创造一个全面的学生经历。作为一个新生，学生住在位置极佳的哈佛园内的一个宿舍中，并在历史悠久安娜堡食堂用餐。在第一年之后，学生将被安排在校园内的十二个宿舍中，并在那里度过其剩余的哈佛生活。超过百分之九十七的哈佛本科生选择在校园内住满四年。
它的总部位于历史文化名城波士顿的剑桥城，医学院和商学院位于波士顿市区。在剑桥城，与哈佛大学相邻的竟然是与之齐名的麻省理工学院(MIT)。