15世纪末，哥伦布开辟了从欧洲到美洲的大西洋航道，欧洲人漂洋过海来到美洲。17世纪初，第一批英国移民抵达北美，在那里他们开始了自己的“伊甸园”——新英格兰。移民中有100多名清教徒，他们在牛津和剑桥大学接受古典高等教育。为了使他们的子孙能在新家接受这种教育，他们于1636年在马萨诸塞州的查尔斯河畔建立了美国历史上第一所高等学府哈佛学院。
1636年10月28日，马萨诸塞湾殖民地议会通过决议，决定仿照英国剑桥大学的模式建立一所高等学府，每年拨款400英镑；当初学校名为“新学院”或“新城学院”(the college at New Towne)，成为美国第一所高等教育机构。
1638年9月14日，伊曼纽尔学院牧师兼院长j·哈佛因病去世。他把720英镑的一半积蓄和400多本书捐给了这所学校。
同年正式开学，第一个班9人。
1639年3月13日，为了感谢和纪念约翰·哈佛牧师在学院成立之初的慷慨捐赠，马萨诸塞湾殖民地议会通过决议，将学校更名为哈佛学院。
1650年，哈佛学院被批准成立法人团体。
1693年，北美第二所高等学府威廉玛丽学院诞生；701年，耶鲁学院(耶鲁大学第一个学院)成立。这两个学院的出现，让哈佛学院有了合作伙伴，也有了竞争对手；深受英国古老大学传统影响的哈佛学院正面临着强大的挑战。
哈佛学院最初模仿英国大学模式，但保留了清教哲学。长期以来，学院的领导都是由神职人员担任的。直到1708年，第一位不是清教主义成员的总统就职，哈佛才从清教主义的控制下独立出来。
1721年，学校正式设立神学教授职位。
1727年，为了顺应北美工业革命的势头和新兴产业和商业对应用科学的需求，哈佛学院设立了数学和自然科学教授的职位。数学和自然科学建立后，哈佛学院还购置了一批科学仪器设备，教授们用实验的方法给学生讲授天文学、物理学和化学。在数学领域，设立了测量、导航等技术学科。
