主体建筑白塔开建于1078年,共用了20年时间,于1097年才算完成。此后,历代英国王朝又以白塔为中心,陆续增建了许多其他建筑和设施,直到19世纪末期,各种修修补补的工程接连不断,逐渐形成目前这座庞大的建筑群。除白塔之外,被称作“塔”的建筑另有20座。还有女王房舍(伦敦塔总管的官邸)、军营、兵器库、医院和教堂等。此外还有天文台、造币厂和动物园。从1140年起到17世纪初,伦敦塔就是英国王室主要居处之一。1240年左右,亨利三世粉刷了主塔改名为白塔,扩展了地域,经常在此招待贵宾要客。客人常常带野兽来做礼品,他为此专门建造了狮子塔豢养那些动物,逐渐形成了一个动物园。