古代的乐山位于三江汇流之处，岷江、青衣江、大渡河三江汇聚凌云山麓，水势相当的凶猛，舟辑至此往往被颠覆。每当夏汛，江水直捣山壁，常常造成船毁人亡的悲剧。海通禅师为减杀水势，普渡众生而发起，招集人力，物力修凿的。 

佛像于唐玄宗开元初年（公元713年）开始修建，当大佛修到肩部的时候，海通和尚就去世了。海通死后，工程一度中断。多年后，剑南西川节度使章仇兼琼捐赠俸金，海通的徒弟领着工匠继续修造大佛，由于工程浩大，朝廷下令赐麻盐税款，使工程进展迅速。当乐山大佛修到膝盖的时候，续建者章仇兼琼迁家任户部尚书，工程再次停工。四十年后，剑南西川节度使韦皋捐赠俸金继续修建乐山大佛。在经三代工匠的努力之下，至唐德宗贞元十九年（公元803年），前后历经90年时间才完工。