Elva kalmistu rajati 1924 aastal. Elva kalmistu peaväravat kaunistab Hanno Kompuse poolt 1934 aastal kavandatud omapärane väravavõlv.

Kalmistu uue osa on kujundanud maastikuarhitekt Nora Tammoja.