Nagu juba lapsepõlve nupukese all mainitud, on Enn Vetemaa sündinud arhitekti perekonda. Isapoolsed juured ulatuvad tal Raikkülla, kus 20. sajandi algul oli mõisahärraks krahvist filosoof Hermann Keyserling. Sealt on pärit ka Uku Masing, kes oli noorukieas Vetemaa vaimsete huvede suunajaks.

Ennu perekonnas on tema kunstnikust naine Eve Vetemaa, tütar Maria Alajõe ja poeg Markus Vetemaa. 5. oktoobril 1965. aastal sündinud poeg on astunud isa suurtes kingades ja temast on saanud samuti kirjanik.