La esposa de Joel Chandler Harris fue Estelle La Rose Harris. Se casaron en 1871 y tuvieron un hijo, Julian Harris.