Вона страждала від ревматоїдний артрит, яка з віком ставала все більш виснажливою. До 1861 року вона користувалася інвалідним візком. З початком громадянської війни в США Мері Кастіс Лі відклала евакуацію Арлінгтон-хаусу до 15 травня 1861 року.
Вона стоїчно перенесла смерть генерала Лі в 1870 році і продовжувала працювати, щоб повернути своє сімейне місце. Візит до Арлінгтона в 1873 році та смерть доньки Агнес Лі через кілька місяців виявилися настільки шокуючими, що вона не могла оговтатися. Мері Анна Рендольф Кастіс Лі помер 5 листопада 1873 року.
Марта Вашингтон захворіла на кір у перший рік їхнього шлюбу і страждала від захворювання жовчного міхура як вона постаріла. Як і інші на плантації, Вашингтони мали сезонну малярію та проблеми з легенями.
Правнучка Марти Вашингтон, Мері Кастіс і лейтенанта Роберта Е. Лі, її далека двоюрідна сестра та кохана дитинства, обмінялися шлюбними обітницями в вітальні в Арлінгтоні в 1831 році. Цей шлюб об’єднав дві «перші сім’ї» Вірджинії. Лі походив із довгої лінії відомих солдатів і державних діячів.
Кастіс Лі помер 18 лютого 1913 року в Александрії, штат Вірджинія, і похований в університетській каплиці поруч із членами своєї родини. Він ніколи не одружувався, і був немає дітей.
У грудні 1882 року Верховний суд виніс рішення на користь Лі. Через кілька місяців, у березні 1883 року федеральний уряд придбав нерухомість у Лі за 150 000 доларів США (понад 4 мільйони доларів сьогодні), а Арлінгтонське національне кладовище продовжувало свою місію як місце поховання для військовослужбовців США та їхніх родин.