La maison Duff-Baby est l’un des plus anciens édifices de Windsor, construit en 1798 pour le marchand de fourrures écossais Alexander Duff. Bien que l’architecte à l’origine de la conception du bâtiment soit inconnu, on sait que le style géorgien a été introduit au Haut-Canada par les loyalistes de l’Empire-Uni à la fin du 18^e siècle. Restaurée dans les années 1990, cette maison est la propriété de la Fiducie du patrimoine ontarien.