Construit en 1896, le bâtiment de style gothique a été surnommé le château Birkett. Le « château » a été l’ambassade du Japon et le siège social de différentes organisations, comme l’Association des Scouts du Canada et la fondation Héritage Canada. En 1994, le gouvernement hongrois a acheté le bâtiment et, depuis, il sert de résidence de l’ambassadeur.