James William Ellsworth, amerikanischer Grossindustrieller und Sammler mittelalterlicher Kunst, erwarb das Schloss 1911. Sein Sohn, der Polarforscher Lincoln Ellsworth, erbte das Schloss 1925. Obwohl er nur zeitweilig auf dem Schloss lebte, plante er hier zusammen mit Roald Amundsen verschiedene Expeditionen.

Die Laube zum Schlosshof verleiht dem Saal im 2. Stock einen besonderen Charme und bietet eine private Pausenzone mit Ausblick.