Tòa lâu đài này được xây bởi ngài George, vị bá tước thứ 4 của vùng Caithness (Scotland). Sau khi hoàn thành, nơi đây trở thành điểm lưu trú thường xuyên của giới bá tước, quý tộc Scotland. Đến năm 1952, nữ hoàng Elizabeth, bà của hoàng tử Charles, vì yêu thích nơi này đã mua lại tòa lâu đài.