Первый замок на этом месте был построен в 1298 г. Затем он был заброшен, его пытались восстановить с 1571 г., но нового хозяина казнили в 1605 году. В 1615 г. замок вместе с графским титулом был пожалован Якобу де ла Гарди. Его сын Магнус Габриель де ла Гарди очень сильно вложился в этот замок и придал ему современный вид. Однако уже в 1681 г. замок у Магнуса был отобран королём Карлом XI.