ต่อมาในศตวรรษที่ 17 ปราสาทได้ตกไปอยู่ในความดูเเลของ กัปตัน VOC (Dutch East India Company) และในศตวรรษที่ 19 ได้ถูกใช้เป็นที่พำนักหลังเกษียณอายุการทำงานของผู้ว่าราชการ Adriaen Maertensz ซึ่งบารอนและบารอนเนส Van Pallandt ได้มอบหมาย ให้สถาปนิก David Zocher และลูกชายของเขา Louis Paul Zocher เป็นผู้ออกแบบสวนบริเวณรอบๆ ปราสาท