De toren was vanouds een bezit van de graven van Zutphen, later Gelre. Het was hertog Karel van Gelre die in 1535 opdracht gaf de eerste en tweede verdieping af te breken en de toren weer op te bouwen en bewoonbaar te maken. Karel van Gelre schonk de toren in 1538 aan zijn bastaardzoon Karel 'de Jonge' bastaard van Gelre.

Hun zoon, Karel van Gelre de Jongste geheten schonk het aan zijn dochter Catharina gehuwd met Herman van Delen. Hun zoon Karel verkocht het aan Wilt van Broeckhuysen. Diens zoon Wilt Jan gaf het aan dochter Fenna Helena Aleida van Broeckhuysen, die in 1707 met Gerrit Jan van Rhemen tot Rhemenshuizen trouwde.

Via hun zoon Gerrit Jan kwam het aan hun kleinzoon Wilt Gerrit Johan. Zijn kleinzoon mr. Frederik August baron van Rhemen tot Rhemenshuizen overleed ongehuwd in 1863 en had het juridisch al overgedragen aan zijn neef Alexander baron van Rhemen tot Rhemenshuizen, die het bouwvallige huis gedeeltelijk liet slopen en opbouwen in 1868. Hij overleed al in 1877 en na het overlijden van zijn vrouw Caroline van Leembruggen in 1921 werd het verkocht aan J.S. Wurfbain en kwam later in het bezit van zoon J.G. Wurfbain. Vervolgens werden in 1979 het kasteel en de landerijen verkocht aan de antiquair en kastelenliefhebber H.B.M Ruyten, die het geheel liet restaureren. Heden wordt de toren bewoond door zijn zoon R.H.P.A Ruyten.