Das Schloss wurde ursprünglich als herrschaftliches Haus im 15. Jahrhundert erbaut. Nachdem es im 16. Jahrhundert niedergebrannt wurde, ist es von dem Rietberger Grafen Johann III in seiner heutigen Form errichtet worden. Den Rietberger Grafen diente das Schloss im Renaissance-Stil als Jagdschloss. 1822 erwarb der Kaufmann Friedrich Ludwig Tenge die Grafschaft Rietberg und somit auch das Schloss. Seitdem ist der Prachtbau in Händen der Familie Tenge-Rietberg.

1840 wurde vor dem Schloss die Holter Eisenhütte errichtet. Friedrich Ludwig Tenge war der Bauherr. Um 1848 begann die Holter Eisenhütte mit der Ofenproduktion, die sie und den Namen Schloß Holte berühmt machten. Die Eisenhütte am Rande des Holter Walds blieb auch Anfang des 20. Jahrhunderts noch Entwicklungsmotor. 1901 wurde die Bahnlinie von Bielefeld nach Paderborn in Betrieb genommen. Damit konnte die Eisenhütte noch einmal wachsen.

Heute ist das Schloss privat bewohnt. Besichtigungen sind daher nicht möglich.

Einige der Öfen aus der Eisenhütte sind im Rathaus ausgestellt.