Neben dem großen Bergfried befand sich die Bibliothek und der Wohntrakt der Gräflichen Familie. Die umfangreiche Bibliothek der Grafen von Mirbach-Harff enthielt eine Anzahl von spätmittelalterlichen Handschriften. Unter anderem auch die älteste datierte Handschrift des Sachsenspiegels von 1295. Es gab auf Schloss Harff einen roten und einen weißen Saal. Beide dienten wahrscheinlich in früheren Jahrhunderten zu Repräsentationszwecken. Vom roten Saal wissen wir heute nur, dass er im
Jahre 1918 zur Aufbahrung des ermordeten Grafen Wilhelm von Mirbach-Harff diente.
Der weiße Saal war entsprechend seinem Namen in weiß gehalten. Die Wände und Decken waren mit Stuck verziert. An den Wänden befanden sich zur Decke hin halbrunde Bögen. Die Wände waren geschmückt mit Jagdtrophäen, Ölgemälden, Ritterrüstungen und Waffen aus dem Mittelalter. Ein großer offener Kamin mit einer verzierten Kaminhaube befand sich ebenfalls im weißen Saal. Ihm gegenüberliegend war ein großer Wandspiegel.  Von der Decke herab hing ein großer, schwerer und prächtiger Leuchter.

Im Inneren von Schloss Harff gab es eine große Treppe. Am Ende des Handlaufes befanden sich zwei Statuen, die ein Wappenschild trugen. An einer anderen Treppe war, auf einem Treppenpfeiler, ein Glöckchen aus dem Jahre 1727 befestigt. Dieses Glöckchen war ursprünglich aus der Schlosskapelle. Auch waren auf Schloss Harff viele wertvolle und antike Möbelstücke aus längst vergangenen Epochen. Zu erwähnen wären hier besonders einige Schränke und Himmelbetten. Neben den vielen Fenstern die Schloss Harff hatte, gab es auch zwei, die das alte Familienwappen derer von Mirbach zeigten.