La collection de peintures sur panneau datant des 14me, 15me et 16me siècles sont des témoignages intéressants du style gothique et du maniérisme. À l’exception d’une petite œuvre originaire de Sienne, les autres panneaux ont un origine flamande, brabançonne ou allemande. Les scènes peintes sur panneau représentent des récits bibliques qui stimulaient la dévotion des croyants. Certaines de ces œuvres étaient destinées pour un autel dans une église, d’autres pour la dévotion personnelle à la maison. Sur quelques-unes des peintures les commanditaires sont représentés.
La peinture des 17me et 18me siècles connaît, outre le portrait et le sujet religieux, de nouveaux genres tels que la peinture historique, le paysage, la nature-morte et le sujet moralisant. La collection du château comprend aussi bien des maîtres flamands baroques, tel qu’un suiveur de Pieter Paul Rubens, un Antoon van Dijck ( ?), un Jacob van Oost le Vieux, un Gillis van Tilborgh, ainsi que des peintres néerlandais (e.a. Pieter Claesz), ou encore des suiveurs de Jacopo Bassano et de Giuseppe Arcimboldo. La vue Le Bourg à Bruges, est la plus ancienne représentation peinte de cette place brugeoise. Matthias de Visch, Jan Anton Garemijn, Jean-François Legillon et Jan Karel Verbrugge représentent brillement les peintres actifs à Bruges au 18me siècle.
Les tableaux des 19me et 20me siècles sont surtout des portraits de famille. Ils sont l’œuvre de peintres brugeois tels que Joseph Denis Odevaere, Edouard Wallays et Flori(mond) Van Acker. Le goût pour le moyen-âge fit que les bâtisseurs du château passèrent commande de sujets religieux et de portraits aux maîtres néogothiques Jean-Baptiste Anthony, Adrien Bressers ou August Martin. Jean van Caloen s’était lié d’amitié avec les artistes José Backhaus et Neville Stephen Lytton qui, dans la première moitié du 20me siècle ont exécuté plusieurs portraits de famille. Son fils Roland van Caloen fit l’acquisition de l’oeuvre ‘Les colifichets’ (1880), une esquisse à l’huile de James Ensor.