De verzameling 14de-, 15de- en 16de-eeuwse schilderijen op paneel zijn interessante uitingen van de gotiek en het maniërisme. Naast een werkje uit Siëna hebben de andere panelen een Vlaamse, Brabantse of Duitse origine. De op paneel geschilderde taferelen visualiseren Bijbelse verhalen en stimuleerden de devotie van de gelovigen. Sommige werken waren bestemd voor een altaar in een kerk, andere voor de persoonlijke devotie thuis. Op sommige werken staan de opdrachtgevers afgebeeld.
De 17de en 18de-eeuwse schilderkunst kent, naast portretten en religieuze onderwerpen, nieuwe genres zoals historiestukken, landschappen, stillevens en moraliserende onderwerpen. Zowel Vlaamse barokke meesters, zoals een navolger van Pieter Paul Rubens, Antoon van Dijck (?), Jacob van Oost de Oude, Gillis van Tilborgh, als Nederlandse meesters (o.a. Pieter Claesz), maar ook een navolger van Jacopo Bassano en van Giuseppe Arcimboldo, zijn aanwezig in de collectie van het kasteel. Het zicht De Burg te Brugge is de oudst gekende geschilderde afbeelding van het plein. Matthias de Visch, Jan Anton Garemijn, Jean-François Legillon en Jan Karel Verbrugge vertegenwoordigen mooi de Brugse meesters uit de 18de eeuw.
De 19de-eeuwse schilderijen bestaan vooral uit familieportretten. Ze zijn uitgevoerd door Brugse schilders zoals Joseph Denis Odevaere, Edouard Wallays en Flori(mond) Van Acker. De middeleeuwse leefwereld van de bouwheren van het kasteel zorgde voor religieuze onderwerpen en portretten van neogotisch meesters zoals Jean-Baptiste Anthony, Adrien Bressers of August Martin. Jean van Caloen was goed bevriend met de kunstschilders José Backhaus en Neville Stephen Lytton die in de eerste helft van de 20ste eeuw meerdere familieportretten maakte. Zijn zoon Roland van Caloen kocht ‘Les colifichets’ (1880) een olieverfschets van James Ensor.