Gabinet Portretowy powstał wskutek ostatniej rozbudowy pałacu prowadzonej w latach 1788-1793. Jest on jednym z dwóch salonów północnego traktu monarszej rezydencji, które były przeznaczone na ekspozycję królewskich zbiorów malarstwa. Dzięki tej lokalizacji zarówno ten pokój, jak i pałacowa Galeria Obrazów posiadły najlepsze oświetlenie prezentowanych w nich dzieł sztuki.

W czasie II wojny światowej Gabinet Portretowy został spalony. Przetrwał jedynie marmurowy kominek, zajmujący centralne miejsce, ozdobiony płaskorzeźbami Ledy i główek Gorgon oraz zwieńczony lustrem optycznie powiększającym przestrzeń tego niewielkiego saloniku. 

Środkowe pola ścian Gabinetu Portretowego wybite są zielonym jedwabiem. Stanowi on doskonałe tło dla zawieszonych tam obrazów, pięknie współgrając z ich złoconymi ramami. Nadaje on również temu wnętrzu charakter bardzo kameralny. Nazwa Gabinetu Portretowego pochodzi z wieku XIX, kiedy to zgromadzono w nim wyłącznie wizerunki rodziny i osobistości z otoczenia Stanisława Augusta. Obecnie znajdują się tu wybitne, malarskie dzieła sztuki pochodzące z kolekcji polskiego monarchy, a przedstawiające sceny rodzajowe, pejzaże, portrety uczonych czy postaci osób współczesnych królowi, jak np. konterfekt jego przyjaciółki, pani Geoffrin. Do pierwotnego wyposażenia należały także meble oraz trójnogi stolik o blacie zdobionym mozaiką z przedstawieniem wołu, co stanowiło aluzję do herbu Poniatowskich Ciołek, czyli młody byk. Obiekt został wykonany w warsztatach watykańskich. Dziełami sztuki wartymi bliższej uwagi są świeczniki z postaciami Zefira, Flory oraz Amora i Psyche wykonane przez wybitnego francuskiego rzeźbiarza Étienne'a Maurice'a Falconeta.