Il dipinto pervenne alle Gallerie nel 1838 per dono di Girolamo Contarini, insieme alla tela raffigurante il Ritorno del figliol prodigo, suo pendant e scena conclusiva della parabola evangelica del Padre misericordioso, scritta nel Vangelo di Luca (Lc 15, 11-32).

Nella parabola che Gesù racconta, un uomo ha due figli e, nonostante non manchi loro nulla, il più giovane pretende da lui la parte d’eredità che gli spetta. Ottenutala, si reca in un paese lontano dove spende tutte le sue ricchezze conducendo una vita dissoluta.

Palma il Giovane negli Svaghi ci presenta infatti il figlio minore che, sperperando l’anticipata eredità paterna, si offre ai più mondani piaceri: sotto il rosso scarlatto di una pesante tenda siede ad una tavola imbandita, in compagnia di due avvenenti fanciulle. Una candida tovaglia, segnata dalle pieghe della stiratura, è posta al di sopra del mantile azzurro bordato d’oro che copre il tavolo rotondo sul quale sono servite dolci vivande su piatti d’argento, mentre a terra giacciono un ampio bacile cesellato e la brocca d’acqua per la lavanda.

Un servitore si avvicina offrendo un nuovo vassoio, mentre la fanciulla porge al giovane un calice di vino per l’ebbrezza dei sensi. Del nettare di Bacco sono colme anche le due anfore ai piedi dei convitati e le botti nel giardino alle loro spalle. Il giovane dalle gote arrossate si abbandona alle carezze delle fanciulle: è l’eros che abbracciando lo incatena.

A proposito della piccola tela, il Moschini (1958, p 104) ne osservava la fattura ammirevole «nel risalto chiaroscurale marcato dalla tavola ovale, nel colore cupo, di tocco brioso nello sfondo, degno di uno Scarsellino». Per Ivanoff-Zampetti (1979, p. 563) «si notano evidenti precorrimenti alla grazia, al tocco sensuoso e alle delizie cromatiche di Francesco Maffei» e secondo Pallucchini (1981, p. 34) negli Svaghi si rivelano fruttuosi contatti di Palma il Giovane col bassanismo.

Gli Svaghi, insieme al Ritorno del figliol prodigo, sono opere di non facile datazione per il loro aspetto di “modelletto”: si possono presumere eseguite intorno al 1600 «per le abbreviazioni morfologiche, la materia grassa e succosa, la costruzione dei corpi ad uncino e il loro profilarsi netto sullo sfondo attraverso vivaci effetti di chiaroscuro» (Mason Rinaldi 1990, p. 137).

La tela è stata restaurata nel 1843 da Antonio Zambler e nel 1958 da Antonio Lazzarin.