Voergaard ligger i Voer Sogn, Dronninglund Herred, Brønderslev Kommune i det sydøstlige Vendsyssel, nærmere betegnet i den tidligere Dronninglund kommune. Slottets ældste del kan dateres til 1481 og det yngste til 1590.
I 1510 overdrog væbneren Jens Andersen Voergaard til biskoppen på Børglum Kloster, Stygge Krumpen.
Under Grevens Fejde erobrede Skipper Clements bondehær Voergaard, og ved Reformationen overgik den til kongen.
I 1578 overdrog Frederik 2. slottet til Karen Krabbe, hvis datter Ingeborg Skeel overtog slottet og opførte renæssancehuset, der stod færdigt i 1588. Sandstensportalen, der var tiltænkt Frederiksborg slot, er en gave fra Frederik 2. Ingeborg Skeel oplevedes af sine bønder som en tyran, og hun er blevet Voergaards stadig tilbagevendende spøgelse.
Efter en lang periode med skiftende ejere erhvervede Peter Brønnum Scavenius Voergaard i 1872. Han gennemførte store renoveringer og tilbagekøbte meget af den frasolgte jord. Ved hans død i 1914 henlå ca. 3.500 tdr. land (1944,4 hektar) under Voergaard, der dermed var et af landets største godser og er i dag på 605 tdr. land (336,1 hektar).
Udenrigsminister mm. Erik Scavenius ejede Voergaard fra 1914 til 45.
I 1955 købte den dansk-franske greve Ejnar Oberbech-Clausen Voergaard. Han blev født i Nyborg som søn af en isenkræmmer og gjorde karriere i Frankrig og i den katolske kirke. Han blev rigsgreve af Rom. Han giftede sig med en datter af den franske kirurg Jules-Émile Péan, der opfandt péan-tangen. Hun var enke efter grev Chenue-Lafitte, og fra disse to familier stammer størstedelen af den rige og enestående kunstsamling, der nu forefindes på Voergaard.
Kunstsamlingen omfatter værker tilskrevet Francisco Goya, Peter Paul Rubens, Raphael, El Greco, Watteau og Frans Hals samt møbler fra Ludvig 14., Ludvig 16. og Marie-Antoinettes eje. Desuden møbler og et glasservice med Napoleons monogram indgraveret. Blandt de kostbare møbler kan nævnes to skænke fra Ludvig 14.s tid. Der findes tilsvarende på Versailles og på Louvre.
8. marts 2008 blev to malerier Den gale af Goya og Portræt af Maria af Medici af Rubens stjålet fra samlingen. Tilskrivningerne er yderst tvivlsomme og aldrig bekræftet af kunsthistorikere.
Da Oberbech-Clausen døde i 1963, overgik slottet til en familiefond.