A pápai Esterházy-kastély előzménye a nagy hatalmú Garai, főúri család által a 15. század elején épült vár. A várat a török részéről több támadás is érte, majd a hódoltság korában bizonyos fejlesztéseket is végeztek rajta. A birtok 1626-ban lett az Esterházy főúri családé. A várost nem sokkal később súlyos tűzvész pusztította, amelyben a várkastély és a templom is megsérült. A Rákóczi-szabadságharc idején, pedig először kuruc, később labanc helyőrség szállta meg, amihez társult a vár elhanyagolása is.
A szabadságharc leverése után, több mint harminc évvel, 1743-ban Esterházy Ferenc, barokk főúri rezidenciát terveztetett a neves építész Franz Anton Pilgrammal, miután a vár elveszítette korábbi védelmi funkcióját. A kastély építése azonban elhúzódott, ugyanis a pápai birtokot megöröklő Esterházy Károly figyelmét inkább az egyházi építkezések töltötték ki. A barokk kastélyt végül 1784-ben fejezték be, amelynek kivitelezési folyamatait Grossmann József és Fellner Jakab, neves építészek végezték el.
Az egyemeletes, U alakú két szárnyának végeit toronyszerűen kialakított sarokrizalitok zárják. Az épület együttes középső szárnyában lettek kialakítva a reprezentációs helyiségek, míg az oldalszárnyakban lévő vendég lakosztályok mellett, a nyugati szárnyban volt a tulajdonos magánlakosztálya. A keleti szárnyban kapott helyett a kastélykápolna, melynek falait Joseph Ignaz Mildorfer freskói díszítik. Az épület egyik fő jellegzetessége a sávos vakolattal díszített homlokzat. A belső tereket később az 1860-as években Esterházy Pál újíttatta fel, ekkor alakult meg a Nádor-terem és az Ősök csarnoka. Ekkoriban állították fel a Párizsból hozott kastélykaput is. A két kapuoroszlán, korábban az 1790-es években készült.
A II. világháború után, 1945-től 1959-ig a szovjet hadsereg használta a kastélyt. Ebben az időben nemcsak az épületben keletkeztek jelentős károk, de megsemmisült, illetve eltűnt, szinte a teljes belső berendezés is. A katonai elszállásolás után, városi könyvtár, zeneiskola, művelődési ház és helytörténeti múzeum alakult a kastély épületében. Az 1960-as évek közepén kerítettek sort a külső homlokzat renoválására, ezt követte az 1990-es évek elején a kastélykápolna helyreállítása, mely megkapta az igényes Europa Nostra-díjat is. A kastély belső tereit több lépcsőben állították helyre, amely végleges formáját a 2010-es évek közepére nyerte el. A megújított kovácsoltvas díszkaput 2019-ben adták át.
A jövőbeni helyreállítási célok között van, a kastély melléképületének a váristállónak a megújítása. Hátravan még a kastély kerítésének felújítása, a kastélypark rendezése, az őrházak felújítása, újraépítése, a Tapolca medrének újraélesztése és a külső és belső Várkert felújítása.
Pápa uradalma a Garaiak korában
