Nelle vicinanze della Gravina, proprio nel centro della zona storica della città, si erge la possente mole del Palazzo Ducale, che è sede del Municipio e del Museo Civico.
Il Palazzo, che originariamente era una antichissima Torre di avvistamento e poi diventò un imponente castello turrito e munito di merli e cannoni, fu eretto e completato strutturalmente fra il XV ed il XVII secolo, ed è stato utilizzato prima come Masseria e dimora stagionale dai Principi Imperiali di Francavilla Fontana, per essere successivamente acquistato e abitato dai Duchi di Montejasi, Gioacchino e Carlo Ungaro, ai quali si deve la nascita di Villa Castelli alla fine del 1700.
Infatti, il piccolo borgo sorse intorno al Palazzo Ducale, attraverso la costruzione di trulli e casette in pietra con le volte a stella, a cielo di carrozza e a botte, a seguito di un bando emanato dal Duca per incoraggiare l’arrivo di tanti coloni provenienti da Ceglie Messapica e da altri centri, chiamati per bonificare e coltivare i terreni del Feudo attraverso l’istituto dell’enfiteusi. Così nacque tra la fine del 1700 e l’inizio del 1800 il Borgo di Villa Castelli, che all’origine era denominato "Li Castelli" in ossequio al toponimo della vecchia Masseria ivi anticamente insediata.