Il Palazzo Imperiale è l'unica costruzione del porto ad aver avuto finalità non mercantili, probabile sia stato un quartiere di rappresentanza per accogliere i visitatori di rango e per le soste della corte imperiale in arrivo e in partenza. Il complesso, senz'altro molto vasto era talmente articolato da renderne difficoltosa la lettura della planimetria. Originariamente si articolava su due piani, in altezza, e si affacciava doppiamente sui due porti. Non si conosco tutt'ora le varie funzioni di ciascun settore del palazzo ad eccezione di due impianti termali. I livelli superiori sono crollati, ma rimane in discreto stato la rete sotterranea dei servizi. Da notare la qualità della decorazione architettonica e delle suppellettili preziose, di tanto splendore possiamo vedere solo alcuni dettagli decorativi riguardanti la tessitura delle mura. Sono tutt'ora percorribili i locali dei servizi, le cui pareti sono rivestite con intonaco chiarissimo con polvere di marmo. Nel Rinascimento il complesso era noto come il Palazzo delle Cento colonne e molti pezzi pregiati della Collezione Torlonia vengono da recuperi effettuati durante le bonifiche.
La precarietà in cui versano i resti dell'edificio ne privano l'accesso per visite guidate.