Palazzo Madama è uno degli edifici più interessanti e sicuramente il più rappresentativo della lunga e complessa storia cittadina: esso trae origine dalla romana porta decumana*, posta a controllo dell'ingresso orientale di Iulia Augusta Taurinorum. Questo edificio deve la sua fortunata sopravvivenza all'intenso riutilizzo a cui fu soggetto nel tempo. Dopo la caduta dell'impero romano, quando ebbero inizio le scorrerie barbariche, la porta dovette in parte perdere la sua primitiva importanza, per riacquistarla alla fine dell'XI secolo quando Torino, a somiglianza di altre città italiane, si eresse a Comune. Nel XIII secolo su ciò che restava della porta decumana fu eretta una casaforte, centro di comando politico e militare. Per consentire il transito da e verso Po venne aperta la porta Fibellona, il cui lato occidentale sfruttava le strutture adiacenti all'antica cinta muraria romana, inserendovisi con un arco a tutto sesto (tutt'ora visibile all'interno di Palazzo Madama). Qui sotto: la medievale porta Fibellona.	Veduta orientale del Castello con le torri poligonali realizzate nel XV secolo sotto il dominio di Ludovico d’Acaja. Particolare tratto dal seicentesco Theatrum Sabaudiae. A sinistra, si nota la porta Fibellona (già quella barocca, dal momento che quella del XIII secolo si trova all'interno di Palazzo Madama, inglobata dall'ampliamento quattrocentesco); essa sostituiva l’antica porta romana, occlusa dal Castello medievale, che si apriva nelle mura orientali di Augusta Taurinorum.
Nel 1317/20  Filippo d'Acaja (impadronitosi della città) dette seguito a ulteriori operazioni edilizie sulla costruzione eretta pochi decenni prima. Secondo il "Libro Spese" del chiavaro Pietro Panissera (che abbraccia il periodo 11 agosto 1317-11 agosto 1320), Filippo non si limitò a "ritoccare" ed ampliare la casaforte preesistente, bensì erige una fortezza ex-novo. Dal "Libro Spese" risulta infatti che vennero innalzati nuovi muri perimetrali, agganciati ad est da due torrioni: le torri romane verso la città furono invece consolidate e affiancate da tozze torri quadrate.	*La porta romana di Palazzo Madama è classificata come “decumana” oppure “prætoria” a seconda degli autori. Non disponendo di dati concreti per denominare con certezza le porte romane di Torino, delle quali ci sono giunti solo i nomi medievali, gli storici si sono basati su nozioni di carattere generale (è accalarato che una delle porte in capo al decumanus maximus fosse chiamata decumana) che, tuttavia, possono generare confusione. Ad esempio, in genere la decumana era la porta opposta al nemico (altri sostengono il contrario...), che nel nostro caso comunque non è identificabile poiché l’area su cui si fondò la colonia era pacificata da tempo, così come le aree circostanti. Sappiamo peraltro che sovente la decumana era la porta più vicina all’incrocio tra cardo e decumano massimi; in questo testo ci siamo dunque basati su quest’ultimo criterio, dal riscontro più oggettivo, per cui è detta “decumana” la porta orientale (in palazzo Madama) e “prætoria” quella occidentale (nel medioevo detta porta Segusina); siccome poi le porte collocate sull’asse nord-sud prendevano nome in funzione della posizione della decumana, guardando la città e dando ad essa le spalle, ne consegue che abbiamo chiamato “principalis dextera” quella a nord (la porta Palatina, ancora esistente) e “principalis sinistra” quella a sud (conosciuta nel medioevo come porta marmorea e abbattuta nel XVII secolo).
Palazzo Madama visto dalla piazzetta Reale. Dietro alla maestosa facciata settecentesca, opera dell'architetto messinese  Filippo Juvarra, si impone la mole del castello medievale quattrocentesco. Questa era la degradata situazione dell'edificio nel 1845, prima che radicali restauri gli restituissero dignità e maestosità.	La casaforte due-trecentesca venne ampliata da  Ludovico d'Acaja (signore di Torino dal 1402 al 1418), che aggiunse le torri prospettanti verso il Po, di stile gotico ma ricalcanti, nella pianta a sedici lati, quelle romane. Ludovico intese il castello come punto di riferimento (e di comando) della Torino del suo tempo, contrastando apertamente il Comune e anche l'autorità religiosa che aveva nella vicina zona del  Duomo il suo centro di potere. L'interno del castello fu abbellito ripetutamente tra il 1403 e il 1408 dal celebre pittore  Giacomo Jaquerio (affreschi oggi perduti). Nei secoli successivi la costruzione dovette cedere il passo alla moda barocca; venne a più riprese rimaneggiata la facciata e furono occultate le antiche finestre gotiche. L'intero edificio, che alla fine del XIX secolo si presentava in misere condizioni di degrado nonostante i suoi illustri trascorsi, venne magistralmente restaurato da  Alfredo d'Andrade che ne recuperò l'aspetto medievale eliminando le varie sovrastrutture (tra le quali l'osservatorio astronomico) che soffocavano il castello originario, conducendo un'attenta opera di indagine ancora oggi additata ad esempio per l'estremo rigore e per la completezza, quasi maniacale, dei dati raccolti, sia di carattere architettonico che storico-archeologico.