Der Bau des Gefängnisses wurde nach der Einigung Italiens beschlossen, um die Schwächen der vorherigen Strukturen zu beheben. Die Regierung erwarb Grundstücke in der Vorstadt (dem heutigen Gebiet zwischen dem Corso Magenta und der Porta Ticinese) und beauftragte den Ingenieur Francesco Lucca, der nach dem Vorbild des Panoptikums aus dem 18. Jahrhundert ein Gebäude mit sechs Armen mit jeweils drei Stockwerken entwarf. Zwischen den Balken wurden so genannte "Wanderrosen" gebaut, die in zwanzig Abschnitte für jeweils einen Insassen unterteilt waren, um die Kommunikation zwischen ihnen zu verhindern.

An der Piazza Filangieri wurde ein Gebäude im mittelalterlichen Stil errichtet, in dem sich die Büros und das Haus des Direktors befanden. Die Arbeiten wurden von Antonio Cantalupi abgeschlossen und das Gefängnis wurde am 24. Juni 1879 eingeweiht. Es beherbergte unter anderem den Anarchisten Gaetano Bresci (Mörder von Umberto I., König von Italien, im Jahr 1900) und den Antifaschisten Antonio Gramsci (1927-1928).

Nach der deutschen Besetzung im September 1943 unterstand das Gefängnis weitgehend der Zuständigkeit der SS. Drei der sechs Seiten des Gefängnisses wurden direkt von der SS verwaltet, darunter die Seiten IV und VI für politische Gefangene und die Seite V für jüdische Gefangene (auch bekannt als "Kreis der Gehängten" und "verfluchte Seite"). Von diesem Zeitpunkt an diente das Gefängnis als Konzentrationslager der Provinz und als Sammelstelle für die Deportation aller Juden, die in den größten Städten des Nordens wie Genua und Turin oder an der Grenze zur Schweiz verhaftet wurden. Sieben der jüdischen Häftlinge in San Vittore starben im Gefängnis, drei aus unbekannter Ursache.

Viele Arbeiter aus dem Industriegebiet von Sesto San Giovanni, die aus politischen Gründen in die Konzentrationslager der Nazis deportiert wurden, kamen durch San Vittore. Auch viele Widerstandskämpfer waren dort inhaftiert, von Ferruccio Parri bis Giuseppe Bacciagaluppi, sowie einige, die später berühmt wurden, wie Indro Montanelli und Mike Bongiorno.

Die Vorschriften waren äußerst streng und die hygienischen Bedingungen dramatisch. Es fehlte jedoch nicht an Menschen, die versuchten, den Insassen zu helfen, wie z. B. Schwester Enrichetta Alfieri und Maria Peron. Letzterer gelang es, einige Häftlinge vor der Deportation zu bewahren, und die Flucht von Politikern zu fördern. Die endgültige Befreiung der Häftlinge, die sich am 25. April 1945 selbst erhoben, wurde von den Partisanen der Matteotti-Brigaden durchgeführt.