Victor Ullmann studierte in Wien. Als der Erste Weltkrieg ausbrach, meldete er sich freiwillig zur Armee. Trotz seiner großen Begabung für das Klavierspiel plante Ullmann keine musikalische Karriere.

Nach dem Ende des Krieges kehrte er in die inzwischen unabhängige Tschechoslowakei zurück. Er ließ sich in Prag nieder, wo er Dirigent am Neuen Deutschen Theater (der heutigen Staatsoper Prag) wurde. Zu dieser Zeit begann er auch zu komponieren und seine Werke wurden bei verschiedenen Festivals in Europa aufgeführt. Er arbeitete in der Schweiz und in Deutschland, musste aber fliehen, als die Nazis in Deutschland die Macht übernahmen.

Nach seiner Rückkehr nach Prag arbeitete er beim tschechoslowakischen Rundfunk als Rezensent und Musikkritiker. Er war auch als Dozent und Lehrer tätig. In seinen Werken aus den 1920er Jahren ist der Einfluss von Schönberg, bei dem er zu dieser Zeit studierte, deutlich zu erkennen. Später in seiner Karriere zeigen Werke, wie seine Kammersymphonie op. 9, das Georgslied op. 15 und die Klaviersonate Nr. 1 eine deutliche Entwicklung als Komponist und Unabhängigkeit von seinem Mentor. Im Laufe der Zeit schuf Ullmann seinen eigenen, einzigartigen Musikstil. Im Jahr 1942 wurde er verhaftet und ins Konzentrationslager Theresienstadt gebracht.

In dieser Zeit schrieb er 3 Sonaten und 41 weitere Werke, darunter Opern und Klavierkonzerte. Während die meisten dieser Werke verloren gingen, sind dreizehn Drucke, die der Komponist privat veröffentlichte und die in den Sammlungen seiner Freunde aufbewahrt wurden, bis heute erhalten geblieben. Im Lager hatte Ullmann weiterhin Kontakt zur Musik. Er organisierte Konzerte und schrieb sogar Kritiken zum Musikgeschehen. Im Lager komponierte er 20 Werke, darunter die Oper "Der Kaiser von Atlantis". Die meisten von ihnen sind erhalten geblieben.

Am 14. Oktober 1944 wurde er nach Auschwitz-Birkenau deportiert, wo er einige Tage später in der Gaskammer starb.