1933 trat Gebhardt in die NSDAP und die SS ein. 1936 war er Chefarzt der Olympischen Spiele in Berlin, und ein Jahr später leitete er als Medizinprofessor die orthopädische Chirurgie an der Universität Berlin. Zu dieser Zeit wurde er auch der Leibarzt von Heinrich Himmler.

Als der Zweite Weltkrieg ausbrach, leitete er das SS-Sanatorium in Hohenlychen. Nach der Eroberung Belgiens vermittelte er die Kommunikation zwischen Adolf Hitler und König Leopold III. von Belgien.

Als Reinhard Heydrich, einer der Hauptverantwortlichen für den Holocaust, nach einem Attentat in Prag starb (die Todesursache war Wundbrand), wurde Gebhardt beschuldigt, nicht genügend unternommen zu haben, um den prominenten Würdenträger zu retten. Um seine Unschuld zu beweisen, beschloss Gebhardt, die entsprechenden Untersuchungen im Lager Ravensbrück durchzuführen, das 13 Kilometer von der von ihm geleiteten Heilanstalt Hohenlychen entfernt lag.

Bei seinen Experimenten brach Gebhardt den Häftlingen die Beine und brachte sie in einen Zustand der Gewebsinfektion, z. B. mit Staphylococcus aureus oder Tetanus. Um die Entwicklung der Gewebsnekrose zu beschleunigen, wurden die Muskeln der Gliedmaßen zerquetscht. Anschließend wurden verschiedene Medikamente, darunter Sulfonamide, eingesetzt. Mit den Experimenten sollte die Unwirksamkeit der Therapie nachgewiesen werden. Um ihre These zu untermauern, wurden die weiblichen Häftlinge, denen die Medikamente verabreicht wurden, nicht gepflegt. Wie sich Karolina Lanckorońska, eine Insassin von Ravensbrück, erinnert, mussten diese Frauen nicht nur ihre Verbände selbst wechseln, sondern sich auch trotz ihrer Immobilisierung um Hygiene und menschliche Grundbedürfnisse kümmern. Auf diese Weise bewies Gebhardt, dass er keine Schuld am Tod Heydrichs trug.

Außerdem wurden die Experimente aufgrund der hohen Sterblichkeitsrate verwundeter deutscher Soldaten an der Front durchgeführt, die auf Wundbrand zurückzuführen war. Aus diesem Grund wurden in Absprache mit dem Hygiene-Institut der Waffen-SS Glas-, Holz- oder Erdsplitter in die Wunden der inhaftierten Frauen gestreut, um möglichst Bedingungen zu schaffen, die denen der Front ähnelten.

Gebhardt führte auch experimentelle Regenerations- und Knochentransplantationsoperationen an inhaftierten Frauen durch. Es wurden drei Arten von Operationen durchgeführt, bei denen Knochen gebrochen und verpflanzt wurden und anschließend Knochenstreifen entnommen wurden (Knochenfragmente wurden herausgeschnitten). Ziel der Experimente war es, den Verlauf der Knochenrekonstruktion und den Fortschritt der Knochenregeneration zu untersuchen. Die Operationen waren sehr brutal. Die Knochen wurden mit Hammer und Meißel gebrochen, die Wunden wurden genäht und nur einige Tage lang mit Pflastern versehen, dann wurde die Pflaster entfernt, um den Heilungsprozess der Wunden zu beobachten. Es gab Operationen, die ohne Betäubung durchgeführt wurden, und die Experimente wurden oftmals an denselben Personen wiederholt. Eines der jüngsten Opfer von Gebhardts Experimenten war Barbara Pietrzyk, die im Alter von 16 Jahren verhaftet wurde. An ihr wurden daraufhin fünf Operationen durchgeführt.

Am Ende des Krieges wurde Gebhardt von den Amerikanern verhaftet und im sogenannten Ärzteprozess, einem der Nürnberger Prozesse, vor Gericht gestellt. Er wurde wegen Kriegsverbrechen und Verbrechen gegen die Menschlichkeit angeklagt. Das amerikanische Militärtribunal verurteilte ihn im August 1947 zum Tode. Das Urteil wurde im Juni 1948 im Gefängnis von Landsberg vollstreckt.