Гитлеровцы неоднократно пытались склонить Карбышева к измене, он отказался перейти на службу фашистам. В немецких концентрационных лагерях Замостье, Хаммельбург, Флоссенбург, Майданек, Освенцим, Заксенхаузен был одним из руководителей подполья. В ночь на 18 февраля 1945 года в концлагере Маутхаузен (Австрия) в числе других заключённых (около 500 человек) был облит водой на морозе и погиб.