Cuando
Estados Unidos entró a la
Segunda Guerra Mundial se presentó como voluntario en la Infantería de Marina y después en la escuela de paracaidistas, donde fue rechazado por medir solo 1,65 m y estar bajo de peso (55 kg). Logró ingresar en el ejército con 17 años, tras falsificar su certificado de nacimiento, siendo enviado al Campo Wolters, en
Texas, y más tarde al Fuerte George G. Meade, en
Maryland. Al terminar su entrenamiento fue trasladado a ultramar.
Fue asignado al 15.º Regimiento de la 3.ª División de Infantería, entrando en acción en el norte de
África,
Sicilia (
Italia),
Francia y
Alemania. Por sus destacadas acciones en combate ganó todas las condecoraciones por valor del
Ejército de Estados Unidos, una condecoración
belga y tres
francesas. Además de ser el soldado estadounidense más condecorado de la Segunda Guerra Mundial, fue herido en tres ocasiones. El 26 de enero de 1945, durante la batalla de
Holtzwihr, en Francia, y después de haber estado luchando algún tiempo, fue atacado por seis tanques y oleadas de infantería, con lo que su unidad se redujo a una fuerza efectiva de 19 hombres de un total de 128. Murphy ordenó retirarse a todos los hombres restantes a una posición preparada en un bosque, mientras él disparaba contra los alemanes hasta que se quedó sin munición. Después se subió él solo a un tanque incendiado cargado de explosivos y tomó su ametralladora calibre
12,7 mm para ahuyentar a la infantería alemana. Estaba solo y expuesto al fuego alemán desde tres lados, pero su fuego hizo retroceder a docenas de alemanes, incluyendo un equipo completo de infantería que se arrastró a una zanja a menos de 30 m de su posición. Fue capaz de organizar el fuego de artillería sirviéndose de un teléfono fijo y, bajo un intenso fuego, fue herido en la pierna, pero lo ignoró y continuó su lucha en solitario. Sin embargo, continuó la batalla durante casi una hora hasta que la línea telefónica con el centro de dirección de fuego de artillería se cortó y se agotó su munición. A continuación, hizo su camino de regreso a su compañía, se negó a recibir atención médica, organizó a sus hombres restantes y llevó a cabo un rápido contraataque, expulsando a los alemanes de Holtzwihr. Por estas acciones, fue condecorado con la Medalla de Honor por el ejército de su país.