Johnston & Murphy tiene sus raíces en la compañía Dudley Shoe Company, que fundó en 1850 el inmigrante inglés y artesano de calzado William J. Dudley en Newark, Nueva Jersey, cuando le fabricó un par de zapatos al entonces presidente de Estados Unidos Millard Fillmore. Treinta años después, Dudley se asoció con James Johnston, un hombre de negocios de Newark, un año después Dudley murió y Johnston tomó el control de la compañía. Le cambió el nombre a The James Johnston Company.
En 1884, otro hombre de negocios de Newark, William A. Murphy, se asoció con James Johnston y formaron la empresa y la marca que perdura actualmente: Johnston & Murphy.
Genesco (entonces General Shoe Corporation) compró Johnston & Murphy en 1951. Genesco cerró las oficinas centrales en Newark, Nueva Jersey y movió las operaciones centrales a la sede de Genesco en Nashville.
En 1971 abrió su primera tienda al por menor en Schaumburg, Illinois. En 1983 se inauguró la fábrica en Clearwater, Florida, y en 1998 se creó una boutiqueen el corazón de Nueva York.