Andersen startede sin musikalske løbebane i 1906 ved regimentsmusikken i Odense. Der blev han undervist i musikteori af Thorvald Aagaard. Senere flyttede han til København, hvor han studerede musik hos bl.a. Poul Hellmuth og Carl Nielsen. Som trompetist spillede han i Tivolis Koncertsals Orkester hvor han senere skiftede til valdhorn. Han var næsten fra etableringen medlem af Radiosymfoniorkestret samtidig med at han skrev sin musik. Som instrumentator var han flittig, og han dirigerede lejlighedsvis radioorkestret i dets første år. I 30 år ( 1925 – 1955) spillede han Radiosymfoniorkestret. Hans musik beskrives som teknisk velformet, men uden prægnante og interessante momenter.
Der er flere personer med dette navn, se Johannes Andersen.
