Holger-Madsen debuterede på Rønne Teater i 1896 og var indtil 1905 provinsskuespiller, fra 1905-12 var han tilknyttet Casino i København og fra 1912 til 1914 på Dagmarteatret hvor han fik flere betydelige roller, men var desuden kendt for hans talent til at lave kreative masker og var derfor også kendt som "Maske-Madsen" eller "Troldemads". Han filmdebuterede hos Nordisk Film i 1907 i Viggo Larsens film Den sorte hertug (nu gået tabt
[1]). I 1912 debuterede han som filminstruktør i filmen Kun en Tigger, hvor han desuden også havde skrevet manuskriptet og selv optrådte i rollen som en tigger. Denne blev lavet for Filmfabrikken Skandinavien, men i 1913 vendte han tilbage til Nordisk Film, hvor han blev indtil 1920. I tiden 1913-1919 indspillede han omkring 80 film. Hans første opgave hos Nordisk Film var overtagelse af filmen Elskovsleg fra August Blom, der selv var blevet for optaget af filmen Atlantis til at kunne færdiggøre den. Filmen fik premiere i 1914. Hans første egenproduktion for Nordisk Film var filmen Under Savklingens Tænder (1913) – som dog ikke var særligt vellykket.
Holger-Madsen har også den noget tvivlsomme ære at være den første filminstruktør der fik en film (Opiumsdrømmen – 1914) totalforbudt af Statens Filmcensur, den har derfor aldrig haft biografpremiere i Danmark. Lige før udbruddet af 1. verdenskrig instruerede han filmen Ned med Vaabnene!, en pacifistisk film baseret på novellen Die Waffen nieder! (1889) af den østrigske pacifist Bertha von Suttner. Filmen var planlagt til at have premiere på en verdensfredskonference i Wien i september, men pga. af filmens politiske retning fik den ikke premiere før senere i 1915 og var ikke særlig populær, i Tyskland blev den helt forbudt indtil krigens afslutning. Filmen anses som en af verdens første fredsfilm. Manuskriptet til filmen var skrevet af Carl Th. Dreyer, som indtil 1918 lavede yderligere fem manuskripter til Holger-Madsen. Med filmen Pax Æterna fra 1917 kom Holger-Madsen med endnu en pacifistisk film under krigen. Hans film Himmelskibet (1918) om en ekspedition der flyver til Mars i et "himmelskib" og der møder en fredelig civilisation er kendt som en af de første science fiction-film. Filmen var desuden endnu en pacifistisk film, lavet på opfordring af Nordisk Films direktør Ole Olsen, der ville prøve at bevæge de stridende parter i 1. verdenskrig til fred.
Omkring 1920 flyttede Holger-Madsen til Tyskland hvor han instruerede yderligere 13-14 film. I slutningen af 20'erne vendte han tilbage til Danmark, men han fandt det svært at omstille sin karriere fra stumfilm til tonefilm, alligevel forblev han med at arbejde med filmen op til midten af 30'erne.
Som instruktør var han kendt som en idealistisk men noget impulsiv og lunefuld person – endda beskrevet som "skør". Hans filmteknik var karakteriseret ved kreativ brug af filmvinkler og lys, ofte sidelys for derved at skabe en dybde i billederne, samt for hans detaljerede og smukke miljøbeskrivelser. Han beskæftigede sig gerne med spirituelle emner, som i hans måske mest vellykkede film Evangeliemandens Liv (1914).
I 1937 fik han en biografbevilling til en lille biograf (Enghave bio), som han drev frem til sin død. Han var gift med Rigmor Holger-Madsen.
Filmografi
Som skuespiller
Natten før Christians Fødselsdag (som Christian; instruktør Viggo Larsen, 1908)
Svend Dyrings Hus (instruktør Viggo Larsen, 1908)
Rulleskøjterne (ubekendt instruktør, 1908)
Urmagerens Bryllup (ubekendt instruktør, 1908)
I Forbryderhænder (instruktør Viggo Larsen, 1908)
Sherlock Holmes i Livsfare (som Raffles; instruktør Viggo Larsen, 1908)
Verdens Herkules (instruktør Viggo Larsen, 1908)
Capriciosa (instruktør Viggo Larsen, 1909)
Den svarte doktorn (som Evelyns far; ubekendt instruktør, 1911) (Sverige)
Det store Fald (som Brandt, bankkasserer; instruktør Christian L. Larsen, 1911)
Dødssejleren (som Prokurist Klein; Alfred Lind, 1912)
Kun en Tigger (som Gamle Johan, en tigger; egen instruktion; 1912)
Kattebaronessen (som Baron von Steinthal, samt Ole Enøje; ubekendt instruktør, 1913)
Den hvide Dame (egen instruktion; 1913)
Under Savklingens Tænder (som Sintram Grib, ågerkarl; egen instruktion; 1913)
Manden uden Fremtid (egen instruktion; 1916)
Folkets Ven (som Kurt Kamp, urmager; egen instruktion; 1918)
Har jeg Ret til at tage mit eget Liv? (som Teosofen, professor Arildt; egen instruktion; 1920)
Die sterbende Stadt (som Eusebius, generalens bror; egen instruktion; 1921)
Der Mann um Mitternacht (som Tore, fyrmester; egen instruktion; 1925) (Tyskland)
Krudt med Knald (som detektiven; instruktør Lau Lauritzen Sr., 1931)