Byen ligger i MittelgebirgeneBayerischer Wald i en højde mellem 600 og 700 Metern moh. lige ved Nationalpark Bayerischer Wald. Langs den østlige og sydlige udkant af byen løber floden Kleine Ohe. Den er opstemmet til en kunstig sø, anlagt i 1976 som ligger i en sprts og oplevelsespark i byen.
Til Grafenau hører, ud over hovedbyen, landsbyerne Neudorf, Lichteneck, Haus im Wald, Großarmschlag, Rosenau, Schlag, Elsenthal- Siedlung, Gehmannsberg og Grüb.