Учился в школе-интернате близ Аугсбурга, получил техническое образование у производителя киноаппаратов Арнольд и Рихтер (ARRI), девять лет учился в консерватории, по окончании играл в джазовой группе.
После нескольких лет работы техником стал помощником кинооператора, а затем и сам стал снимать фильмы. Быстро стал известным, в том числе благодаря съемкам телесериала «Auf Achse» (1977), ряду эпизодов сериала «Tatort», а также кинолентам режиссёра Дитера Халлервордена «Didi auf vollen Touren» и «Didi — Der Experte».
Коммерчески успешным стал режиссёрский дебют Йозефа Вильсмаера, фильм «Herbstmilch» (1988), главную роль в котором сыграла его жена Дана Ваврова. Его второй фильм «Comedian Harmonists», история легендарного вокального ансамбля, вызвал ещё больший резонанс в обществе.
Критики же, напротив, проявили меньший энтузиазм в отношении режиссёрских работ Йозефа Вильсмаера. Его фильмы часто называли «коммерческим искусством» и критиковали за неполноту изложения исторических событий. Во многих своих фильмах Вильсмаер также выступал в качестве оператора-постановщика.
С Даной Вавровой он прожил в браке с 1986 по 2009 гг., вплоть до её смерти. Все его дочери (Джанина, Тереза и Джозефина) — профессиональные актрисы.
Во время съемок фильма «Der letzte Zug» в Праге в результате падения камеры Вильсмаер получил травму. Работу режиссёра взяла на себя Дана Ваврова, сам Вильсмаер лишь частично участвовал в съемках. В 2006 г. за фильм «Der letzte Zug» Вильсмаер и Ваврова получили специальный приз жюри на ежегодной церемонии награждения немецких деятелей кино «Bayerischer Filmpreis».
21 июня 2009 Вильсмаер получил почетную премию за выдающийся вклад в развитие операторского искусства.