Geboren im Jahr 1936 in Salzburg, verbrachte Wilfer seine Jugend und seine prägenden Musikerjahre in Wien. Als Zweijähriger war er mit seiner Familie dorthin übersiedelt. Nach dem Zweiten Weltkrieg lernte er in Wien im Kontakt mit US-Soldaten den Jazz kennen und lieben. Im Jahr 1959 begann Wilfer dann seine Karriere als Jazzpianist.

Dabei spielte er mit Größen wie Fatty George, Lionel Hampton, Joe Zawinul und Friedrich Gulda. Sogar mit Jazz-Weltstars wie Louis Armstrong und Ella Fitzgerald trat Wilfer auf. Das sei ein Highlight seines Lebens gewesen, erzählte Wilfer in einem Interview im Jahr 2019.
Mit Weltstars aufgetreten
„Für einen jungen Jazz-Musiker ist es natürlich sehr aufbauend, wenn ein Weltstar einen akzeptiert. Ella war damals in Wien, weil sie auf einer Welttournee war – und wo geht ein ‚Jazzer‘ hin? – natürlich in einen Jazzclub. Das war damals Fatty’s saloon in Wien. Und alle amerikanischen Weltstarts haben damals gesagt: So ein Lokal haben wir in unserem ganzen Leben noch nicht gesehen.“
Seit 1970 in St. Michael gelebt
Seit dem Jahr 1970 lebte Wilfer in St. Michael (Lungau) und ging von dort aus international auf Tour. Seine Neujahrskonzerte in Mauterndorf waren jahrelang ein Fixpunkt und kulturelles Highlight im Lungau.

Wilfers letzter Auftritt samt CD-Aufnahme war im Jahr 2021 bei den Bruckner-Tagen in St. Florian (Oberösterreich). Sein Tod am Freitag nach kurzer, schwerer Erkrankung kam für die Familie unerwartet. Die Trauer in der Musikszene ist groß.