Josef Wirmer kam am 19. März 1901 in Paderborn als zweiter von fünf Geschwistern zur Welt. Bereits während seiner Gymnasialzeit im westfälischen Warburg galten seine Interessen den politischen und sozialen Problemen seiner Zeit. Nach Erlangung der Hochschulreife mit Auszeichnung studierte er ab dem Jahre 1920 Rechtswissenschaften, zunächst an der Universität Freiburg, ab dem Wintersemester 1921 an der Universität Berlin. In der Hauptstadt ließ sich Wirmer im Jahre 1928 als Rechtsanwalt nieder. In Absetzung von den immer noch dominanten monarchischen Auffassungen engagierte er sich dezidiert für die Demokratie, was ihm nicht nur unter Anwälten den Spitznamen „der rote Wirmer“ eintrug. Als Mitglied der Zentrumspartei sowie der Katholischen Aktion zählte er sich zu deren linken Flügel.

Mit der „Machtergreifung“ Adolf Hitlers am 30. Januar 1933 begann im politischen Leben Wirmers ein neues Kapitel. Hatte er durch sein Engagement in der katholischen Laienbewegung sich bereits den Hass der Nationalsozialisten zugezogen, erklärte er im Jahre 1933, ein „Feind Hitlers“ zu sein. Obwohl er seine berufliche Existenz gefährdete, verteidigte er politisch Verfolgte, Katholiken und Juden. Er zeichnete sich durch Zivilcourage aus. Auch musste er seine Familie finanziell durchbringen.