Goger wurde 1931 Mitglied der NSDAP, 1935 wurde er Propagandaleiter für die nun illegale Partei im Burgenland – er stand dem Gauleiter Tobias Portschy nahe. Goger verfasste in dieser Funktion zahlreiche Artikel für die illegale Parteipresse sowie Propagandamaterial. Nach der Auflösung des Burgenlandes wurde er Amtsleiter und Landeskulturwalter des Reichsgaues Niederdonau, kurz darauf auch Leiter des Gaupropagandaamtes – eine Funktion, die er bis 1945 ausübte.
Ab 1949 arbeitete Goger als Bauarbeiter und als Vertreter. Nachdem er die Lehramtsprüfung für Englisch ablegte, war er ab September 1956 Lehrer an der Städtischen Handelsschule in Oberwart und Erzieher am Bundeskonvikt Oberschützen. Er studierte in Wien für das Lehramt an Höheren Schulen und unterrichtete dann bis zu seiner Pensionierung 1974 am Bundesrealgymnasium Oberschützen. Goger war auch im Volksbildungsbereich sehr aktiv.