Im 6. Januar 1961 konnte man erstmals in der Vereinsgeschichte keinen 1. Vorsitzenden finden. In der für den 22. Januar 1961 angesetzten 2. Generalversammlung trat nun Michael Berchtold das schwere Amt an. Trotz Bemühungen der Mannschaft und der Vorstandschaft konnte der Abstieg in die A-Klasse nicht verhindert werden. Doch bereits 1962 gelang in einem Entscheidungsspiel gegen Garmisch der Wiederaufstieg in die II. Amateurliga.
Mit einer neuen Vereinsführung, an der Spitze Albin Baumgärtner, wollte man das schier Unmögliche doch noch wahr machen: Sicherung des Klassenerhaltes, nachdem man in der Winterpause 1963 abgeschlagen an letzter Stelle stand. Obwohl einige Lichtblicke zu verzeichnen waren, musste man nach einem Entscheidungsspiel gegen Wasserburg, mit dem neuen Trainer A. Wallertshauser, zurück in die A-Klasse.

Am 6. Januar 1964 wurde Albin Baumgärtner wiedergewählt. Der FC Penzberg wurde in seiner 44-jäbrigen Vereins Geschichte zum neunten Mal Zugspitzmeister, was zugleich den Wiederaufstieg in die II. Amateurliga bedeutete.
Die I. Mannschaft eroberte sich 1965 mit Josef Baumgärtner als Trainer einen guten 3. Tabellenplatz und die 1. Schülermannschaft wurde Meister der Gruppe Weilheim.
1966 löste Lorenz Baumgärtner seinen Bruder als Trainer ab. Die Abberufung einiger Leistungsträger zur Bundeswehr bereitete Probleme. Dennoch erreichte man 1967 einen guten Mittelfeldplatz. Das Problem Platz und Haus mußte ebenfalls baldmöglichst gelöst werden, da die Sportanlage auf Grund der Stillegung des Kohlenbergwerkes Penzberg zum Verkauf angeboten wurde.
In der Generalversammlung 1968 musste man im Hinblick auf den Erwerb der Sportanlage die Mitgliedsbeiträge von DM 1,- auf DM 2,- erhöhen. Nach 10 Jahren wurde in Sportlehrer Schramm wieder einmal ein auswärtiger Trainer verpflichtet.
Nach schwierigen Verhandlungen mit der Oberkohle wurde der FC, vertreten durch den damaligen Vorsitzenden Albin Baumgärtner, am 19. Oktober 1968 Eigentümer von Sportgelände und Haus. Ein denkwürdiges Jahr in der Chronik des Vereines

1969 wurde anlässlich des 50-jährigen Stadtjubiläums eine neue Vereinsfahne gekauft und die Spieler mit neuen Trainingsanzügen eingekleidet. Sportlicher Höhepunkt war ein Pokalturnier an dem folgende Mannschaften teilnahmen: TUS Ahlen, VfL Berlin Schöneberg, Stadtauswahl Penzberg und FC Penzberg. Bereits vor Beendigung der Spielsaison 1968 /1969, in der man den 10. Tabellenplatz belegte, übernahm Georg Köbler das Amt des Trainers.

Im Jahre 1970 startete man mit Anton Sägmüller jun. als 1. Vorsitzenden in das Jubiläumsjahr. Höhepunkte waren der große Festabend in der Stadthalle und das Jubiläumsspiel gegen die Regionalliga-Mannschaft des SSV Reutlingen.

Das Bild zeigt die 1. Mannschaft im Jubiläumsjahr 1970
Von links nach rechts: Maurer, Leiko, Kern, E. Sägmiiller, Batton, Lichtenegger, Haase, Hamperl, Krebs und E. Baumgärtner.