Keberhasilan ki sarmidi mangunsarkoso menjadi seorang guru tidak lantas membuatnya berpuas diri.Seorang guru tidak lantas membuatnya berpuas diri.ia pun tidak mencukupkan pengabdiannya hanya dalam bidang pendidikan. Sebagai bagian dari kaum muda terpelajar yang tercerahkan, ia aktif dalam dunia pengerakan politik kebangsaan untuk mencapai cita cita kemerekaan. Ia mengawali kiprah di dunia pergerakan ketika masuk dalam organisasi yang pernah menjadi media bagi kisarmidi untuk mewujudkan semangat pergerakan antara lain young theoshopical society, kridho watjono, Islam studie Club, dan Partai Nasional Indonesia (PNI), baik versi sebelum maupun pascakemerdekaan. Ki Sarmidi Mangunsarkoro bahkan terlibat sebagai pembicara dalam Kongres Pemuda pada 1928 yang melahirkan kesepakatan monumental, yaitu Sumpah Pemuda. Selain itu, lantaran kemampuannya, ia dipercaya terlibat dan memimpin lembaga-lembaga resmi pemerintah seperti Komite Nasional Indonesia Pusat, Kementerian Pendidikan Pengajaran dan Kebudayaan, delegasi Indonesia dalam Sidang Umum PBB dan lain-lain.