Pasukannya berhasil merebut kembali Padang dan Bukittinggi, dan keberhasilan ini menyebabkan ia dipromosikan menjadi wakil kepala Angkatan Darat ke-2 staf pada 1 September 1962.
Kemudian Kepala Angkatan Darat stafnya pada 13 November 1963 (otomatis menjadi anggota kabinet), menggantikan Jenderal Nasution.
Sebagai Presiden, Soekarno bergerak lebih dekat ke Partai Komunis Indonesia (PKI) di awal 60-an.
Yani yang sangat anti-komunis, menjadi sangat waspada terhadap PKI, terutama setelah partai ini menyatakan dukungannya terhadap pembentukan kekuatan kelima (selain keempat angkatan bersenjata dan polisi).
dan Sukarno mencoba untuk memaksakannya Nasakom (Nasionalisme-Agama-Komunisme) doktrin di militer.
Keduanya, Yani dan Nasution menunda-nunda ketika diperintahkan oleh Soekarno pada tanggal 31 Mei 1965 mempersiapkan rencana untuk mempersenjatai rakyat.
Pada dini hari 1 Oktober 1965, Gerakan 30 September mencoba untuk menculik tujuh anggota staf umum Angkatan Darat.
Sebuah tim dari sekitar 200 orang mengepung rumah Yani di Jalan Latuhahary No. 6 di pinggiran Jakarta Menteng, Jakarta Pusat.
Biasanya Yani memiliki sebelas tentara menjaga rumahnya. Istrinya kemudian melaporkan bahwa seminggu sebelumnya tambahan enam orang ditugaskan kepadanya.
Orang-orang ini berasal dari komando Kolonel Latief, yang diketahui Yani, adalah salah satu komplotan utama dalam Gerakan 30 September.