Meski ANO dinyatakan sebagai bagian dari NU, secara formal organisatoris belum tercantum dalam struktur organisasi NU.
Baca Juga: Fenomena Gerhana Matahari Cincin Api Pertama pada 2021, Simak Tanggalnya
Hubungan ANO dengan NU saat itu masih bersifat hubungan pribadi antar tokoh.
Baru pada Muktamar NU ke-9 di Banyuwangi, tepatnya pada tanggal 10 Muharram 1353 H atau 24 April 1934, ANO diterima dan disahkan sebagai bagian (departemen) pemuda NU.
dengan pengurus saat itu antara lain: Ketua H.M. Thohir Bakri; Wakil Ketua Abdullah Oebayd; Sekretaris H. Achmad Barawi dan Abdus Salam.
Dalam perkembangannya secara diam-diam khususnya ANO Cabang Malang, mengembangkan organisasi gerakan kepanduan yang disebut Banoe (Barisan Ansor Nahdlatul Oelama) yang kelak atau saat ini disebut BANSER atau Barisan Serbaguna.
Dalam Kongres II ANO di Malang tahun 1937. Di Kongres ini, Banoe menunjukkan kebolehan pertama kalinya dalam baris berbaris dengan mengenakan seragam dengan Komandan Moh. Syamsul Islam yang juga Ketua ANO Cabang Malang.
Sedangkan instruktur umum Banoe Malang adalah Mayor TNI Hamid Rusydi, tokoh yang namaya tetap dikenang dan bahkan diabadikan sebagai nama salah satu jalan di kota Malang.
Salah satu keputusan penting Kongres II ANO di Malang tersebut adalah didirikannya Banoe di tiap cabang ANO.
Selain itu, menyempurnakan Anggaran Rumah Tangga ANO terutama yang menyangkut soal Banoe.
Pada masa pendudukan Jepang organisasi-organisasi pemuda diberangus oleh pemerintah kolonial Jepang termasuk ANO.
Setelah revolusi fisik (1945 – 1949) usai, tokoh ANO Surabaya, Moh. Chusaini Tiway, melempar mengemukakan ide untuk mengaktifkan kembali ANO.