Habib Luthfi bin Yahya menikah dengan syarifah Salma bin Hasyim bin Yahya dan dikarunia lima orang anak.
Kelima anaknya yakni Syarif Muhammad Bahauddin, Syarifah Zaenab, Syarifah Fathimah, Syarifah Ummi Hanik, dan Sayyid Muhammad Husain Syarif Hidayatullah.
Habib Luthfi bin Yahya sendiri memiliki jalur yang bersambung hingga Rasulullah SAW baik dari jalur sang ayah maupun sang ibu.
Berikut nasab Habib Luthfi bin Yahya dari jalur Ibu
1. Nabi Muhammad SAW
2. Sayidatina Fatimah az-Zahra + Amirul Mukminin Ali bin Abi Thalib KWJ
3. Imam Husain ash-Sibth
4. Imam Ali Zainal 'Abidin as-Sajad
5. Imam Muhammad al-Baqir