Gus Yahya dikenal dekat dengan Gus Dur. Dirinya pernah ditunjuk menjadi Juru Bicara Presiden sewaktu Gus Dur berkuasa pada 1999-2001.
Setelah itu, Gus Yahya sempat aktif di PKB, tapi kemudian memilih lebih menekuni bidang pendidikan. Mantan Anggota Dewan Pertimbangan Presiden (Wantimpres) 2014-2019 ini kerap menjadi pembicara internasional di luar negeri.
Seperti pada Juni 2018, Gus Yahya menjadi pembicara dalam forum American Jewish Committee (AJC) di Israel menyuarakan menyerukan konsep rahmat, sebagai solusi bagi konflik dunia, termasuk konflik yang disebabkan agama.
Terkini Gus Yahya resmi menjadi Ketua Umum PBNU yang di mana sebelumnya dirinya miliki keinginan untuk membuat NU sendiri menjadi model peradaban di masa depan.***