وقال أبو يعلى الخليلي في الإرشاد: إنه توفي سنة اثنين وأربعمائة.
قال عبد الواحد اللخمي: أصاب سهل الصعلوكي رمد، فكان الناس يدخلون عليه، وينشدونه من النظم، ويروون له من الآثار ما جرت به العادة، فدخل عليه أبو عبد الرحمن السلمي، وقال: أيها الإمام، لو أن عينيك رأتا وجهك ما رمدتا، فقال له الشيخ: ما سمعت بأحسن من هذا الكلام، وسر به.
ولما مات أبوه محمد بن سليمان كتب أبو النصر بن عبد الجبار إلى أبي الطيب المذكور يعزيه عن والده:[من البسيط]
مَنْ مُبلغ شيخ أهل العلم قاطبةً … عنِّي رسالة محزون وأَوَّاهِ