لما عاد الخطيب من رحلته إلى الحجاز استقر في حجرة بباب المراتب في درب السلسلة بجوار المدرسة النظامية، وأخذ يلقى دروسه في حلقته بجامع المنصور، وفي حجرته أحيانا.
وقد مرض الخطيب في رمضان سنة ٤٦٣ هـ، فأوصى بتفريق ثروته، ووقف كتبه على المسلمين وسلمها إلى أبي الفضل بن خيرون ليعيرها لمنيطلبها.
وفي يوم الاثنين سابع ذى الحجة سنة ٤٦٣ هـ، توفى الخطيب البغدادي، وشيعت جنازته وحضرها العلماء والكبراء، ودفن في مقبرة باب حرب في جوار بشر الحافى. (٢)