وتوفي يوم السبت لثلاث عشرة ليلة بقيت من جمادى الأولى سنة إحدى وتسعين ومائتين ببغداد. وقيل: إنه قال: رأيت المأمون لما قدم من خراسان في سنة أربع ومائتين، وقد خرج من باب الحديد يريد الرصافة، والناس صفان، فحملني أبي على يده، وقال هذا المأمون، وهذه سنة أربع، فحفظت ذلك عنه إلى الساعة.
وكان سبب وفاته أنه خرج من الجامع يوم الجمعة بعد العصر، وكان قد لحقه صمم لا يسمع إلا بعد تعب، فصدمته فرس فألقته في هوة، فأخرج منها وهو كالمختلط، فحمل إلى منزله على تلك الحال، وهو يتأوه، فمات ثاني يوم.