بعد قتل محمد الأمين، فلما ظهر قواد المأمون استخفى فلم يزل كذلك مدة طويلة إلى أن قدم المأمون بغداد، ثم ظهر عليه فعفا عنه فعمل فيه أشعارا وشكلة من سبى دنباوند قتل أبوها شاهمرد وسبيت هي وبخترية أم منصور بن المهدي، فوهبها المنصور لمحياة أم ولد له فوهبتها للمهدي وولد إبراهيم بن المهدي غرة ذي القعدة سنة اثنتين وستين ومائة وتوفي في أول سنة أربع وعشرين ومائتين، وقيل في آخر سنة ثلاث وعشرين بسر من رأى.
حدثنا يموت بن المزرع قال حدثني الجاحظ قال أرسل إلى ثمامة يوم جلس المأمون لإبراهيم بن المهدي، وأمر بإحضار الناس على مراتبهم فحضروا، فجيء بإبراهيم في قيد فسلم، فقال له المأمون: لا سلم الله عليك، ولا حفظك فقال: على رسلك يا أمير المؤمنين، فلقد أصبحت ولي ثأري، والقدرة تذهب الحفيظة، ومن مدله في الأمل هجمت به الأناة على التلف، وقد أصبح ذنى فوق كل ذنب، وعفوك فوق كل عفو، فإن تعاقب فبحقك، وإن تغفر فبفضلك فقال له المأمون إن هذين أشارا علي بقتلك وأومأ إلى المعتصم وإلى ابنه العباس فقال قد أشارا بما يشار بمثله في مثلي، وما غشاك في عظم الخلافة ولكن الله دعوك من العفو عادة، فأنت تجري عليها دافعا ما تخاف بما ترجو، فقال: أطلقوا عمي، فقد عفوت عنه.