آن حضرت هنوز چند بهار از عمر شريفش را نمي گذراند كه امام رضا عليه السلام از مدينه عازم مكه، و از آنجا به خراسان عزيمت كرد، از آنجا كه مأمون مي خواست امام رضا عليه السلام را زير نظر خود داشته باشد، آن حضرت را به مقر خلافتش دعوت كرد، و امام بر خلاف خواستش رو به ديار غربت نهاد، و خاندان خود را در مدينه تنها گذارد.

مسعودي در اثبات الوصية از گروهي از اصحاب نقل مي كند كه از امام رضا عليه السلام نقل كرده اند كه فرمود : هنگام خروج از مدينه خاندانم را گرد آورده و از ايشان خواستم بر من گريه كنند تا گريه ي آنان را بشنوم، آنگاه دوازده هزار دينار بين ايشان تقسيم كردم چرا كه مي دانستم هرگز به سويشان باز نمي گردم، گويد : سپس آن حضرت دست فرزندشان را گرفته و داخل مسجد پيامبر نمودند و دست فرزند را روي قبر نهاده و او را به پيامبر اكرم صلي الله عليه و آله و سلم سپردند، و از ايشان خواستند وي را حفظ فرمايد، امام جواد عليه السلام فرمود : پدرم تو به سوي خدا مي روي، آنگاه امام رضا عليه السلام به تمام وكلايش امر كرد كه از امام جواد عليه السلام اطاعت كرده و با او مخالفت ننمايند، و به جانشيني او نزد آنان تصريح كرد. [1] .

چهار يا پنج سال گذشت كه امام رضا عليه السلام در شهر غربت مسموم و شهيد گرديد، امام جواد عليه السلام در همان روز خبر شهادت پدر بزرگوارش را به خانواده اش اطلاع داد، لحظاتي قبل از شهادت آن حضرت به طور معجزه آسا نزد پدر بزرگوارش حاضر شده و غسل و كفن نمودن ايشان را شخصا انجام داد.

قبل از آنكه آن حضرت دعوت مأمون را بپذيرد سفري به مكه نمود، آن حضرت همراه فرزندش طواف مكه را انجام دادند، پس از طواف به كناري رفتند تا نماز بخوانند، امام جواد عليه السلام به حجر اسماعيل رفته و مدتي در آنجا نشست، يكي از غلامان امام از ايشان خواست كه از آنجا برخيزند، اما امتناع نمود، تا اينكه امام رضا عليه السلام شخصا نزد ايشان رفتند و فرمودند : اي محبوبم برخيز، عرضه داشت : نمي خواهم از اينجا برخيزم، چگونه از جايم برخيزم در حاليكه به گونه اي كعبه را وداع گفتي كه گويا ديگر هرگز بدان باز نمي گردي، فرمودند : اي محبوبم برخيز، و امام برخاست. [2] .