از آن پس، امام جواد (ع) با همسرش به مدينه بازگشت، و حدود پانزده سال با همسرش در مدينه بود.

ولي ام الفضل، عقيم (نازا) بود و همين باعث شد كه امام جواد (ع) با كنيز مغربيه بنام سمانه (مادر امام دهم) ازدواج نمايد. همين باعث شد كه ام الفضل، طريق نزاع و مخالفت را با امام شروع كرد، براي پدرش مأمون نامه نوشت و در آن نامه از امام جواد شكايت كرد كه او كنيزي بر سر من مي آورد (و براي من هوو درست مي كند) و غيرت مرا جريحه دار مي سازد.

مأمون در جواب نوشت: «دخترم من تو را همسر حضرت جواد (ع) نكردم كه حلال را بر او حرام كنم، و بعد چنين شكايتي را تكرار مكن». [1] .