[[Provincial]] je ukazal Janezu, da se vrne v Medino, čemur se je Janez uprl. Sobratje so ga 3. decembra 1578 prijeli in odvedli v [[Toledo]], kjer je bil več kot 9 mesecev [[zapor|zaprt]] v tesno in zatohlo celico. Preživljal je tudi dodatne kazni, kot so bile predividene za najhujše zločine. Sredi trpljenja je prejel [[nebesa|nebeško]] tolažbo. Nekaj njegove izjemne [[poezija|poezije]] izvira iz tega obodobja. Avgusta 1578 je uspel pobegniti. Nekaj naslednjih let je bil zaposlen z ustanavljanjem in vodenjem samostanov v [[Baeza|Baezi]], [[Granada|Granadi]], [[CordobaCórdoba, Španija|Kordobi]], [[Segovia|Segovii]] in drugod. V pogajanjih, ki so vodila v ustanovitev ločenega vodstva za bosonoge kameličane, ni imel pomembne vloge. Po Terezijini smrti 4. oktobra 1582 sta se dve struji borili za prevlado. Janez je podprl [[Jerome Gratian|Jeromesa Gratiana]] in ne [[Nicholas Doria|Nicholasa Dorie]] in nato delil Gratianovo usodo. Za nekaj časa je zasedel mesto vikarja južne province Andaluzije. Ko je Doria spremenil vodstvo reda tako, da je dal vso moč stalemu odboru, se je Janez uprl. Podpiral je nune v njihovem trudu zavarovati papeževo odobritev njihovih [[konstitucija|konstitucij]], zato se je izpostavil nezadovoljstvu nadrejenega. Ta ga je prikrajšal za njegovo delovno mesto in ga poslal v enega najbolj revnih samostanov, kjer je resno zbolel. Eden od njegovih nasprotnikov je takoj šel od samostana do samostana, da bi zbral obtožbe, upajoč doseči Janezovo [[izključitev]] iz reda, ki ga je ta pomagal ustanoviti.
