誰もが羨む中学時代を過ごした吉沢だが、高校時代に入るとその人間関係は一変する。都立高校へ進学したものの、中学時代の栄光とは対照的に、本人が「全くモテなかったし、友達も少なかった」と振り返る内向的な時期を迎えたのだ。休み時間は誰とも話さず席で本を読んだり、携帯電話を眺めたりして過ごす日々だったと明かしている。
その後、芸能活動の本格化に伴い、多くの芸能人を輩出してきた日出高校(現・目黒日本大学高校)の通信制・芸能コースへ編入することになる。この環境の変化が、彼の精神的な成熟を促した。華やかな外見とは裏腹に、自身の内面に潜む鬱屈や孤独感を直視した経験は、後の俳優人生において「陰のあるキャラクター」や「複雑な心理描写」を演じ分ける上での貴重な糧となった。キラキラした学生生活を送れなかったという自負が、現在の地に足のついた謙虚なパーソナリティを形成している。