Счастливое было время! Однако из-за болезни матери детям приходилось время от времени жить у родственников сначала в Москве, затем в Петербурге; а с 1841 года Петр надолго обосновался в Петербурге, учась в школе гвардейских подпрапорщиков и затем, с 1845 года, в университете. Лето он проводил в Подосинках - имении дяди, Михаил Николаевича, близ Урусова.
