Чтобы заглушить боль утраты, Петр Петрович полностью посвящает себя работе, но место, где он был счастлив, не забывает никогда, и после смерти Екатерины Михайловны Кареевой, воспитательницы его жены и сына, он покупает имение в деревне Гремячка, которое становиться постоянным местом пребывания семьи Семеновых летом.
Только через 10 лет, в 1861 году, Петр Петрович решается создать новую семью и женится на Елизавете Андреевне Заблоцкой-Десятовской, 19-летней дочери Андрея Парфеновича Заблоцкого-Десятовского, государственного деятеля, экономиста, статистика.
Елизавета Андреевна стала верным другом и неизменным спутником Петра Петровича.
У них было шестеро детей Ольга, Андрей, Вениамин, Валерий, Измаил, Ростислав. Седьмой ребенок, Мануил, умер в младенчестве. Каждый из детей Петра Петровича унаследовал какую-то часть его таланта. А это великое счастье для отца.
намеренно составлял в дополнение к императорской эрмитажной. Он собирал ее в течение 50 лет на скромные средства.
