Погостить в Вороново приезжала из городу Парижу очень популярная в те времена писательница мадам де Сталь, сын знаменитого экономиста Артур Юнг в 1805 году также почтил своим вниманием усадьбу.
Веселая, интересная, разнообразная жизнь текла в Воронове вплоть до июня 1812 года.

29 мая Ростопчин был назначен главнокомандующим Москвы, а 24 июня началась Отечественная война.
Когда русская армия, оставив Москву, двигалась на Тарутино, Ростопчин приехал в усадьбу и поджег её, чтобы не досталась неприятелю.

Здесь начитаются загадки. По словам очевидцев, среди пепла и развалин главного усадебного дома не было, пусть и обгоревших, скульптур из мрамора и бронзы. Накануне поджога, граф на телегах отправил своих дворовых в Липецкое поместье отца. Но, никаких сундуков с ценностями в этом обозе замечено не было. Отсюда и пошли слухи, что все свои несметные богатства он спрятал в подземных ходах усадьбы

Историки говорят о наличии глубоких подземных лабиринтов, соединяющих усадебные строения. Подземные постройки действительно находили на этой территории, но секрет клада Ростопчина до сих пор не раскрыт…

После окончания войны, граф подавал прошение царю о денежной помощи за утраченное поместье, но царь отклонил его в связи с тем, что высшее Московское общество было уверено, что большую часть своих богатств Ростопчин спрятал.

Но если клад был спрятан в подземелье, почему же после ухода французов граф не вскрыл тайник? Он просто не мог этого сделать, т.к. поджёг не только свой прекрасный дворец, но и отдал приказ о поджоге Москвы (хотя сам Ростопчин это всегда отрицал). И многие москвичи, потерявшие свое имущество, требовали от Ростопчина компенсации.
Так что, графу никак нельзя было раскрывать свои ценности. В 1815 году он вышел в отставку и уехал в Париж.