Михаил Матвеевич Херасков создал здесь в 1778 году свою героическую (ироическую, как тогда говорили) поэму «Россиада» — (первую эпическую поэму русской литературы, кстати) о взятии войсками Ивана Грозного Казани, Гавриил Державин написал в Гребневе в 1779 году стихотворение «Ключ».

А вскоре в усадьбу зачастил очень странный человек, — звали его Иоганн Георг Шварц.
Был он профессором философии МГУ и единственным Верховным представителем Розенкрейцеров в России. Главной миссией Щварца была передача своих тайных знаний собратьям по Ордену.

Преследования Екатерины могли сорвать этот ритуал, и тогда сакральные знания были бы безвозвратно утрачены.

Щварц написал трактат и, как гласит легенда, спрятал его в Гребневе. Нашел кто-то эти записи или нет, остаётся загадкой по сей день.

За несколько лет до своей смерти Екатерина разгромила орден Розенкрейцеров.
Н.Н.Трубецкой и М.М.Херасков были удалены от двора и высланы из обеих столиц, Н.И.Новиков заточён в Шлиссельбургскую крепость.

Почти все их деньги уходили на благотворительность и издание просветительских журналов, а на содержание Гребнева их уже не хватало, поэтому усадьбу пришлось продать генералу Гавриле Ильичу Бибикову, шурину фельдмаршала М.И. Кутузова.

Именно при нём усадьба начинает приобретать вид, дошедший до наших дней.
Генерал Бибиков посвятил обустройству усадьбы двадцать два года, за это время в 1780-90 г.г. возводится главный усадебный дом в классическом стиле с элементами готики, задуманный как Римский Пантеон, и летняя церковь, построенная архитектором Иваном Ветровым (Иоанном Веттером), освящённая в честь Гребневской иконы Божией матери в 1791 году митрополитом Платоном.