В начале XVII века царь Михаил Федорович пожаловал князьям Черкасским земли вблизи Москвы, которые вплоть до XIIX века сохранили название "Черкасских огородов". "Черкасские огороды" занимали огромную площадь "за Содовой улицей" и распространялись до Земляного вала, Марьиной рощи и Останкина.

Когда одна из самых богатых невест в тогдашней России - княжна Варвара Алексеевна Черкасская выходила замуж за графа Петра Борисовича Шереметьева, она принесла с собой в приданое более 80000 душ крестьян, кроме несметных богатств, нажитых, между прочим, князьями Черкасскими и в Сибири. Графу П. Б. Шереметьеву, по жене, достались все ближние к Москве отличнейшие имения канцлера князя Черкасского, простиравшиеся от Москвы чуть не до Коломны. В числе этих имений было и весо Вишняково, некогда принадлежавшее Шереметьевы и отошедшее от них в князьям Одоевским, а через княжну Черкасскую снова возвратившееся в род Шереметьевых.

За княжной В. А. Черкасской граф П. Б. Шереметьев получил и знаменитое село Останкино под Москвой с великолепно отделанным домом, богатой утварью, садами и обширными прудами. Эта усадьба начиналась за Сухаревой башней, граничила с Мещанской слободой, а с другой стороны включала земли, по которым позже проходили Грохольские переулки.

Это была глухая окраина Москвы. Когда-то здесь были загородный дом да деревянная церковь св. Ксении, которая сгорела в 1684 году. На ее месте была возведена тоже деревянная церковь, которая просуществовала до 1800 года. При церкви св. Ксении призревались больные - "48 его графского сиятельства престарелых служителей и дворовых людей". Таковы истоки "Странноприимицы".

В 1792 году по заказу графа Николая Петровича Шереметьева началось строительство дома. По замыслу его жены, бывшей крепостной актрисы Прасковьи Ивановны Ковалевой-Жемчуговой, он предназначался для Странноприимного дома.

По уставу в дом "принимались совершенно бесплатно лица обоего пола и всякого звания неимущие и увечные" (за исключением крепостных, так как о них должен заботится их владелец).

Странноприимный дом был рассчитан приблизительно на 100 человек: в богадельни - 50 человек и 50 человек - в больнице. Проект и смета постройки были выполнены московским архитектором Елизвоем Семеновичем Назыровым (1747-1822), который первоначально и осуществлял строительство.

До 1801 года на строительстве Странноприимного дома была израсходована огромная сумма - более 142 тысяч рублей; по распоряжению графа на дальнейшее строительство были направлены штрафные деньги с крепостных крестьян.

Строился Странноприимный дом медленно. Архитектор Е. С. Назыров, который руководил работами, постоянно расширял и уточнял проект в связи с новыми пожеланиями заказчика. Кроме того, одновременно шло строительство дворца в Останкине, где консультантом был тот же Е. С. Назыров. Дом был наполовину готов, когда скончалась графиня Прасковья Ивановна Шереметьева.

Решив превратить дом в памятник покойной жене и считая, что назаровский проект не соответствует этому замыслу, Шереметьев в 1803 году привлек к работе петербургского архитектора Джакомо Кварнеги (1744-1817).

Перед зодчим стояла очень сложная задача. В наполовину готовое здание он должен был внести новые черты, которые сделали бы его вдохновенным памятником русской женщине, ее таланту и доброте.