Вскоре по возвращении из-за границы Матвеев женился на дочери кузнечного мастера Канцелярии от строений Ирине Степановне Антроповой, двоюродной сестре своего ученика Алексея Антропова. В это время ему было двадцать семь лет, а ей — четырнадцать. Тогда и была создана лучшая, известнейшая и вызывающая множество споров работа художника - "Автопортрет с женой".

Жила молодая семья, при всей загруженности мастера, совсем небогато. И только когда у них уже было троедетей — Евдокия, Иван и Мария, — художник в 1734 г. сумел купить дом, да и то ходатайствовал о выдаче задержанного жалования и даже указывал, что новорожденную дочь «в христианскую веру ввести чем не имеет». Младший сын, родившийся в 1736 г., обучался живописи в академии, потом служил у генерал-прокурора князя Вяземского и получил дворянский чин. Это он сохранил и подарил в 1808 г. императорской Академии художеств портрет родителей — самое замечательное произведение отца.

Эта работа является единственной картиной этого жанра в русском искусстве первой половины ХVIII века. Время для размышлений над личностью художника в России тогда еще не пришло, и лишь у живописца, воспитывавшегося за границей 11 лет и только что вернувшегося на родину, мог возникнуть подобный замысел. Возникнуть — и остаться незавершенным, как, повидимому, и произошло с произведением Матвеева.

Это первый автопортрет в русской живописи, свидетельство самосознания и высокой самооценки своей роли художника, творца в стране и среде, где художник практически ничем не отличался от ремесленника. Это первое произведение камерной лирической живописи, говорящее о любви с небывалой пылкостью, трепетностью и целомудренностью.

Впервые русский художник решается привлечь внимание к своей персоне и столь открыто заявить о своих чувствах. Впервые предметом изображения становятся нежно-любовные отношения между супругами. Наивно-трогательная гордость за себя, свою юную супругу, за свое искусство, за саму возможность так писать, пронизывает это творение художника. В Петровской эпохе было немало дурного и страшного, этот портрет — символ всего доброго, что она принесла с собой.

В "Автопортрете с женой" Матвеев воплотил, своего рода, видение значения личности художника, свое достоинство, свое место в жизни. Перед нами человек Петровской эпохи, свидетель культурного подъёма России, осознающий свою нужность и гордый этим.

Супруги изображены по пояс, на фоне облачного неба. Они как бы прогуливаются, при этом лица их обращены к зрителю, словно, заметив его, они остановились на мгновение для приветствия. Выходцы из средних слоев общества, они одеты в изысканные и дорогие платья, по придворной моде, но на их лицах вовсе нет самодовольного или надменного выражения. Напротив, они исполнены благородной простоты и того достоинства, которое свойственно людям, достигшим своего положения собственными талантами и трудами.

Ирина Матвеева пленяет своей молодой свежестью и нежным румянцем. Лицо ее мужа замечательно смелым, энергичным, умным выражением, которое кажется воплощением светлых сторон Петровской эпохи.

После смерти художника его вдова вышла замуж вторично, передав новому супругу все нажитое Матвеевым состояние. Вот почему у младшего сына художника, Василия, единственным наследством от отца остался этот неоконченный двойной портрет, который он незадолго до своей смерти, в 1808 году, принес в дар Академии художеств. Надпись на обороте картины, сохраняющаяся доныне, гласила: «Матвеев, Андрей, первый Русский живописец и его супруга. Писал сам художник«.