Дмитрий Дмитриевич Гуров рано женился, жену не любит, детьми скорее тяготится. Он не упускает случая завести роман на стороне. На отдыхе в Ялте он обращает внимание на даму, прогуливающуюся по набережной с собачкой. Она молода, из хорошего общества, замужем; она замкнута и ни с кем не знакомится. Гурову удается заинтересовать даму, развеселить её и узнать, что её зовут Анной Сергеевной. Ему кажется, что в ней есть что-то «жалкое».
Через неделю после знакомства они сходятся совсем близко. Анна Сергеевна не похожа ни на одну из предыдущих женщин Гурова; она робка, стыдлива, ей очень неловко за происшедшее, она без конца повторяет, что теперь сам Гуров не будет её уважать. Анна Сергеевна называет себя дурной женщиной, обманувшей не мужа, а себя саму, потому что мужа она никогда не любила и не уважала, сравнивает мужа с лакеем. Наивность её поначалу раздражает Гурова, ему скучно. Они едут в Ореанду, глядят на море. «Гуров думал о том, как в сущности, если вдуматься, всё прекрасно на этом свете, всё, кроме того, что мы сами мыслим и делаем, когда забываем о высших целях бытия, о своём человеческом достоинстве».
Они продолжают встречаться, Гуров повторяет Анне Сергеевне, как она обворожительна, соблазнительна, не отходит от неё ни на шаг. Она же по-прежнему напугана тем, что потеряла его уважение. Наконец Анна Сергеевна уезжает в свой город Саратов. Они уверены, что прощаются навсегда. В Москве Гуров возобновляет привычный образ жизни, читает газеты, ездит в клубы, рестораны, на званые вечера. Он не может забыть свой ялтинский роман, Анна Сергеевна часто снится ему по ночам, на улицах он взглядом ищет в толпе женщин, похожих на неё. Ему не с кем поделиться своими воспоминаниями; жена раздражает его все больше.
Наконец, сказав жене, что едет в Петербург, Гуров отправляется в Саратов. Он долго ходит под окнами дома Анны Сергеевны, затем решает, что может встретить её вечером в театре. Предположение Гурова оказывается верным. Увидев его в антракте, Анна Сергеевна настолько пугается и теряется, что едва ли не бегом бросается из зала. В коридоре она просит его уехать в Москву, говорит, что по-прежнему его любит и приедет к нему. Раз в два-три месяца Анна Сергеевна, под предлогом визита к врачу, ездит в Москву и встречается с Гуровым. Оба они живут как бы двумя жизнями, оба страдают оттого, что им приходится прятать ото всех самое лучшее, что у них есть — их любовь. Расстаться они оба не в силах, но и найти решение проблемы тоже не могут.