Повествование ведётся от лица анонимного рассказчика (господина Н. Н.). Он вспоминает молодость, своё пребывание в маленьком городке З. на берегу Рейна. Однажды, услышав музыку и шум студенческого праздника, он переправился через реку в соседний городок Л. Здесь герой познакомился с двумя русскими: молодым человеком по фамилии Гагин, который хочет стать художником, и девушкой Асей (Анной), которую он представил, как свою сестру. Ася то веселится, то грустит, совершает эксцентричные поступки (карабкается на развалины замка, чтобы полить цветы). Герой начинает подозревать, что Ася — не сестра Гагина.
Через несколько дней рассказчик ведёт откровенный разговор с Гагиным. Выясняется, что Ася — действительно его сестра. В возрасте двенадцати лет Гагина отправили в Петербург в пансион. Его овдовевший отец остался в деревне. После смерти отца выяснилось, что у него есть ещё один ребёнок, дочь — Ася, матерью которой была Татьяна, горничная в доме Гагиных. Гагин вынужден один воспитывать тринадцатилетнюю девочку. Он на несколько лет отдаёт её в пансион, где ей живется нелегко. Наконец, Гагин решил уехать с Асей за границу.
Рассказчик проникается глубокой жалостью к Асе: он понимает, что именно её неясное социальное положение (дочь крепостной и барина) вызывает в ней нервное напряжение. Постепенно он влюбляется в Асю. Ася пишет ему письмо с просьбой о свидании. Гагин, который знает о чувствах сестры, спрашивает у героя, согласен ли он жениться на ней. Герой, не уверенный в своих чувствах, пока не может ответить согласием и обещает при встрече (если та состоится) отвергнуть любовь Аси.
Свидание героя с Асей происходит в доме вдовы бургомистра. После объяснения Ася оказывается в его объятиях, но тут герой начинает укорять её за то, что она всё испортила, признавшись брату, и теперь их счастье невозможно. Ася убегает. Герой и Гагин ищут её. В конце концов рассказчик осознает, что действительно любит Асю и хочет на ней жениться. Он собирается на следующий день попросить у брата руки девушки. Но назавтра оказывается, что Гагин и Ася уехали из города. Герой пытается их настичь, но в Лондоне их след затерялся.
Герой никогда больше не встречался с Асей. В его жизни были и другие женщины, но сейчас, на пороге старости и смерти, он понимает, что по-настоящему любил только её, и что даже высохший цветок, который она ему подарила, переживет обоих влюблённых — так быстротечна человеческая жизнь.
