Действие начинается в 1879 году в выдуманном городке Ливенфорде в устье реки Тэй. Центральным персонажем является Джеймс Броуди, жестокий и властный владелец магазина шляп, живущий в доме со своей престарелой полубезумной матерью, женой Маргарет, 24-летним сыном Мэтью и двумя дочерьми — семнадцатилетней Мэри и двенадцатилетней Несси. Название роман получил по дому, который шляпник, считавший себя в родстве с некими герцогами Уинтонами, построил на свой вкус. Дом напоминал по виду замок и дорого обошелся владельцу.
Мэри, вопреки воле отца, начинает тайно встречаться с коммивояжёром Денисом Фойлем и беременеет от него. Однако вскоре Денис погибает в железнодорожной катастрофе, а узнавший о беременности дочери Броуди выгоняет её из дома. Ночью у Мэри начинаются преждевременные роды — мальчик умирает в больнице, саму Мэри выхаживает местный доктор Ренвик. Убитые горем родители Дениса покидают городок, а Мэри на свой страх и риск отправляется в Лондон и находит место прислуги.
У магазина Джеймса Броуди появляется сильный конкурент — галантерейная фирма «Манджо и Ко», и его бизнес постепенно начинает разрушаться. Мэтью, посланный в Индию делать карьеру, возвращается никчемным паразитом с замашками франта. Здоровье Маргарет пошатывается — у неё диагностируют рак, женщина умирает.
Чтобы прокормить семью Броуди поступает на работу счетоводом на верфь. В дом он приводит свою любовницу Нэнси, надеясь, что та будет вести хозяйство так же хорошо как и Маргарет. Разочаровавшаяся в Джеймсе Нэнси начинает заигрывать с Мэтью, и вскоре влюблённая парочка сбегает в Южную Америку.
Свою последнюю надежду Броуди возлагает на младшую дочь Несси, заставляя ту учиться круглыми сутками дабы получить университетскую стипендию. Обречённая девушка пишет Мэри с просьбой вернуться. Из университета приходит письмо, в котором сообщается об отказе в выдаче стипендии; Несси в припадке отчаяния вешается. Девушку в петле обнаруживает её старшая сестра. Прибывший в дом Броуди доктор Ренвик понимает, что Мэри, в которую он уже долгое время влюблён, не место там, и делает ей предложение. Джеймс Броуди, от которого отвернулись все близкие и друзья, остаётся в доме один с полубезумной матерью, которая, также как и все, до смерти боится его.
