С первой же публикации роман, тепло встреченный читателями и литературными критиками, подвергся нападкам священников и некоторых религиозных изданий. В частности рецензия в Brownson's Quarterly отмечала, что ни Димсдейл, ни Эстер не демонстрируют «угрызений совести» или «подлинного раскаяния в содеянном преступлении» и что «подобные истории не следует рассказывать», а обозреватель Church Review Артур Кокс высказал мнение, что подобная «омерзительная амурная история» — неподходящая тема для литературного произведения. В 1852 году Кокс призвал запретить роман, заявив что он выступает против «какой бы то ни было снисходительности к популярному и одарённому писателю, если тот нарушает моральные устои, пропаганда похоти должна быть задавлена в зародыше».
Жители Сейлема, сохранившие строгие пуританские нравы своих предков, были настолько разгневаны романом, что Готорну пришлось увезти свою семью из города в деревенский дом в Беркшире.
В 1852 году, в самый разгар так называемого «цензурного террора» в России, роман был запрещён лично Николаем I. Запрет был снят только через четыре года, когда на престол взошёл Александр II.
В дальнейшем интерес к роману со стороны его противников упал и возобновился только в середине XX века. Было отмечено несколько безуспешных попыток запретить книгу для изучения в средней школе. В 1961 году родители школьников в Мичигане выступили против изучения романа, заявив что он «порнографический и непристойный», а в 1977 мотивировали своё требование тем, что в книге идёт речь о священнике «вовлечённом в прелюбодеяние». В 1982 году родитель из штата Огайо потребовал изъятия книги из программы средней школы, заявив что это книга о «прелюбодеянии», «проституции» и «женоподобном священнике».
