Вместо вступления книгу открывает «Кодекс норм поведения» Почтовой службы США от 1 января 1970 года, в котором описывается особая роль почтового работника среди прочих госслужащих.
Само повествование, первую часть романа, начинается с примечательной для всего произведения фразы: «В начале была ошибка» (рус. перевод Максима Немцова, в оригинале — «It began as a mistake»). Некоторые исследователи творчества Буковски полагают, что это связано с характером самой работы Чинаски, на которой он проведёт более десятилетия, — чёрной, скучной и унизительной, выжить на которой герою помогает только крайне циничный взгляд на мир.
Стояло Рождество, пишет Буковски, и его герой, узнав о том, что «туда [в почтамт] берут чуть ли не всех подряд», устраивается на службу в должности почтового клерка (в жизни Буковски описываемый в романе почтамт — это Терминал «Аннекс» в Даунтауне Лос-Анджелеса , где автор работал).
Герой «Почтамта» («антигерой», как утверждает ряд исследователей) — человек по имени Генри Чинаски (англ. Henry Chinaski), являющийся литературным альтер-эго самого Буковски, чью жизнь проживает на страницах романа (не только самого «Почтамта», но и нескольких других данного автора)].
Далее следует описание самой работы и образа жизни героя («я всегда квасил допоздна, а в 5 утра мы уже сидели, дожидаясь, чтобы зачли время, вдруг кто из штатных заболеет»). Здесь же читатель знакомится с единственным сюжетно значимым, помимо Чинаски, мужчиной в романе — начальником отдела сортировки писем А. Э. Джонстоном («Стоном»), выступающим в повествовании антагонистом главного героя. Бо́льшую часть первой главы занимает непосредственно описание работы Чинаски, в некоторых местах переключаясь на его взаимоотношения с сожительницей, Бетти («Крошкой Бетти»), которые, впрочем, ограничиваются сценами секса и пьянства последних. Прототипом Крошки Бетти стала Джейн Куни Бейкер (англ. Jane Cooney Baker, жена Буковски с 1947 по 1955. Заканчивается глава через три года после поступления Чинаски на работу — он получает штатное место, благодаря чему получает оплачиваемый отпуск, фиксированную сорокачасовую рабочую неделю и два выходных.
Вторая часть книги начинается с новым увлечением главного героя — игрой на скачках, в которой он весьма преуспевает; с другой стороны, Чинаски расходится с Бетти, но не остаётся одиноким надолго. В реальности Буковски был не менее страстным игроком, чем его литературное альтер-эго, и оставался верным игре на скачках до глубокой старости. Играл же он преимущественно на стадионе Санта-Анита (англ.)русск. в Калифорнии, который и описывает, не упоминая названия, в «Почтамте». Уже ко второй главе Чинаски завязывает отношения с Джойс (настоящее имя — Барбара Фрай (англ. Barbara Frye), вторая жена Буковски с 1955 по 1958[), на которой вскоре женится. Будучи родом из весьма состоятельной семьи, она содержит мужа, и он увольняется со службы. Бездействие героя, впрочем, оказывается недолговечным — Джойс настаивает на необходимости работать, и Чинаски устраивается на простую в сравнении с предыдущей должность экспедитора в художественной лавке, проводя большую часть дня в кофейнях. Но вскоре он разочаровывается в новом месте и по совету одного друга устраивается сортировщиком обратно на почту. Отношения с Джойс тем временем терпят крах, и она подаёт на развод. Когда глава заканчивается, Чинаски снова одинок.
В жизни самого Буковски встреча с Фрай произошла в момент, когда начинающий на тот момент поэт бессистемно рассылал свои стихи по различным журналам — итогом очередного отправленного письма стал восторженный отклик и вскоре завязавшиеся отношения. В итоге мы поженились <...> Я её не любил. Если женщина не получает от тебя какой-то выгоды - славы либо денег, - она тебя терпит лишь докуда-то. А из нашего брака она не получала ничего - ни славы, ни денег. Я ничего ей не предложил. <...> Я был завязан на себя, на свою писанину. Вообще ей ничего не давал, вот и огрёб. Она тут не виновата, хотя и она мне особо ничего не давала.
Часть третья начинается со случайной встречи Чинаски с Бетти — она теперь живёт в ночлежке, стирает грязное бельё и спивается. Одновременно с этим со стороны работодателя начинаются первые претензии к главному герою, которому вменяют сокрытие фактов судимости при приёме на работу. Бетти умирает (в реальной жизни это случилось в 1962 году), Чинаски трудится и продолжает играть на скачках, преимущественно выигрывая. Он получает небольшое повышение на работе, успешно пройдя аттестацию.
Четвёртую часть книги открывает новая система игры на скачках, которую разрабатывает Чинаски. Она позволяет герою зарабатывать до трёх тысяч долларов за полтора месяца. Он берет отпуск и уезжает на побережье, где много пьёт и играет, а деньги тем временем тают. Последние дни отпуска Чинаски проводит дома — вернувшись на службу, он встречается с новой сотрудницей, Фэй, с которой у него завязывается роман (настоящее имя — Фрэнсис Смит (англ. Frances Smith), они были вместе с 1963-го по 1965-й). Вскоре у них рождается дочь — Марина-Луиза Чинаски (англ. Marina Louise Bukowski, реальное имя дочери писателя), однако семья распадается, когда ребёнок начинает ползать. Фэй увозит её в Нью-Мексико, где поселяется в коммуне хиппи.
Пятая часть целиком состоит из официальных писем на имя Генри Чинаски, полученных от руководства. В них его уведомляют о систематических прогулах и предупреждают о грозящем ему увольнении. Все письма остаются без ответа со стороны главного героя. Именно об этих письмах Буковски умолчал, когда принял предложение своего будущего издателя посвятить себя исключительно написанию романов и стихов.
В шестой, заключительной части романа, Чинаски дорабатывает последние смены и пишет заявление на увольнение (сам Буковски на почте прослужил двенадцать лет — это была физически изматывающая работа, как он скажет позже, сломившая его дух). Он начинает пить ещё больше. Заканчивается книга стихотворными строчками:
«Наутро было утро, а я ещё был жив.
Может, роман напишу, подумал я.
А потом и написал».
