Повествование начинается с описание палаты под номером 6 для душевнобольных, что находится в больничном флигеле. По словам автора, там воняет кислой капустой, гарью, клопами, и вся эта вонь производит впечатление, будто вы попали в зверинец.
В этой палате расположены пять человек. Один из них - мещанин худощавого телосложения с мокрыми от слез глазами и рыжими усами. Вероятно, его мучает чахотка, и весь день он находится в подавленном состоянии. Второй обитатель палаты – это дурачок Моисейка, что сошел с ума 20 лет ,назад когда потерял в пожаре свою шапочную мастерскую. Только ему разрешается уходить из палаты и побираться на улицах города. Все, что Моисею удается собрать, всегда присваивает себе местный сторож Никита. Помимо прочего, он любит порядок во всем и потому нередко избивает больных. Моисейка услужливый и здесь он подражает единственному «благородному» обитателю палаты Ивану Дмитриевичу Громову, бывшему судебному приставу. Тот из семьи богатого чиновника, которого в какой-то момент постигло множества бед. Сначала это была смерть старшего сына Сергея, затем – суд над самим чиновников за растрату и подлоги, а потом и вовсе смерть, заставшая отца в тюремной больнице. Младший сын Иван вместе со своей матерью остались без каких-либо средств к существованию. Не без труда он окончил учебу и добился своей должности. Спустя какое то время выясняется, что Громов страдает манией преследования и это приводит его в палату под номером 6. Четвертый пациент - это толстый, округлой формы мужчина с очень глупым и бессмысленным лицом. Он будто не способен испытывать чувства и мыслить. Он не проявляет никаких эмоций даже когда его в очередной раз избивает сторож Никита. Последний обитатель палаты - худощавый блондин с добрым, но несколько лукавым лицом. Он болен манией величия, но со странными особенностями. Периодически он говорит, что ему дали «Станислава 2 степени со звездой» или один из редких орденов по типу «полярной звезды». При этом больной как бы сам удивляется и делает все это очень скромно.
Закончив знакомство с больными, читателю представляют доктора Андрея Ефимыча Рагина. В молодые годы он хотел стать священнослужителем, но его отец профессиональный хирург и по совместительству доктор медицины заставил его пойти учиться на медика. Снаружи Андрей Ефимыч выглядит как довольно тяжелый и грубый мужчина, но при этом у него мягкие манеры и достаточно тонкий голос. Когда он начинал свою работу здесь, шестая палата была в плачевном состоянии. Кругом царила антисанитария и бедность, но на докторе это никак не отразилось. Он был честным и умным человеком, но ему не хватало воли, чтобы изменить здесь жизнь к лучшему. Поначалу он целиком и полностью отдавался своей работе, но спустя некоторое время заскучал и пришел к выводу, что в подобных условиях лечить людей не имеет никакого смысла.
В рассказе его вывод звучит так: к чему мешать людям убирать, если смерть есть нормальный и законный конец каждого. Эти мысли привели его к тому, что Рагин стал появляться в больнице через день и практически перестал уделять внимание важным делам. У него сложился свой распорядок дня: поработав немного для вида и прежде всего 5-6 больных, он отправляется домой и погружается в чтение. Раз в полчаса он пьет водку закусывая огурцом или моченым яблоком. Затем наступает обед, за которым он пьет еще и пива. Под вечер обычно его посещает почтмейстер Михаил Аверьяныч, некогда богатый, но ныне разорившийся помещик. Он презирает всех обывателей но к Рагину относится с уважением. Весь вечер они жалуются на свою судьбу и ведут пустые разговоры. Когда же гость покидает доктора, тот продолжает свое чтение. Андрей Ефимыч отдает за книги половину своего жалования и читает практически все подряд. Но особенно его привлекают история и философия. Лишь с книгой в руках Рагин испытывает счастье. И, помимо прочего, доктор, похоже, страдает бессонницей.
Однажды доктор навещает палату номер шесть, где знакомится с Громовым. Они общаются, и вскоре Рагин полностью погружается в беседу. Позже уже перед сном доктор решает, что нужно навестить пациента завтра еще раз. На следующий день Рагин вновь приходит Громову и в последствии они начинают видеться каждый день, продолжая свои беседы. От них Андрей Ефимыч получает некое удовольствие. В этих спорах Рагин склоняется к позиции греческих стоиков, что говорят о презрении к жизненным страданиям. Громов же обзывает философию доктора «сонной одурью» и мечтает покончить со страданиями. Несмотря на это, они тянутся к друг другу, и это замечают окружающие.
После чего по больнице начинают ходить слухи о частых посещениях Рагиным шестой палаты. Доктора приглашает все разъяснить в местное городское управление. Виной этому конкурент Андрей Ефимыча его подопечный Хоботов. На словах обсуждение ведется об обустройстве старой больницы, но на деле чиновники хотят выяснить, не сошел ли Рагин с ума. Доктор догадывается о происходящем и это его злит. В этот же день его единственный друг Михаил Аверьяныч предлагает съездить в Москву, Петербург и Варшаву, чтобы хоть как-то развеяться. Доктор понимает, что это предложение также вызвано слухами о его вероятной душевной болезни. В конце концов, ему предлагают подать в отставку. Он без каких-либо эмоций принимает это и отправляется в Москву вместе с почтмейстером. По дороге друг доктора достает его своей болтовней, алчностью и обжорством. В итоге почтмейстер проигрывает все свои деньги в карты и берет в долг у Рагина. Затем они возвращаются обратно в свой город.
Дома доктору вновь докучают с его выдуманным сумасшествием. В какой-то момент он не выдерживает и выгоняет из квартиры Михаила Аверьяныча и помощника Хоботова. Затем ему становится стыдно за свои действия, и он отправляется к почтмейстеру, чтобы принести свои извинения. Друг уговаривает Рагина лечь в больницу на лечение. В итоге поместить туда его решают хитростью. Бывший помощник доктора приглашает Андрей Ефимыча на консилиум в шестую палату, после чего оставляет его, якобы отправившись за стетоскопом. Но спустя долгое время Хоботов так и не возвращается. Рагин из доктора превращается в больного. Сначала он пытается всеми способами выбраться из палаты, но сторож его не выпускает. Затем Андрей Ефимыч вместе с Громовым устраивают бунт, за что, в итоге, доктор получает по лицу от сторожа Никиты. Рагин принимает страшную правду, что из шестой палаты ему больше не выбраться. Он погружается в состояние полной безнадежности и, спустя некоторое время, умирает от апоплексического удара. На похороны доктора приходят лишь два человека: почтмейстер Михаил Аверьянович и бывшая прислуга Рагина по имени Дарьюшка.