Дзержинский обвел взглядом комнату и проговорил:
— Прежде всего, разрешите взять стул.
Губернатор остолбенел.
— Советую вам понять, — закричал Клингенберг, — что находитесь под надзором полиции! Прошу вести себя прилично! Мне не о чем больше с вами говорить! Вон!
Тем и кончилась беседа губернатора с будущим главой ВЧК».
Тем не менее, несмотря на неудачно сложившийся разговор, Клингенберг вскоре дал разрешение на выезд Дзержинского к месту ссылки за счет собственных средств. Через день на пришедшем пароходе ссыльный Дзержинский отбыл в назначенный ему Нолинск. Деньги и одежду ему одолжил земляк, инженер-поляк Завиша, который работал при строительстве местной железной дороги. Железнодорожный инженер, представитель польского дворянства, одолжил для Дзержинского у своего знакомого 20 рублей и передал также ему одежду. Впоследствии 60 рублей ему вернули родственники Дзержинского. Впрочем, одежда была, как говорится, с чужого плеча. При сходе на пристани в Нолинске Дзержинский был одет в темный, сильно поношенный костюм, рубашку с мягким отложным воротником, бархатный шнурок был повязан вместо галстука.
Прибыв в Нолинск, Феликс Дзержинский поселился у местных жителей. «Я нанял себе комнатку, столуюсь у одного ссыльного, но думаю от этого отказаться, ибо нужно ежедневно ходить к нему, а осенью здесь такая грязь, что, выражаясь гиперболически, можно утонуть», — писал Дзержинский сестре. Впрочем, длительного проживания у одних хозяев у него не получалось. Этому мешало пристальное внимание к его особе со стороны полицейских властей, под надзором которых он находился. Особо отличался исправник Золотухин. «Грубые вторжения в комнату в любое время, подслушивание, принуждение хозяев квартиры вести наблюдение за ссыльным и его посетителями делали жизнь молодого революционера невыносимой. Он вынужден был часто менять квартиры». «В связи с постоянной переменой квартир не пиши мне по домашнему адресу, а прямо (на почту) в Нолинск», — просил Феликс свою сестру Альдону в одном из писем. Позднее, уже на более длительный срок, Дзержинский поселился вместе с народником Александром Ивановичем Якшиным, высланным из Белозерска Новгородской губернии. Последний прибыл в Нолинск в октябре 1898 г.
Нолинск, расположенный в 137 км к югу от Вятки, в этот период был отдаленным провинциальным городком, с населением в пять тысяч человек, даже с учетом ссыльных. В конце XIX века в городе работали женская гимназия, духовное училище, городское трехклассное училище, земская библиотека и больница, аптека, банк, ремесленная школа. Библиотека была огромным благом для ссыльных и пользовалась заслуженной популярностью с их стороны. Она имела достаточно хороший набор книг и журналов, что объяснялось необычностью их формирования. В 1865 г. местные купцы поддержали инициативу учителей, предложивших построить городскую библиотеку. На заседании городской управы они приняли решение: для покупки книг в фонд библиотеки каждый купец должен жертвовать 5 % от своих выигрышей в карточных играх. Таким образом, уже через два месяца была собрана солидная сумма — 460 рублей. Хорошее финансирование определило и уровень библиотечных фондов, активность читателей. Стал ее посетителем и Феликс Дзержинский.
Книги находились и у ссыльнопоселенцев, которых было достаточно в городе. В первую очередь необходимо отметить библиотеку прибывшего в ссылку еще раньше Дзержинского Сергея Александровича Порецкого, проживавшего вместе с Евгенией Александровной Караваевой и ее шестью малолетними детьми. Вскоре, в ноябре 1898 г., в Нолинск будет сослана и родная сестра Караваевой — социал-демократка Екатерина Александровна Дьяконова. Дом С. А. Порецкого стал по средам своеобразным местом сбора всех нолинских ссыльных.
В городе также действовало несколько заводов, в т. ч. кожевенные, салотопильные, пряничные и 5 водочных. Однако реально устроиться на работу можно было только на крупнейшую фабрику Нолинска — Табачно-махорочную фабрику торгового дома «Яков Евсеевич Небогатиков и сыновья». Торговый дом был основан достаточно недавно, но бурно развивался благодаря своему главе. Яков Евсеевич Небогатиков пришел в Нолинск и первоначально занялся сбором тряпья у населения, и вскоре разбогател. Согласно семейной легенде, он нашел зашитые в одежде или перине деньги.
Вскоре Дзержинский работал на ней набойщиком за 7 руб. в месяц: с 6 утра до 8 вечера. «Я нахожусь теперь в Нолинске, где должен пробыть три года, если меня не возьмут в солдаты и не сошлют служить в Сибирь на китайскую границу, на реку Амур или еще куда-либо. Работу найти здесь почти невозможно, если не считать здешней махорочной фабрики, на которой можно заработать рублей 7 в месяц». Условия были отвратительные. Если ранее Дзержинского зрение только начинало тревожить, то работа на табачной фабрике резко ухудшила ситуацию. Скоро Дзержинский заболел глазной болезнью, как он считал — трахомой. Однако работу он не бросал, т. к. она давала некоторый приработок и возможность общения и даже агитации среди рабочих.
Продолжал он наведываться и в дом С. А. Порецкого. Сюда приходила и 25-летняя Маргарита Федоровна Николаева. Как и Дьякова и Караваева, она была бестужевкой, участвовавшей в студенческих беспорядках. Первоначальное знакомство с Николаевой произошло у Дзержинского еще раньше, по пути следования в Нолинск, теперь же Феликс всерьез увлекается молодой бестужевкой и влюбляется в нее. Роман между ними быстро развивается, несмотря на некоторую разницу в возрасте и особенности ссыльно-поселенческой жизни…