Уход из гимназии обозначил начало фанатичной революционной деятельности Дзержинского. Деятельность, которая через многочисленные испытания в виде ссылок, тюрем, болезней станет одной из многих предтеч Красного Октября 1917 г. Первое тюремное заключение последует уже через год, в 1897 г., за ней будет первая ссылка, первый побег. Позднее последуют новые аресты и ссылки, и так вплоть до Февральской революции. Однако для Дзержинского ничего не менялось, клятва, данная в гимназические годы, оставалась нерушимой.
После апрельского отчисления из первой виленской гимназии Феликс Дзержинский уже живет у своей сестры Альдоны и ее мужа Гедымина Булгак на Поповской улице, д. 1 (позднее улица Марите Маргит). Здесь же жили двое младших братьев Дзержинского: Игнатий и Владислав, так же учившиеся в первой виленской гимназии. Правда, их обучение в первой виленской гимназии, после демарша Феликса Дзержинского, скоро закончилось. Через год директор гимназии заявил, что лучше будет, если они переедут в другой город, так как аттестата зрелости в его заведении им все равно не получить. Несмотря на хорошую учебу, Игнатий и Владислав вынуждены были уехать заканчивать гимназическое обучение в Санкт-Петербург. Позднее Игнатий Дзержинский окончит Московский университет. Этот же университет окончит и Владислав.
К Феликсу Дзержинскому, на квартиру Альдоны, часто заходил его старший товарищ по революционной деятельности доктор А. Домашевич, что было не безопасно, т. к. могла пострадать семья Дзержинского: его сестра и ее семья, его младшие братья. «Я знала, что Домашевич нелегальный, и я боялась, что его выследят и арестуют у меня на квартире», — тревожилась Альдона. Однако первое время она ничего не могла с этим поделать.
Между тем в Вильно активизировалась работа местных социал-демократов. 1 мая 1896 г. на квартире доктора А. Домашевича состоялся учредительный съезд Литовской социал-демократической партии (СДПЛ). Партию первоначально возглавили А. Моравский и А. Домашевич. В принятой партийной программе ставилась задача достижения суверенитета Литвы, охватывающего Виленскую, Ковенскую, Сувалкскую и Гродненскую губернии, связав Литву с соседними государствами узами свободной федерации.
Дзержинский и более молодые члены партии на решения съезда повлиять не могли, но проявили себя в этот день достаточно громко. 1 мая 1896 г. состоялся тайный митинг в Каролинском лесу. Собралось около 50 рабочих, перед которыми, под красным знаменем, выступили Дзержинский и Гульбинович. После все собравшиеся пели революционные песни, а затем рабочие подхватили Дзержинского и его товарища и стали их качать. Феликс за это отругал рабочих, но никто не обиделся.
Постепенно нелегальная работа все больше затягивала Дзержинского. Рисковать своими родными он уже не мог. В январе 1897 г. Феликс переехал на Заречную улицу, д. 14 в дом Е. И. Миллера, где жил до марта 1897 г. Он снимал мансарду с еще одним рабочим-революционером, сапожником Францем Корчмариком (Францишек).
Работа среди рабочих, среди которых встречались и штрейкбрехеры, и провокаторы, была порой опасна для жизни. Агитаторов встречали по-разному. Между ними и отсталыми рабочими бывали столкновения, нередко и потасовки. Жертвой одного из инцидентов оказался и Феликс Эдмундович и его друг А. Гульбинович, одно из прозвищ которого было «Поэт». Рабочие завода Гольдштейна поймали Яцека и его товарища и сильно их избили. «Мне нанесли ножевые раны по правому виску и голове, — вспоминал позднее Феликс Эдмундович. — Доктор Домашевич потом зашил рану. Поэта меньше избили, так как он сразу свалился с ног, а я защищался…».
Стремясь хоть как-то обезопасить себя от подобного в будущем, Феликс Дзержинский позднее в карманах всегда носил вскрытую пачку махорки, для того чтобы бросить в глаза нападавшему на него. Безропотно терпеть побои, даже от рабочих, Дзержинский не желал.
Вскоре 18 (30) марта 1897 г. по решению Виленской социал-демократической организации Дзержинский был переведен в Ковно (сейчас — Каунас), где не было социал-демократической организации и где недавно провалилась организация ППС (Польская социалистическая партия). Данный перевод, возможно, был связан с наметившимися разногласиями между Дзержинским и руководством партии. Дзержинский по-прежнему стоял на позициях интернационализма, а его оппоненты все более склонялись к самостоятельному литовскому пути в социал-демократическом движении.
Рабочие же по-прежнему тепло относились к юному революционеру, устроив теплые проводы девятнадцатилетнему Феликсу. По свидетельству старого виленского рабочего Грабара, Дзержинский, прощаясь с ними, высказал пожелание «встретиться на поле борьбы».
В Ковно Дзержинский живет сначала на Вилкомирской улице, д. 8, снимая небольшую комнату у адвоката Кильчевского. Через некоторое время, незадолго до ареста, 6 июля он переехал на Куровскую улицу в дом инженера Воловича.
По приезду в город Дзержинский устраивается на работу в переплетную мастерскую. Это давало сразу несколько преимуществ: нужные конспираторские навыки для революционера, плюс доступ к бумаге, а также небольшой заработок. Последнее обстоятельство было важно, так как денег не хватало, даже с учетом работы в мастерской. «Условия моего существования в Ковно, — вспоминал Дзержинский, — были весьма тяжелые. Я устроился на работу в переплетную мастерскую. И весьма бедствовал. Не раз текла слюнка, когда я приходил на квартиру рабочих и в нос ударял запах блинов или чего-нибудь другого. Иногда приглашали меня рабочие вместе поесть, но я отказывался, уверяя, что уже ел, хотя в желудке было пусто». Работа в переплетной мастерской также «подарила» Феликсу новый псевдоним — «Переплетчик». Переплетные навыки Дзержинский стал использовать уже в ковенский период революционной деятельности. Привезенный из Вильно «Манифест Коммунистической партии» он вмонтировал для конспирации в роскошно изданную книгу о генерале М. Н. Муравьеве, который подавил польское восстание 1863 г.