Являясь учеником 7-го класса гимназии, Феликс Дзержинский читал членам ученического кружка «…естественнонаучные книги, в том числе о жизни растений К. А. Тимирязева, стихи Некрасова, Конопницкой, «Оду к молодости» Мицкевича», — вспоминала одна из участниц кружка. Вскоре с небольшой группой товарищей на горе Гедимина в Вильно, подобно А. Герцену и Н. Огареву поклявшихся на Воробьевых горах, он дает в день коронации Николая II торжественную клятву бороться со злом до последнего дыхания.
Но в его сердце есть место и для горячо любимой матери и семьи. В сочельник 1894 г. он едет к ней и к бабушке в Йоды, где встречает праздник в семейном кругу. Это было последнее рождество, которое он провел вместе с мамой и другими членами своей семьи.
Уже в следующем 1895 г., как вспоминал сам Феликс Дзержинский, он вступает в литовскую социал-демократию, учась марксизму и ведя кружок ремесленных и фабричных учеников. Сюда его привел его тогдашний наставник в революционной деятельности доктор Антон Домашевич, представив его как товарищ «Якуб». Вскоре этот псевдоним сменился на другой, более известный впоследствии «Яцек». Сам Дзержинский считал своим первым партийным псевдонимом именно его. Смена произошла, так как один из рабочих донес начальству, что некий Якуб ведет агитацию среди железнодорожников. «На нелегальном собрании мы решили, что нужно сменить псевдоним Якуба. Предложили заменить Якуб на Яцек. Дзержинский согласился, и с тех пор мы его все время называли Яцеком».
«До появления у нас Яцека, — вспоминал один из членов кружка А. Гульбович, — мы были очень слабы. Он начал читать нам брошюры и объяснять их. В числе прочих тогда брошюр помню «Кто чем живет», «Умственная работа и машина», «Эрфуртскую программу» и другие. У меня был кружок, состоявший из 14–17-летних ребят. Я им читал брошюры: «О происхождении Земли», «Откуда берутся дождь и снег», «Откуда взялись камни на наших полях» и т. д. Тут Яцек мне во многом помогал. Хотя он и говорил, что учится среди нас революционной работе, но, учась сам, Яцек сам в то же время и нас учил».
«После Эрфуртской программы, — вспоминал другой участник кружка Эдвард Соколовский (Томаш), — мы прилежно принялись за Плеханова. Колоссальное влияние имела на нас его книжка «К вопросу о развитии монистического взгляда на историю».
Феликс Дзержинский в этот период регулярно читает издание польских социал-демократов «Справу роботничу» («Рабочее дело»). Большое впечатление произвел на него изданный к этому времени на польском языке вторым изданием «Коммунистический Манифест». Провозглашенный в нем лозунг, зовущий к объединению пролетариев всех стран, был им воспринят как прямой призыв к совместной борьбе польских и русских пролетариев против царизма.
Характерно, что свои последние гимназические каникулы Дзержинский посвятил в конечном счете так же делу революции. Он поехал давать уроки для детей помещика Сволки в Лидском уезде. Полученные деньги, пятьдесят рублей за каждый месяц, он передал в революционную организацию. При этом все переезды по железной дороге он проводил исключительно в вагонах второго класса, не считая возможным транжирить деньги революции на удобное перемещение. Экономить на себе заработанные им же деньги он считал естественным для настоящего революционера.
Учеба в этот период у Дзержинского пересекалась с революционной деятельностью, что не лучшим образом сказывалось на его ученических успехах. К этому еще добавилась болезнь матери. Стремясь добиться улучшения ситуации, семья приняла решение о переводе ее в варшавскую клинику известного врача-невролога Рафаила Игнатьевича Радзиловича (Radziłłowicza). В начале сентября 1895 г. Дзержинский вместе с братом Станиславом проводили в Варшаву тяжелобольную мать, вернувшись затем в Вильно. В середине месяца к ней, получив сведения об ухудшении ее здоровья, снова выехал Станислав, а затем и Феликс. В начале октября он вернулся в Вильно.
Учитывая болезнь дочери и необходимость помощи ее детям, 3 октября 1895 г. на постоянное место жительство из Йод в Вильно переехала бабушка Феликса Дзержинского — Казимира Янушевская. Она забрала в свой дом на Поплавской, 26 внуков, и те смогли покинуть частный гимназический пансионат. Во флигеле дома также проживала тетя Софья Пилляр, третья из сестер Янушевских.
Уже вскоре на чердаке бабушкиного дома Дзержинский оборудовал нелегальную компактную типографию, где лично на гектографе печатал небольшими тиражами листовки. О ее существовании никто из родственников в то время так и не узнал. Только в 1914 г., когда после налета немецкой авиации чистили чердак, обнаружили ее остатки.
Несколько позднее он оборудовал еще одну подпольную типографию в подвале Бернардинского костела. Здесь он с другими членами социал-демократической партии Литвы также печатал листовки. «Мы печатали, — вспоминала Мария Войткевич-Кржижановская, — на гектографе, по ночам, в подвале Бернардинского костела прокламации, брошюрки, листовки. Таинственность обстановки, работа в ночной тишине при слабом свете коптилки, заставляла нас бдительно следить за каждым движением, прислушиваться к каждому шороху. Нервы были напряжены. Лицо Феликса, целиком поглощенного делом, было вдохновенно». Третья нелегальная типография была расположена в другом районе Вильно, на Снеговой улице, рядом с полицейским участком. Подобное соседство представлялось Дзержинскому скорее благом, чем проблемой.
В декабре 1895 г., во время рождественских каникул, Феликс принимает участие в работе съезда представителей нелегальных ученических и студенческих кружков самообразования Польши, который проходил в Варшаве. На съезде Дзержинский, делегат от Вильно, выступил как сторонник пролетарского интернационализма. Яркое описание этого выступления оставил участник съезда, ученик 8-го класса Келецкой гимназии Бронислав Кошутский: «Уже эти первые выступления Феликса, тогда восемнадцатилетнего юноши, носили черты, характерные для всей его позднейшей деятельности: глубокую веру в правильность революционной идеи и вместе с тем твердую волю и стремление воплотить в жизнь эти идеи, бескорыстность и бескомпромиссность». В эти же дни он посетил в варшавской больнице, как оказалось, в последний раз, свою больную мать.