Это были счастливые годы для него, особенно по сравнению с тем, что ожидало его впереди. Уже позднее, в 1916 г., в письме из тюрьмы к своему брату Владиславу, он напишет: «Когда я возвращаюсь памятью к нашим дзержиновским годам, меня охватывает трогательное чувство нежности, и тогда я чувствую нежность, счастье от моих тогдашних детских чаяний и от воспоминания их, в настоящем… Я хотел бы обнять тебя сердечно и опять встретиться в наших лесах — слушать шепот деревьев, песни лягушек и всей нашей деревенской музыки. И именно, может быть… силой моей жизни была эта музыка леса и лугов моих детских лет, которая еще сегодня звучит в моей душе как гимн жизни». Впрочем, идеализация детства — частое явление.
В десятилетнем возрасте, осенью 1887 г., Феликс Дзержинский вместе с мамой и сестрой Альдоной приехал в Вильно, где выдержал экзамен в начальный класс Первой Виленской гимназии. Это было привилегированное учебное заведение, многие выпускники которого впоследствии стали известными общественными деятелями, представителями науки и искусства. В гимназические и студенческие годы закладывались основы мировоззрения многих будущих государственных и политических деятелей, не станет исключением и Ф. Дзержинский.
История Первой Виленской мужской гимназии уходила далеко в прошлое. Формально она была образована в 1803 г. на основе императорского акта Александра I от 4 апреля, когда существовавшая с 1780 г. Главная школа Великого Княжества Литовского была преобразована в гимназию с подчинением ее Императорскому Виленскому университету. В свою очередь история Главной школы Великого Княжества Литовского начиналась с Виленской иезуитской академии, которая была преобразована в 1579 г. из иезуитской коллегии, возникшей в Вильно еще в 1570 г.
Здание гимназии помещалось в бывшем университетском здании, так как сам университет был упразднен вскоре после польского восстания 1830–1831 гг. рескриптом российского императора Николая I от 1 мая 1832 г. Первая Виленская гимназия находилась по адресу: ул. Благовещенская, 26. Сейчас эта улица поделена на две: Dominikonu и Sv. Jono.
Это было достаточно величественное и художественное здание. Художник Мстислав Добужинский, окончивший соседнюю 2-ю Виленскую гимназию в 1895 г. (в первой гимназии отсутствовали на момент его перевода вакансии), вспоминал: «Старый университет представлял из себя довольно сложный конгломерат зданий с внутренними двориками и переходами. От прежних времен сохранилась и небольшая башня давно упраздненной обсерватории с красивым фризом из знаков Зодиака. Все эти здания окружали большой двор Первой гимназии, засаженный деревьями; ко двору примыкал стройный фасад белого костела св. Яна, а рядом с костелом стояла четырехугольная колокольня с барочным верхом, возвышавшаяся над всеми крышами Вильны».
Однако в величественном здании гимназии существовала жесткая система обучения, подавляющая любое вольнолюбие, особенно польское. «Это уже была давно имевшаяся реальность, с которой сталкивались все поступавшие в нее. Виленская первая гимназия, воспитавшая и премьер-министра Столыпина, и маршала Пилсудского, и драматического артиста Шверубовича-Качалова, была всегда одной из образцовых по строгости гимназий России. Школьные законы на северо-западной окраине были после польского восстания 1864 года самые драконовские. Н. А. Сергиевский, ставленник графа Д. А. Толстого, 29 лет подряд управлявший виленским учебным округом, откровенно и неумолимо проводил политику клерикально-реакционную. Поляки и евреи только терпелись. До 1905 революционного года, в посильное подражание несравненному Муравьеву-вешателю, неуклонно осуществлялась генерал-губернаторами программа мести и истребления национальных особенностей. Опека педагогической полиции была ревнивая и соглядатайствующая».
Окончивший в 1885 г. Виленскую гимназию будущий лидер Польши Юзеф Пилсудский писал: «Я стал учеником первой Виленской гимназии, находящейся в стенах старинного Виленского университета, бывшей Альма-матер Мицкевича и Словацкого. Выглядело здесь, естественно, иначе, чем в их времена. Хозяйствовали здесь, учили и воспитывали молодежь царские педагоги, которые приносили в школу всякие политические страсти, считая в порядке вещей попирание самостоятельности и личного достоинства своих воспитанников. Для меня гимназическая жизнь была своего рода каторгой… Не хватило бы воловьей кожи на описание неустанных, унижающих придирок со стороны учителей, их действий, позорящих все, что ты привык уважать и любить… В таких условиях моя ненависть к царским учреждениям, к московскому притеснению возрастала с каждым годом…».
Хотя Феликс Дзержинский поступил в Виленскую гимназию спустя два года после окончания ее Пилсудским, для ее учеников мало что изменилось. Для Дзержинского это была все та же душная атмосфера подавления личности, особенно по сравнению с его вольным детством. Гуляя в 1909 г. со своей будущей женой в окрестностях Кракова, Дзержинский эти годы вспоминал неохотно. «Скупо, но с ненавистью вспоминал Юзеф гимназический режим, русификаторство, шпионаж за учениками, принудительное посещение в табельные дни молебнов, дрессировку на квартире учителя гимназии в Вильно, где он жил вместе с братьями», — писала об этом С. С. Дзержинская. Много лет спустя, в 1914 г., Феликс Дзержинский писал практически то же самое: «Когда я вспоминаю гимназические годы, которые не обогатили моей души, а сделали ее более убогой, я начинаю ненавидеть эту дрессировку, которая ставит себе задачей производство так называемых интеллигентов. И светлые воспоминания мои возвращаются к дням детства и перепрыгивают через школьные годы к более поздним годам, когда было так много страданий, но когда душа приобрела столько много богатств…».