Впрочем, как и оставление Феликса на второй год, так и переэкзаменовку Альдоны, можно оценивать не только как оценку их знаний, но и как результат целенаправленной политики русификации, характерной для виленских гимназий того времени. Так, Альдона была оставлена на переэкзаменовку по русскому языку только потому, что не смогла объяснить значение всего лишь одного русского выражения «студеная вода». На вопрос учителя она ответила, что это вода из студня (по-польски колодец). На недоуменный вопрос педагога одноклассница сестры Дзержинского объяснила, что по-польски колодец называется студней. Узнав, что Альдона дома говорит по-польски, преподаватель заявил: «Я научу вас говорить по-русски. Получите переэкзаменовку!».
Возможное объяснение строгости преподавателя русского языка к Дзержинскому — явное нежелание Феликса смириться с навязыванием русского языка. «В те годы в гимназии, как и во всей Литве, преследовалось все польское. В коридорах гимназии и на дверях висели надписи: «Говорить по-польски строго воспрещается. Это особенно возмущало моего брата», — вспоминала уже другая сестра Дзержинского. Можно упомянуть и другой схожий случай, ставший известный благодаря газетной публикации. Согласно сообщению газеты «Гражданин», в 1888 г. в Вильно был исключен ученик за разговор на польском языке. Как раз в тот год, когда Дзержинский стал второгодником.
Отметим также общий строгий подход к учебе, характерный для Первой Виленской гимназии. Почти четверть учащихся, «по малоуспешности», оставались на второй год. Первые классы в гимназии были переполнены, и практика оставлений на второй год и даже отчислений была своего рода визитной карточкой гимназии. «Наибольшим многолюдством отличаются младшие классы гимназии, до IV включительно… Среднее число учащихся в каждом отделении названных классов — 51 человек, больше установленной нормы на 11 человек. В старших классах число учащихся постепенно понижается… Среднее число учеников в каждом из них 30 человек». Таким образом, отсев в младших гимназических классах составлял больше 40 %. В дальнейшем численность также понижалась, но в гораздо меньшей степени, что было вызвано как отчислениями гимназистов, так и переводами их в другие гимназии.
Второй год обучения удался Феликсу Дзержинскому значительно проще. Постепенно сказывались его способности к точным наукам, особенно к математике и физике. Перевод в третьем классе в частный пансион также имел значение.
Наибольшие проблемы по-прежнему были с преподавателями русского языка, а также немецкого языка. Эти преподаватели стремились всячески унизить достоинство польских и еврейских гимназистов. За первое полугодие 1889/1890 учебного года Дзержинский имел за поведение всего лишь удовлетворительную оценку. Она была снижена за его шалости и драку с товарищами в гимназии: «умышленный крик при вводе в класс преподавателя немецкого языка». Упомянутый преподаватель одно время даже требовал отчисления Феликса Дзержинского из гимназии.
Сохранилось описание Дзержинского этого периода, сделанное его старшим товарищем В. Н. Сперанским: «Ровесник мой по возрасту, Дзержинский был в виленской первой гимназии одним классом моложе меня. Отчетливо вижу его теперь перед моим духовным взором, вижу двенадцатилетним мальчиком, живым как ртуть и почти эпилептически нервным. Бледное малокровное лицо поминутно искажается гримасой. Резкий пронзительный голос как-то болезненно вибрирует. Неистовый Феликс постоянно носится ураганом по гимназическим коридорам, шумит, шалит и скандалит». О носящемся по коридорам гимназии Дзержинском Сперанский писал и в более ранних воспоминаниях, очевидно, это запомнилось Сперанскому. Правда, в них он явно демонизировал Дзержинского, в отличие от приведенных более поздних воспоминаний, откровенно подлаживаясь к требованиям эмиграции. «Вижу его теперь, как живого, перед моим духовным взором, вижу его 11-летним мальчиком, с светло-зелеными глазами, в которых то и дело вспыхивают сатанинские огоньки. Подвижный, как ртуть, ураганом носился он по обширным коридорам нашей гимназии, служившей прежде заданием виленского университета, но у него совсем не чувствовалось здоровой и непосредственной жизнерадостности, не было заметно детского незлобивого задора, наоборот, сразу бросалось в глаза какое-то нарастающее ожесточение, непримиримое не только против русской власти и русской национальности, но и против всего человечества. Тот человеконенавистнический садизм, который стал самой яркой чертой Дзержинского, когда он сделался верховным палачом русского народа, недвусмысленно проявлялся у него еще на школьной скамье».
Но не только характер двенадцатилетнего подростка толкал Феликса на разные поступки. Сказывалось унижение и в ситуациях, которые напоминали об «особом» положении поляков и других инородцев в гимназии. Упомянутый уже соученик Дзержинского В. Н. Сперанский вспоминал: «По царским дням ученики всех христианских вероисповеданий обязаны были выстаивать литургию и молебен — младшие четыре класса в домовой гимназической церкви, а старшие четыре — в Николаевском кафедральном соборе (теперь снова превращенном в костел). Как сейчас помню, что 26 февраля 1891 года в домовой нашей церкви Феликс Дзержинский стоял вплотную впереди меня. Превосходно пел гимназический хор. Наш законоучитель Антоний Павлович Гацкевич, тонкий позер и отличный проповедник, служил театрально-красиво. Дзержинского ничто в русском храме не интересовало.
Он томительно скучал и непрерывно вертелся. Наконец, Феликс сказал мне чрезвычайно нервным шепотом: