Так как денег все равно не хватало, Феликс Дзержинский подрабатывал в это период и частными уроками. Об этом, в частности, свидетельствует протокол допроса ковенского жандармского управления шестнадцатилетнего Рощинского, которого Дзержинский готовил к поступлению в Тельшяйскую римско-католическую семинарию.
В Ковно Дзержинский продолжает и революционную работу. Он выпускает на гектографе нелегальную газету «Ковенский рабочий» на польском языке (вышел один номер, весь из материалов Дзержинского). Весь номер на восьми страницах он составил буквально за несколько недель. Номер был отпечатан 1 апреля. Спустя две недели он приехал в Вильно и показал этот номер на заседании Виленского комитета партии. А. Гульбинович, присутствовавший на заседании, вспоминал: «Мы обратили внимание на то, что первые страницы были написаны четко и разборчиво, а последние уже менее старательно и менее разборчивым мелким почерком. Он оправдывался тем, что у него было очень мало времени: сам писал, сам печатал, сам распространял, сам бегал на фабрики и агитировал».
Ряд статей были им написаны и для выходившей за границей социал-демократической газеты «Роботник литевски» № 2 и № 3. Позднее Дзержинский вспоминал: «Я дал тогда массу материала о положении ковенских рабочих в «Роботник ковиенски» (вышел всего один номер, гектографированный; материал в нем исключительно мой) и «Роботник литевски».
Вернувшись в конце апреля в Ковно, Дзержинский стал инициатором подготовки и проведения празднования 1 мая. На митинге Дзержинский произнес пламенную речь, которая запомнилась рабочим образным сравнением царизма со свиньей, готовой сожрать солнце, образ который он взял у русского писателя М. Е. Салтыкова-Щедрина.
В этот же период Феликс Дзержинский руководит забастовкой в Алексоте, пригороде Ковно. Рабочие добились сокращения рабочего дня на 3 часа. Вспоминая о том времени, он писал в автобиографии: «Здесь пришлось войти в самую гущу фабричных масс и столкнуться с неслыханной нищетой и эксплуатацией, особенно женского труда. Тогда я на практике научился организовывать стачку». Общаясь, в том числе, с рабочими-литовцами, Дзержинский начинает учить литовский язык. Позднее, уже после ареста, среди его книг полицейские найдут небольшой рукописный польско-литовский словник.
17 (29) июля 1897 г. произошел первый арест Феликса Дзержинского. В «Обзоре важнейших дознаний по делам о государственных преступлениях» за 1897 год за соответствующей датой записано: «17 июля 1897 года в гор. Ковне, на площади около военного собора, был задержан неизвестный человек, наименовавшийся Эдмундом Жебровским, который, появляясь на фабрике Тильманса, распространял между рабочими разные книжки. При обыске у задержанного, оказавшегося в действительности дворянином Виленской губернии Феликсом Эдмундовичем Дзержинским, обнаружены в большом числе заметки, выписки и вырезки из дозволенных и подпольных газет о стачках, нормировке рабочего дня и вообще по рабочему вопросу».
Арест состоялся по доносу рабочего-подростка, соблазнившегося 10 рублями. Сам Дзержинский так описывал обстоятельства своего первого ареста: «Был выдан одним рабочим, которому принес в скверик возле собора нелегальные книжки. Предатель получил за свою работу 10 рублей». Речь шла о рабочем-подростке завода «Бр. Тильманс» Михале Римасе.
Отметим, что арест Дзержинского не был игрой случая или последствием только одного предательства. Активность революционеров в литовско-белорусско-польских землях Российской империи, как бундовцев, так и социал-демократов, была очевидной для охранки. Уже с мая 1897 г. ею проводилась работа по организации широкомасштабной операции по аресту всех активистов этих организаций. Так, в ночь на 26 июля 1897 г. были произведены аресты 55 членов Бунд, в том числе в Минске (17 человек), Бобруйске (5 человек), Вильно (7 человек), Варшаве и Лодзи (20 человек), Барановичах (3 человека), в Одессе, Гродно и Брянске по одному. Вскоре, вторым заходом, были арестованы еще 12 бундовцев. Также в этот период последовали аресты членов различных местных социал-демократических организаций, в том числе многочисленных «Союзов борьбы за освобождение рабочего класса». Целью арестов были в первую очередь подпольные типографии и пункты распространения нелегальной литературы. Арест Дзержинского и разгром ковенской организации социал-демократов хорошо вписывается в эту волну арестов.
Первоначально, после ареста, Феликс Дзержинский назвался Жебровским Эдмундом Ромуальдовичем, дворянином из Минска. Этим он надеялся выиграть время, для того чтобы из его квартиры удалили всю компрометирующую литературу. Однако небольшой выигрыш во времени мало что дал для заключенного в Ковенскую тюрьму Дзержинского. Ничего вывезено из квартиры так и не было.
При обыске на квартире Дзержинского нашли вырезки из легальных и нелегальных газет, нелегальную литературу. Была обнаружена также настоящая библиотека для рабочих, с книгами иногда до пяти экземпляров отдельных произведений. После обнаружения книг Дзержинского у рабочих его обвинили в распространении запрещенной литературы. На него стало оказываться физическое и психологическое давление. Несмотря на то, что он находился под следствием и являлся, согласно российскому законодательству, несовершеннолетним, его постоянно сажали в тюремный карцер без воды и пищи. Применялись и телесные наказания — били до потери сознания. На это же указывал в своем исследовании даже эмигрант Р. Гуль: «В первой тюрьме «Астроном» провел год. Из тюрьмы писал товарищам: «жандармы бьют меня, и я им отомщу». Телесные наказания и бесконечные очные ставки оказались малоэффективными. Показаний на других Дзержинский не дал.