ФК «Арсенал» появился на футбольной карте Украины в 1998 году. Днем основания клуба считается дата 30 января, когда команда собралась в манеже Харьковского авиационного института на первый тренировочный сбор. Местом базирования нового клуба был избран спорткомплекс «Спартак». На пост главного тренера пригласили чемпиона мира в составе молодежной сборной СССР, мастера спорта международного класса Валентина Крячко.
Параллельно с формированием команды шла работа по созданию инфраструктуры футбольного клуба высокого уровня. Подтверждением тому служил и тот факт, что уже 1999 году руководство клуба поставило вопрос об организации собственной детской школы, задачей которой являлось привлечение детей к регулярным занятиям футболом, а также подготовка профессиональных футболистов. И уже в 2000 году четыре команды детского футбольного клуба стали защищать честь «Арсенала» в высшей лиге ДЮФЛУ.
Дебют ФК «Арсенал» на профессиональном уровне состоялся 2 августа 1999 года в Кременчуге. К тому времени «Арсенал» стал полноправным членом Профессиональной футбольной лиги Украины. Первый гол «Арсенала» в первенствах Украины забил Виктор Григоров. А по окончании матча с «Кремнем» была зафиксирована и первая победа харьковчан – 1:0.
9 июня 2002 года, за два тура до финиша первенства, после победы над «Сталью» в Днепродзержинске «Арсенал» досрочно завоевал путевку в Первую лигу. Всего за четыре года он прошел путь от любительской команды до команды профессионалов, представляющих Харьков в Первой лиге.
Дебютный матч «Арсенала» в Первой лиге состоялся 6 июля 2002 года в Ужгороде и его итог был из разряда «первый блин комом» – 0:3. Однако уже 13 июля на поле «Спартака» была одержана первая победа в Первой лиге. Со счетом 3:2 были обыграны львовские «Карпаты-2». А автором дебютного гола «Арсенала» стал Максим Чернышов. В том же сезоне произошло и еще одно знаменательное не только для «Арсенала», но и для всего города событие: после зимнего межсезонья в составе «красно-белых» появился Андерсон Мендес Рибейро – первый легионер в составе «Арсенала» и вообще первый бразильский футболист, игравший за харьковскую команду.
«Арсенал» из года в год прибавлял как в турнирных достижениях, так и в исполнительском мастерстве. Уверенно начав сезон 2004/2005 гг., «Арсенал» заставил футбольную Украину всерьез говорить о харьковском клубе, как об одном из основных претендентов на повышение в классе. В том же сезоне состоялось и еще несколько знаменательных событий. Первым из них стало открытие клубного стадиона «Арсенал-Бавария», построенного на месте бывшего стадиона канатного завода. Открытие новой арены и дебютный матч на ней состоялись 28 августа 2004 года: тогда «Арсенал» со счетом 2:1 обыграл хмельницкое «Подолье».
Турнирная задача, сформулированная в зимнее межсезонье, звучала однозначно – выход в высшую лигу. Что «Арсенал» с честью и выполнил. Однако в силу ряда организационных и иных причин, в высшую лигу был заявлен ФК «Харьков», президентом которого стал Виталий Данилов; а «Арсенал», во главе с Владимиром Чумаком, и, сохранивший за собой всю основную клубную структуру, заявился для соревнований в группу «В» первенства Украины среди команд Второй лиги. Теперь несколько изменились и задачи клуба – вместо непрерывного движения вверх, «Арсенал» начал в первую очередь ориентироваться на воспитание и подготовку талантливой молодежи.
Заново созданный «Арсенал» фактически только набирался опыта выступлений во Второй лиге. В 2005 году презентовать обновленный «Арсенал» на всеукраинской арене довелось молодым игрокам, многие из которых в этот день получали первый опыт участия в соревнованиях такого ранга. Однако постепенно команда, собранная из недавних выпускников ДЮФК, становилась настоящим профессиональным коллективом. Потихоньку «Арсенал» начал возвращать себе былой авторитет. Команда, как бы «по старой привычке» вновь вошла в лидирующую группу и стала считаться одним из фаворитов. Параллельно продолжалось развитие и совершенствование клубной инфраструктуры. К ноябрю 2006 года на стадионе «Арсенал-Спартак» закончились работы по реконструкции, был уложен синтетический газон, и теперь команда получила возможность играть на двух стадионах.
В сезоне 2007/2008 гг. по уровню игры «Арсенала» на порядок превосходил своих основных соперников. Не последнюю роль в становлении команды сыграл известный в прошлом футболист Сергей Кандауров, под чьим тренерским началом «красно-белые» всерьез претендовали на выход в Первую лигу. Сегодня «Арсенал», сместив акцент на работу с юными футболистами, продолжает делать ставку на воспитанников ДЮФК.