Неизвестно, как сложилась бы футбольная карьера Виктора, но на следующий год его призвали в армию, а вскоре он был принят в команду ВВС. Затем, уже после демобилизации Виктор Жарков, поиграв за московский «Химик» и калининский «Спартак», перешёл, как и его старшие братья, на тренерскую работу.

Георгий Иванович Жарков, начав тренерскую деятельность с 1952 года, работал с командами высшей лиги: «Торпедо» (Москва), «Локомотив» (Москва), «Зенит» (Ленинград), «Серп и Молот» (Москва), «Арарат» (Ереван), «Уралмаш» (Свердловск) и «Нефтчи» (Баку). Кроме этого, он трудился в качестве государственного тренера при Спорткомитете СССР и тренировал юношескую сборную Советского Союза. При главном тренере Жаркове в 1958 году «Зенит» занял четвёртое место в чемпионате страны — лучшее достижение команды послевоенных лет. В период работы Жаркова закрепились в «Зенита» его будущие лидеры – Л.Бурчалкин, В.Храповицкий, А.Дергачёв, Н.Рязанов, В.Мещеряков, братья О. и Ю.Морозовы, появились в большом футболе Б.Батанов и А.Кавазашвили. Василий Иванович Жарков, закончив играть, работал тренером в ГДР, а потом тренировал команды «Красное Сормово» (Горький), «Сокол» (Саратов) и «Динамо» (Махачкала). Работал во Всесоюзном совете ДСО профсоюзов, в Федерации футбола ДСО профсоюзов. Виктор Иванович Жарков вначале работал тренером в подмосковных командах «Знамя труда» (Орехово-Зуево), с которой в 1958 году дошёл до четвертьфинала Кубка СССР, и «Авангард» (Коломна), где дал путёвку в большой футбол Эдуарду Малофееву, а затем передавал свой опыт футболистам Вьетнама. Большую известность Виктор Жарков приобрел как квалифицированный судья. В этом качестве он дебютировал в 1964 году, а с 1969 года ему было доверено судейство матчей высшей лиги.  Виктор Жарков, как и его старший брат Георгий, работал старшим преподавателем кафедры физвоспитания Московского государственного университета. «Старожилы Глуховки и всего города хорошо помнят горячие футбольные встречи, проходившие на берегу Черноголовского пруда два десятка лет назад, – писал на страницах газеты «Знамя коммунизма» в октябре 1957 года рабочий Бумаго-прядильной фабрики Глуховского комбината Д.Пискунов. – Далеко шла тогда слава о глуховских футболистах. Всем памятна острая игра на Кубок СССР между сборной Глуховского комбината и ленинградской командой ДСО «Динамо».