С середины 1870-х годов арбитры стали пользоваться свистком.

Недовольство судейскими решениями проявлялось на всех этапах истории футбола. Довольно часто случались и нападения на судей во время или после игры, что иногда приводило к закрытию стадионов. В сезоне 1908/09 года для защиты судей был учрежден Союз футбольных арбитров, а решение ФА повысить судейскую квалификацию способствовало созданию Судейской ассоциации в 1893 году, которая спустя шесть лет была переименована в Комиссию по судейству.

То обстоятельство, что первые рефери и арбитры являлись преимущественно членами клубов или ассоциаций, часто вызывало сомнения в их беспристрастности. Постепенно судейство выделилось в отдельную категорию независимых чиновников — выходцев из среднего класса. Игроки выступали за создание института профессиональных арбитров, поскольку их собственный заработок все в большей степени зависел от качества игры. Социальный статус арбитров со временем не претерпел заметных изменений, о чем свидетельствуют данные 1978 года, согласно которым 88% судей являются представителями среднего класса. Недавний опрос, проведенный среди судей Премьер-лиги, свидетельствует о сохранении этой тенденции.

Стэнли Роуз в 1920—1930-х годах был футбольным арбитром, потом стал секретарем ФА, а впоследствии президентом ФИФА. Ему приписывают создание диагональной системы контроля за игровыми зонами на поле и координации передвижений арбитра, линейных судей или помощников для максимального перекрытия этих зон. Кроме того, с его одобрения были введены цветные карточки для предупреждения игроков о нарушениях и удалении с поля (впервые опробованы на Олимпийских играх 1968 года), дуговая разметка перед вратарской площадкой, позаимствованная из итальянского футбола, а также таблички с указанием номера игрока, уходящего с поля и выходящего на замену. Тем не менее не все его решения были эффективны. Сам Роуз признал неудачным выбор арбитров для заключительной части чемпионата мира 1966 года в Англии, что вызвало недовольство со стороны команд из Южной Америки и будущего президента ФИФА Жоао Авеланжа.