Судьи сначала выходили на поле в своей обычной одежде, но с ростом физических нагрузок главные судьи и линейные арбитры стали надевать короткие штаны черного цвета. Сверху они носили блейзеры (иногда с галстуком) — так было до 1930-х годов. После Второй мировой войны форма арбитров была модернизирована, но длинные шорты продержались до 1970-х годов. Основным цветом одежды остается черный с белой отделкой, хотя в матчах Премьер-лиги арбитры надевали рубашки с короткими рукавами в тонкую зеленую полоску. Использовались и другие фасоны и сочетания цветов.

На заре футбола матчи проводились без арбитров — игроки считались достаточно сознательными и демократичными людьми, чтобы самостоятельно оценить нарушения. В 1860—1870-х годах, когда споры о правилах и нарушениях стали более распространенным явлением как на поле, так и за его пределами, появились футбольные рефери (по одному от каждой команды), которые, как и в крикете, выносили решения лишь по требованию самих игроков. С развитием футбола и появлением профессиональных команд возникало все больше разногласий в толковании правил, и страсти в процессе игры достигали иногда опасного накала. В 1870-х годах в дополнение к двум рефери появился арбитр, фигура которого постепенно приобретала особую, решающую роль в судействе. Первое упоминание о рефери в футбольных правилах появилось в

1874 году, а об арбитре — в 1881-м. К началу 1885 года Футбольная ассоциация разработала руководство для арбитров и рефери, в 1891-м арбитр стал главным судьей, а рефери стали судьями на линии, чьи функции были четко обозначены в правилах.

В начале сезона 1889/90 года было отменено правило об обращении игроков к арбитру, и судья получил право назначать свободные удары по своему усмотрению. В 1890-х годах ввели И-метровые штрафные удары за серьезные нарушения в пределах штрафной площадки. Расширение судейских полномочий показывает, что к тому времени умышленная грубая игра стала обычным явлением. Задача судей упростилась после появления верхней перекладины ворот вместо ленты между столбами, а также сеток. Футбольные рефери должны были иметь флажки, которыми они обозначали свои решения. Эти флажки сохранились у линейных судей.