Pierwotny herb Arsenalu Londyn powstał w 1888 roku i był używany do 1913 roku. Przedstawiał on trzy armaty skierowane ku górze, które często mylono z kominami. U podnóży armat widoczne były wyrzeźbione herby lwów. Wygląd herbu nawiązywał do militarnego charakteru obszaru, w którym zlokalizowana była siedziba klubu. Zauważalne podobieństwo do znaku używanego przez hrabstwo Woolwich spowodowało zmianę jego formy. Od 1922 roku herb klubu przedstawiał jedno działo skierowane w kierunku wschodnim, dodano również napis „The Gunners” (Kanonierzy), czyli przydomek zespołu. Na przełomie lat 1925/1926 zmniejszono lufę armaty i zmieniono jej kierunek na zachodni. Później w górnej części dodano nazwę klubu „Arsenal” napisaną pismem gotyckim, herb hrabstwa Islington, zaś w dolnej części motto: Victoria Concordia Crescit, czyli: harmonia rodzi zwycięstwo. Autorem tej wersji herbu był angielski redaktor programów meczowych- Harry Homer. W kolejnych latach zmieniały się głównie barwy. Obecnie są to kolory zielony, złoty i czerwony.
Liczne poprawki spowodowały, że klub nie był w stanie zastrzec swojego herbu prawami autorskimi. Został on jedynie zarejestrowany jako znak towarowy. Nowa wersja, która powstała w 2002 roku została już zabezpieczona prawem autorskim i jest ona użytkowana do dnia dzisiejszego.
Obecny herb Arsenalu Londyn ma kształt tarczy w kolorze czerwonym, na której bokach widnieją niebieskie paski i delikatnie zaokrąglone linie. W środku widoczna jest armata skierowana w kierunku wschodnim, zaś na górze nazwa „Arsenal” pisana czcionką bezszeryfową. Niektórzy kibice (głównie członkowie Niezależnego Stowarzyszenia Kibiców Arsenalu) krytycznie odnosili się do tej wersji herbu twierdząc, że przeczy on tradycji i historii klubu oraz zarzucając klubowi brak konsultacji z fanami.
Do 1960 roku znaczek herbu był noszony na koszulkach piłkarzy jedynie w czasie ważniejszych meczy takich jak finały Pucharu FA Cup. Zazwyczaj miał on formę monogramu z inicjałami klubu przedstawionymi w kolorze czerwonym na białym tle. Monogram ten został zaprojektowany w stylu art deco i był wprowadzony w 1930 roku przez Herberta Chapmana. Litery A i C oprawiono w piłkę zamiast litery F. Symbol ten był wykorzystywany nie tylko jako znaczek na koszulkach zawodników lecz znajdował się również na podłogach z mozaiki i nad głównym wejściem. Biała armata od 1967 roku była nieodłącznym elementem koszulek piłkarzy, aż do zastąpienia jej herbem w 1990 roku z dodatkowym napisem „Gunners” jak zwykło się często określać zespół.
Na 125-lecie Arsenalu, przypadające na sezon 2011/2012 powstała zmodyfikowana wersja herbu. Na białym tle przedstawiono 15 liści dębu skierowanych w prawo, symbolizujących 15 założycieli klubu oraz 15 liści laurowych zwróconych w lewą stronę, które świadczą o sile zespołu. Symboliczny herb był noszony na koszulkach piłkarzy przez cały sezon.