Jón Gudni Fjóluson började sin fotbollsbana i Reykjavikklubben Fram, och delar därmed moderklubb med bland andra Pétur Marteinsson. Som 22-åring gick han till Belgiska Beerschot, för att året efter ansluta till GIF Sundsvall där han spelade fram till 2015. De då regerande mästarna IFK Norrköping värvade därefter Fjóluson, som kom att representera ”Peking” i två och en halv säsong innan flyttlasset gick vidare till ryska FK Krasnodar.
I såväl Norrköping som Krasnodar spelade Fjóluson Champions League-kval, och med Krasnodar även gruppspel i Europa League. Efter två år i Ryssland gick han i höstas vidare till norska Brann som han skrev kontrakt med 2020 ut. Under hösten gjorde han även två landskamper för Island, och totalt har det blivit 18 framträdanden i landslaget. Inför säsongen 2021 stod det sedan klart att Jóns karriär rullar vidare i Hammarby.
– Det känns fantastiskt att komma till Hammarby, det ska bli väldigt spännande. Det är en storklubb med ett stort och starkt stöd, och en klubb som har stor potential att nå sportsliga framgångar. Jag har ju spelat på Hammarbys hemmaarena flera gånger, och stödet från läktarna är något utöver det vanliga, sade Jón Gudni Fjóluson i samband med kontraktsskrivningen.