Oliver Silverholt inledde karriären i BK Astrio, och gick över till grannen HBK vid 16 års ålder. 2012 blev det A-lagsdebut för Silverholt, som sammantaget gjorde 47 allsvenska matcher i HBK-dressen. Efter 2014 års säsong löpte kontraktet ut, och då speltiden på Örjans Vall inte blivit som året dessförinnan i och med lagets byte av spelsystem, blev han Bajens första nyförvärv den vintern.

Silverholts utgångsposition är innermittfältare, men den tvåfotade och spelskicklige 21-åringen huserade ibland såväl på yttermittfältet som på ytterbacksplatsen under tiden i HBK. Silverholt deltog emellanåt i matchandet under Bajens vårsäsong 2015, och avslutade den dessutom i stil – med uttagning i 20-mannatruppen för det nya svenska U21-landslaget. Där tvingades han dock tacka nej på grund av en skada, och under hösten fick han knepigare att ta plats i klubblaget. Sammantaget blev det ändå 15 allsvenska framträdanden under året för Silverholt, varav tio från start. Under våren 2016 har det blivit alltmer speltid, framför allt på ytterbackspositionerna.