Sem Idrettsforening ble stiftet 14. februar 1921 med Anders Hem som den første formann. Formålet med foreningen var "at drive ski & fotballsport med muligens friidræt & turning".

Den gang eksisterte ikke grupper og gruppestyrer, det var styret med formannen i spissen som sto for det meste. Med en nystartet forening uten penger, uten bane og med en skibakke på lån, var det mange oppgaver å ta fatt i for det nyvalgte styret. I 1922 kjøpte foreningen 8 mål jord til anlegging av idrettsplass. Samme år kjøpte foreningen Bjellandbakken som ble innviet i 1923.

Alle grupper ble drevet av hovedstyret fra 1921-30. Turngruppa ble opprettet allerede første driftsår og apparater til konkurranseturn ble innkjøpt. Den første turnoppvisning ble holdt i mai 1922. I 1926 kom damene med egen gruppe hvor gymnastikk sto på programmet, dette var forløperen til damegruppa.

Sem Idrettsforening ble meldt inn i Vestfold Fotballkrets i april 1921. I løpet av sesongen 1921-22 spilte Sem 35 fotballkamper - 17 seire, 5 uavgjort og 13 tap.

På foreningens andre medlemsmøte 19. april 1921 ble det besluttet at det skulle drives friidrett. I 1926 ble det første friidrettsstevnet holdt på Sems bane. Friidrettsgruppa hadde en meget fin fremgang i årene som fulgte, og klubben hadde mange gode sprintere.

I 1948 ble håndballgruppa stiftet og meldt inn i kretsen med to lag. Håndballjentene viste seg snart å bli blant kretsens beste lag. Junior- og pikelagene ble avdelings-
mestere og senere kretsmestere. Håndballbane ble bygget på Sem i 1949.

Historiebok

Sem IF feriet i 1996 sitt 75-årsjubileum, og i den forbindelse ble det utgitt en historiebok.  Boka tar for seg deler av foreningens 75-årige historie og er fortsatt mulig å få kjøpt, pris kr. 150,-.