Sidney Poitier był najmłodszym z siódemki dzieci farmerów z Bahamów. Na świat przyszedł w Miami na Florydzie, gdzie jego rodzice regularnie wyjeżdżali, aby sprzedawać warzywa. Dorastał na Bahamach, jednak ze względu na to, że urodził się w Stanach Zjednoczonych, automatycznie przysługiwało mu amerykańskie obywatelstwo.
W wieku 15 lat zamieszkał z rodziną swojego brata w Miami, a rok później przeniósł się do Nowego Jorku, z zamiarem zajęcia się aktorstwem. Jego pierwsze przesłuchanie było nieudane – nie potrafił przeczytać scenariusza w American Negro Theatre. Zauważył to starszy żydowski kelner, który zaoferował swoją pomoc w nauce. Podczas II wojny światowej Poitier skłamał na temat swojego wieku i zaciągnął się do wojska. Przydzielono mu pracę w szpitalu psychiatrycznym. W związku z tym, że nie zgadzał się na to, jak traktowani są pacjenci, sam udawał, że jest chory, aby uzyskać wypis.