Sam Phillips est le cadet d'une famille comptant huit frères et sœurs.

Il a grandi dans une plantation à Florence, Alabama. Quand il était petit, un vieux noir Oncle Silas Payne lui chantait du blues.

Au lycée il a déjà l'étoffe d'un meneur de troupe. Ses qualités impressionnent le directeur de la station locale WLAY, qui lui offre un poste à responsabilité.

Ses débuts dans l'industrie de musique commencent en tant que producteur de plusieurs stations radios telles que: WLAY, WLAC, WREC.

Chez WREC, il produit un show intitulé des Songs of the West où il développe ses compétences d'ingénieur du son.

En octobre 1949, il loue un local au 706 Union Avenue, à Memphis dans le Tennessee, qu'il convertit en studio d'enregistrement et qu'il nomme Sun Records. Officiellement ouverte en le 3 janvier 1950, la maison de disques a pour devise "We Record Anything-Anywhere-Anytime" (Nous Enregistrons N'importe quoi - N'importe où - N'importe quand).

Entre 1950 et 1954, Phillips produit des disques de rhythm and Blues avec des artistes aussi variés que James Cotton, Rufus Thomas, Rosco Gordon ou des légendes du blues, Howlin' Wolf ou en devenir tel B. B. King.

En 1951, il a aussi enregistré au studio Sun Records le disque Rocket 88 par Jackie Brenston et ses Delta Cats, considéré par certains historiens du rock'n'roll 2 comme le premier disque de rock. Ce disque est sorti sous le label de Chicago Chess Records.

Il cherche, à l'époque, selon ses propres paroles, "un Blanc qui ait le son et la sensibilité noire, ça pourrait me rapporter un million de dollars"1. Les objectifs de Phillips n'étaient pas que mercantiles, car il a déclaré qu'il se battait pour aider des artistes nouveaux et pour qu'ils puissent obtenir la liberté dans leur musique3. Il le trouve avec un premier artiste "Harmonica", Franck Floyd, un chanteur d'une quarantaine d'années qui chante en s'accompagnant d'un harmonica. Cet artiste ne connut jamais le succès.

Mais Phillips découvre le chanteur qu'il cherchait en Elvis Presley, quand celui-ci enregistre sa version de la chanson That's All Right Mama, composée par Arthur "Big Boy" Crudup. Si le disque a remporté un grand succès à Memphis et dans les États du Sud de États-Unis, Blue Moon of Kentcucky y a été plus populaire que That's All Right (Mama). Malgré ce succès local, Phillips a éprouvé des difficultés financières qui l'ont amené à vendre le contrat de Presley en novembre 1955 pour $35 000 à RCA. La vente du contrat de Presley a permis d'améliorer la distribution de la chanson de Carl Perkins ; Blue Suede Shoes, qui deviendra le premier succès national de Sun Records.

Outre Carl Perkins, Sun Records va produire des jeunes artistes tels Jerry Lee Lewis, Johnny Cash et Roy Orbison.

Le 4 décembre 1956, alors que Jerry Lee Lewis, Johnny Cash et Carl Perkins se trouvent en studio pour enregistrer, débarque Elvis Presley et ils débutent une improvisation que Phillips ne manquera de mettre sur bandes, mais le disque ne sortira que bien des années plus tard sous le nom de The Million Dollar Quartet.

En 1969, Sam Phillips vend Sun Records à Shelby Singleton.

En 1986, Sam Phillips est introduit au Rock'n'roll Hall of Fame et, en 2001, son nom figurera au Country Music Hall of Fame.

Il meurt à l'âge de 80 ans en 2003.