En 1920, les responsables sportifs de six HBCU du Texas - C.H. Fuller du Bishop College, Red Randolph et C.H. Patterson du Paul Quinn College, E.G. Evans, H.J. Evans et H.J. Starns de Prairie View A&M, D.C. Fuller du Texas College et G. Whitte Jordan du Wiley College - se sont réunis à Houston, au Texas, pour discuter de leurs intérêts communs. Lors de cette réunion, ils ont convenu de former une nouvelle ligue, le SWAC.
Paul Quinn est le premier des premiers membres à quitter la ligue lorsqu'elle le fait en 1929. Lorsque l'université de Langston en Oklahoma a été autorisée à participer à la conférence deux ans plus tard, elle a commencé à faire migrer des institutions soutenues par l'État vers le SWAC. La Southern University est entrée dans la ligue en 1934. L'Arkansas AM&N y est entrée en 1936 et la Texas Southern University en 1954.
Au fur et à mesure que les écoles soutenues par l'État se sont agrandies, il est devenu difficile pour les écoles soutenues par l'Église de payer leurs équipes sportives. Bientôt, les écoles soutenues par l'église ont commencé à quitter la conférence. Bishop se retire de la conférence en 1956, Langston en 1957 et Huston-Tillotson (anciennement Samuel Huston) en 1959. Cela s'est produit un an après l'entrée dans la ligue de deux autres écoles soutenues par l'État (Grambling College et Jackson State College). Le cycle entrée-sortie se poursuit en 1961 avec le retrait du Texas College, suivi par l'entrée d'Alcorn A&M en 1962. Wiley le quitte en 1968, l'année même de l'entrée du Mississippi Valley State College. L'Arkansas AM&N en est sorti en 1970 et l'Alabama State University y est entré en 1982. Arkansas-Pine Bluff (anciennement Arkansas AM&N) a rejoint le SWAC le 1er juillet 1997, retrouvant son statut de membre à part entière un an plus tard. L'université Alabama A&M est devenue le dixième membre de la conférence lorsqu'elle est devenue membre à part entière en septembre 1999, après une période d'un an en tant que membre affilié du CSAO.
Les compétitions de championnat actuellement proposées par le SWAC comprennent des compétitions pour hommes en base-ball, basket-ball, cross-country, football, golf, athlétisme en salle, athlétisme en plein air et tennis. Les compétitions féminines sont proposées dans les sports suivants : basket-ball, bowling, cross-country, golf, athlétisme en salle, athlétisme en plein air, football, softball, tennis et volley-ball.
