Les écrits canoniques du Nouveau Testament, ainsi que d'autres sources écrites de l'église primitive, donnent un aperçu de la vie de Saint Jacques et de son rôle dans l'église primitive. Les Synoptiques mentionnent son nom, mais rien d'autre à son sujet, alors que l'Évangile de Jean et les premiers chapitres des Actes des Apôtres ne mentionnent même pas Jacques.
Les Actes des Apôtres, dans des chapitres ultérieurs, prouvent que Jacques était une figure importante de la communauté chrétienne de Jérusalem. Lorsque Pierre, s'étant miraculeusement échappé de prison, doit fuir Jérusalem, il demande que Jacques en soit informé (12:17). Lorsque les chrétiens d'Antioche se demandent si les chrétiens païens doivent être circoncis pour être sauvés, et qu'ils envoient Paul et Barnabé pour conférer avec l'église de Jérusalem sur place, Jacques joue un rôle important dans la formulation de la décision du concile (15:13ff). En effet, après que Pierre et Paul aient fait valoir leurs arguments, c'est Jacques qui rend finalement ce qu'il appelle son "jugement" - le sens original est proche de "ma décision" - et ensuite, tous l'acceptent. En d'autres termes, Jacques est montré en charge du groupe de Jérusalem, ce qui est en contradiction avec les affirmations ultérieures de la primauté de Pierre dans cette ville. Et lorsque Paul arrive à Jérusalem pour y remettre l'argent qu'il a recueilli pour les fidèles, c'est à Jacques qu'il s'adresse, et qui insiste pour que Paul se purifie rituellement au temple d'Hérode pour prouver sa foi et démentir les rumeurs d'enseignement de la rébellion contre la Torah (21:18ff) (une accusation d'antinomie).
Paul décrit en outre Jacques comme étant l'une des personnes à qui le Christ ressuscité s'est montré (1 Corinthiens 15:3-8) ; puis plus tard dans 1 Corinthiens, mentionne Jacques d'une manière qui suggère que Jacques a été marié (9 :5) ; et dans les Galates, Paul énumère Jacques avec Céphas (plus connu sous le nom de Pierre) et Jean, comme les trois "piliers" de l'Église, et qui exerceront un ministère auprès des "circoncis" (en général des Juifs et des prosélytes juifs) à Jérusalem, tandis que Paul et ses compagnons exerceront un ministère auprès des "incirconcis" (en général des païens). (2:9, 2:12). Ces termes (circoncis/non circoncis) sont généralement interprétés comme désignant les Juifs et les Grecs, qui étaient prédominants, mais il s'agit d'une simplification excessive car la province d'Iudée au 1er siècle comptait également des Juifs qui n'étaient plus circoncis, ainsi que des Grecs (appelés prosélytes ou judaïsants) et d'autres comme les Égyptiens, les Éthiopiens et les Arabes qui l'étaient.
