大司馬首次出現于晉干寶《搜神記》卷四：文王以太公望為灌壇令。期年，風不鳴條。文王夢一婦人。文王覺，召太公問之。是日果有疾雨暴風，從太公邑外而過。文王乃拜太公為大司馬。

大司馬是中國古代對中央政府中專司武職的最高長官的稱呼。類似于后世的天下兵馬大元帥，現代的武裝部隊總司令。《周禮》以大司馬為夏官之長。大司馬之職，掌建邦國之九法，以佐王平邦國。以九伐之法正邦國。應劭曰：司馬，主武也，諸武官亦以為號。

大司馬，古代官名。《周禮夏官》有大司馬，掌邦政。漢承秦制，置丞相、御史大夫、太尉，漢武帝罷太尉置大司馬。 西漢一朝，常以授掌權的外戚，多與大將軍、驃騎將軍、車騎將軍等聯稱，也有不兼將軍號的。

東漢初為三公之一，旋改太尉，東漢末年又別置大司馬，位在三公之上。魏晉為上公之一，位在三公之上，第一品。南北朝或置或不置，北朝魏、齊的大司馬與大將軍并為二大，典武事，亦在三公之上。