“伍”字最初为军队编制。“伍”字拆开为“五人”。据《周礼》记载，“伍”是过去最小的军队编制单位。“五人为伍，五伍为两，四两为卒，五卒为旅，五旅为师，五师为军”。天子统六军，诸侯可领一军。《管子》中：“五人为伍。”《墨子·公输》：“全伍为上，破伍次之。”这里的“伍”均为军队基础编制单位。五人设一个“长”，有“伍伯”、“伍长”、“伍部”等称谓，类似于现在一个班，但人数要少。

中国古代的户籍制度，也是五家编为一伍。如“伍籍”是指平民的户籍，“伍侯”指编民为伍，相为侯望。这种行政单位也叫“比”，五户为一比。每当征兵时，五户人家各送一名男丁，一共要送五人，恰好组成军队中的一“伍”。无论干什么事情，这五个人总被分在一起，因此，参军当兵，就叫做“入伍”。

以后历代的军队编制在不断地变化，但“伍”的叫法一直流传下来，人们也习惯把参军服兵役叫做“入伍”。在古代，由于封建等级制度的存在，爵位世袭。要想获得一定的封赏，立军功是一种方式。中国自秦代开始实行军功奖励制度，以后历代均有发展。“行伍出身”常用来描述那些依靠打仗和立军功起家的人。