"伍"字最初为军队编制。"伍"字拆开为"五人"。据《周礼》记载，"伍"是过去最小的军队编制单位。"五人为伍，五伍为两，四两为卒，五卒为旅，五旅为师，五师为军"。天子统六军，诸侯可领一军。《管子》中："五人为伍。"《墨子公输》："全伍为上，破伍次之。"这里的"伍"均为军队基础编制单位。五人设一个"长"，有"伍伯"、"伍长"、"伍部"等称谓，类似于现在一个班，但人数要少些。
中国古代的户籍制度，也是五家编为一伍。如"伍籍"是指平民的户籍，"伍侯"指编民为伍，相为侯望。这种行政单位也叫"比"，五户为一比。每当征兵时，五户人家各送一名男丁，一共要送五人，恰好组成军队中的一"伍"。无论干什么事情，这五个人总被分在一起，因此，参军当兵，就叫做"入伍"。