“格尔木”（又作高鲁木斯、郭里峁、噶尔穆）是蒙古语译音，意为“河流密集的地方”“河流众多”。

古为羌地，自东晋至清历属吐谷浑、威定县、吐蕃王国、角厮罗政权、吐蕃等处宣慰司、曲先卫、钦差办理青海蒙古番子事务大臣。民国十八年（1929年）青海建省后属都兰县、通新设置局。1954年成立阿尔顿曲克哈萨克族自治区人民政府，1956年成立噶尔穆临时工委（一说：1956年3月1日成立了格尔木工作委员会，为县级领导机构），1960年11月17日国务院全体会议第105次会议批准设格尔木市，1965年3月27日改为格尔木县，1980年6月14日复设格尔木市。格尔木市仍隶属海西蒙古藏族自治州管辖，为副地级市。1992年设立省计划单列市。