1. sort命令到底在干什么1.1 一句话理解sortsort是Linux下最基础也最强大的文本排序工具。它的核心功能就是把输入的行按照指定规则重新排列听起来简单但实际用起来门道不少。我这些年处理日志、统计访问量、清理重复数据几乎每次都离不开sort它和grep、awk、sed一起构成了Linux命令行文本处理的基本盘。如果你刚开始接触Linux可以把sort理解成一个“智能整理器”给它一堆乱序的文本行它能按照字母、数字、大小、日期甚至版本号帮你排好。比如你有一个成绩单文件里面有姓名和分数你想按分数从高到低排sort配合几个参数就能搞定。它适合谁用只要你在终端里碰过文本文件不管你是运维、后端开发、数据分析师还是刚入门的Linux爱好者sort都是值得花半小时完全掌握的命令。1.2 最常用的几个参数速览sort的常用参数并不算多但每个都对应一类典型场景。先列一张速查表后面再逐个展开细讲参数作用典型场景-n按数值大小排序按CPU占用率、端口号、数量排序-r反向排序从高到低排名-k指定排序字段列按第二列、第三列排序-t指定字段分隔符处理CSV、日志、passwd文件-u去重后输出仅保留重复行中的一行统计独立IP、独立用户-h按人类可读数字排序处理2K、3M、1G这样的容量-V按版本号自然排序排序v1.2、v1.10-f忽略大小写排序含大小写的字符串-c检查文件是否已排序验证数据有序性-s稳定排序保持原始顺序约束下的稳定-S指定内存使用上限大文件排序性能调优这些参数之间可以自由组合比如sort -n -r -k 2表示按第二列数值反向排序这是极其常见的组合。我自己在分析日志时最常敲的就是这种组合命令。1.3 默认排序规则把人坑惨了新手最常见的困惑是为什么sort file.txt排序出来和我预想的不一样尤其是按数字排的时候5居然排在30后面。这是因为sort默认使用“字典序”lexicographical order也就是按字符的ASCII码逐位比较。字典序下字符串30的第一个字符是3而5的第一个字符是53的ASCII码是515的ASCII码是53所以30排在5前面。这与我们直觉中的数值大小顺序完全相反。还有一个隐藏很深的坑locale区域设置会影响默认排序规则。如果你系统的LANG是en_US.UTF-8sort默认按字典序但如果你切到某些中文locale比如zh_CN.UTF-8排序规则可能会因为locale定义的collation而改变。更麻烦的是在某些Unix/Linux变体上locale还可能导致点号、横杠等符号的排序位置和预期不一致。我自己就遇到过脚本在测试环境排序正常、上线到生产环境后结果变了的情况最后排查半天发现就是两台机器的locale不同。所以我的建议是如果对排序规则有严格要求不要依赖默认行为显式加上参数。要按数字排就加-n要按版本排就加-V要固定标准字典序可以在命令前加LC_ALLC。2. 核心参数逐一拆解2.1 数值排序-n参数拯救你的数据很多排序需求本质上是按数字排比如查看谁吃了最多磁盘、哪个端口使用最多、哪条SQL查询最慢。没有-n的话sort就是按字典序干活结果完全不能用。来看一个实例。假设有一个文件nums.txt内容如下30 5 120 2 88直接执行sort nums.txt结果是120 2 30 5 88这个结果显然不是我们想要的。加上-n后2 5 30 88 120看起来就对了。-n的规则是按数值进行比较会自动忽略行首的空白字符所以对于每行只有一个数字的简单文件这是最直白的用法。-n还有一个附加特性它能识别科学计数法和负数。比如1e3 500 -2 0.5执行sort -n后会得到-2 0.5 500 1e3这里的1e3表示1000sort能正确解析。所以分析含有小数的日志耗时数据、有正负号的监控指标时-n都是正确的选择。2.2 反向排序-r参数与排名场景-rreverse参数表示反向排序从大到小。排名场景几乎必然要用到它找出最耗时的接口、文件最大的目录、访问量最高的IP。继续用上面的nums.txt举例sort -n -r的结果是120 88 30 5 2注意-r是修饰符它修饰的是sort的比较顺序而不是“永远反一下”。也就是说sort -r是在你当前排序规则的基础上反向而不是把整个输入文件倒过来。这一点容易误解有人以为sort -r file等同于tac file其实完全不同。tac是纯粹按行反转文件内容而sort -r是重新排序后再反向输出。实际项目里的典型用法是拿到排行榜Top N。比如有一个access.log四列分别是IP、时间、URL和耗时想找出耗时最长的5个请求可以结合sort -k和-r先按耗时列反向排再用head截取前5行。这个组合我一天能用无数次。2.3 按列排序-k与-t参数组合现实中的文本文件大多不是单列数字而是多列结构化数据。比如/etc/passwd每一行由7个字段组成字段间用冒号:分隔。sort天生支持按列排序这时候就需要指定字段分隔符和字段编号。-t用来指定分隔符-k用来指定按第几列排。语法是sort -t : -k 3 -n /etc/passwd这条命令把passwd文件按第三个字段UID数值升序排列。如果还想按用户名第一列排可以再指定多级排序键sort -t : -k 3 -n -k 1 /etc/passwd意思是先按UID排UID相等时按用户名排。这种多级排序键在实际处理CSV导出、日志表格时非常有用。-k的语法其实比想象中灵活得多完整形式是-k 字段起始[,字段结束]。比如-k 2,2表示只按第二列排序而-k 2表示从第二列开始一直比到行尾。这两者行为差异很大因为如果行尾还有其他字符它们会影响最终比较结果。建议大多数场景下写全-k 2,2的形式避免不定因素。我整理了一个CSV文件的场景假设data.csv内容为name,score,age Alice,88,29 Bob,72,35 Cindy,92,27想按score从高到低同时同分情况下按姓名正排命令是sort -t , -k 2,2 -n -r -k 1,1 data.csv得到Cindy,92,27 Alice,88,29 Bob,72,35注意这里-r的修饰范围问题-r放在-k 2,2 -n后面实际上它作用于整个排序键序列。我遇到过想“第二列反向但第一列正排”的场景这时候不能只用一个全局的-r需要更精确定位。正确做法是利用-k内的修饰符比如sort -t , -k 2,2 -n -r -k 1,1 data.csv和sort -t , -k 2,2 -rn -k 1,1 data.csv结果一致。但如果想让第一列反向、第二列正排需要写成sort -t , -k 1,1 -r -k 2,2 -n data.csv如果你需要在一个排序键上反向、另一个正排更方便的做法是使用-k内部指示符-k 2,2rn表示第二列数值反向然后第二排序键-k 1,1正排sort -t , -k 2,2rn -k 1,1 data.csv注意这里的rn是连写的r和n都是作用于该键的修饰符不会影响后面的键这是区分全局-r与局部修饰符的关键。2.4 去重利器-u参数和它的小坑-u参数的含义是“unique”输出时每个排序后的键值只保留一行。去重场景里它经常和uniq命令搞混我重点说一下两者区别。uniq只能去掉相邻的重复行所以通常要求输入已经排好序。而sort -u是“排序并去重”一步到位不需要预先排序。由于sort本身就要排序因此sort -u的效率实际上比sort file | uniq略高少了一次管道传递。一个典型例子是统计日志里的独立IPawk {print $1} access.log | sort -u等价写法是awk {print $1} access.log | sort | uniq两条命令结果一致但sort -u更简洁。需要注意-u在去重时按“完整行内容”比较。如果你用了-k指定按某一列去重那么它只保留每个键值的第一行。比如文件内容1 apple 1 banana 2 cherry执行sort -k 1,1 -u后输出可能是1 apple 2 cherry第一列等于1的两行只需要保留一行。至于是保留1 apple还是1 banana这个行为取决于排序稳定性及具体实现因此如果你对“保留哪一行”有要求应该先用别的命令比如awk精确挑选再交给sort。2.5 这些参数也值得记住-c、-f、-b-c用于检查文件是否已经按规则排好序。如果文件已有序命令静默退出返回0否则输出第一个乱序的行并返回1。这在脚本里做前置校验很实用。比如if sort -c data.txt; then echo data.txt 已有序 else echo data.txt 需要排序 fi-f表示忽略大小写排序时把A和a视为同一级。默认情况下大写字母在小写字母之前ASCII中A-Z是65-90a-z是97-122如果不想区分大小写加上-f即可。-b表示忽略行首和每列前的空白字符。sort默认会把空白当作字段分隔符的一部分这经常导致含缩进的行排序错乱。加上-b后sort会先忽略前导空白再比较。比如sort -b data.txt还有一个容易被忽略的细节如果文件里既有数字又有字母开头想要数字在前、字母在后默认字典序其实已经这么做了因为数字的ASCII码小于字母。但如果加上-n就成了“只按数值比较”非数字行会被当作0处理导致行为诡异。所以-n不适用于混排数据。3. 高级排序场景与实战3.1 按人类可读容量排序-h参数日常运维中经常遇到带单位的容量数据比如2K、3M、1G、500M。直接用sort字典序排结果是1G 2K 3M 500M这个顺序明显不对因为字典序里1G的1最小但它实际容量并不是最小。如果数据来自du -h或ls -lh就能体验到这种“看着像排了实际全乱”的感觉。-h参数专治这类问题它能识别K、M、G、T、P这些后缀并把它们换算成真实数值后再比较。执行sort -h2K 3M 500M 1G完全符合直觉。实际项目里我经常用它配合du找大目录du -h --max-depth1 /var | sort -h -r这条命令把/var下各个子目录的占用从大到小排出来一眼就能看出是哪个目录把磁盘撑爆了。配合head -10可以只看前10名。3.2 版本号排序-V参数-V是GNU sort提供的一个比较特殊的参数按版本号自然排序。它对如下形式的字符串能正确处理v1.1 v1.2 v1.10 v2.0普通字典序会把v1.10排在v1.2前面因为字符串比较到v1.1后0的ASCII码(48)小于2的ASCII码(50)。而-V能识别数字段并按数值比较所以v1.2在v1.10之前。这个功能在管理软件包、Kubernetes镜像Tag、发布版本时非常有用。比如列出所有镜像Tag并按版本排序docker images --format {{.Tag}} | sort -V或者在一个目录下找最新版本安装包ls *.tar.gz | sort -V | tail -1-V还能处理不带v前缀的纯数字版本比如1.2.3、10.0.1是比-n更智能的排序选择。但注意如果版本号里含字母后缀比如1.0.0-beta-V的排序结果可能和预期不一致因为beta这类后缀被当作普通字符串处理通常排在纯数字版本后面。如果项目用1.0.0-beta表示预发布版本你可能需要自己写比较逻辑或者用sort -V观察一下是否符合团队预期。另外我发现很多人会混淆-V和-n比如sort -n对1.2、1.10这种带点号的数据会出错因为-n只解析前导数字遇到.就停止所以1.2和1.10都变成1等于白排。这时候必须用-V。记住这个区分场景纯整数用-n带点号或字母的版本号用-V。3.3 忽略大小写与月份排序-f参数能忽略大小写排序处理用户输入的姓名列表时很实用echo -e Banana\napple\nCherry | sort -f输出apple Banana Cherry如果不加-f大写字母排在小写字母前结果是Banana、Cherry、apple看起来比较别扭。-f会让排序结果更符合人对字母顺序的直觉。这里有一个细节-f影响的是比较阶段不会改变输出内容。也就是说行原文是什么样子排序后还是什么样子。sort还支持一个比较冷门的-M参数按月份名称排序它能识别JAN、FEB、MAR这些缩写。实际场景中如果你有一份按月统计的销售数据文件里每行以月份缩写开头sort -M能把它们按月序正确排列。不过说实话我日常用到-M的次数很少更常见的做法是用date命令把月份转换成数字再排序因为-M只支持英文缩写中文环境或全拼月份会失灵。3.4 稳定性问题-s参数为什么关键排序稳定性是指当两个元素排序键值相等时它们原来的相对顺序是否保持不变。sort默认是不保证稳定的但因为GNU sort内部用了归并排序现实中大部分情况是稳定的。不过在指定了-s参数后可以显式要求“稳定排序”即完全保持相等键值的原始顺序。什么时候需要稳定排序典型场景是多次排序。比如一个文件有“城市、人口、GDP”三列你想先按城市排再按人口从高到低排并且要求人口相同的情况下保持城市顺序不变。如果你先按城市排一次再按人口排一次第二次排序时如果不稳定城市列的顺序可能被打乱而用sort -s可以保证“后一次的排序仅在前一次排序键相等时生效”。实测举例文件city.txtBeijing,1000,3000 Shanghai,1000,2500 Guangzhou,800,2000先按城市排sort -t , -k 1,1 city.txt得到Beijing,1000,3000 Guangzhou,800,2000 Shanghai,1000,2500然后按人口数反向排加-s保留前序顺序sort -t , -k 1,1 city.txt | sort -t , -k 2,2 -n -r -s输出Beijing,1000,3000 Shanghai,1000,2500 Guangzhou,800,2000可以看到人口相同1000的两行中Beijing依然排在Shanghai前面保持了第一次排序后的相对顺序。如果不加-s结果虽然大概率一致但理论上不能保证。在管道处理多级排序场景里加-s成本极低建议养成习惯。3.5 一个综合实战access.log日志统计把前面的知识串起来看一个相对完整的实战场景。假设有一个nginx访问日志access.log每行格式为IP地址 访问时间 请求路径 状态码 响应字节数现在需要统计“每个IP访问了多少次按次数从高到低排取前10”。典型命令是awk {print $1} access.log | sort | uniq -c | sort -n -r | head -10先awk取第一列IP然后sort排序再uniq -c计数再用sort -n -r按次数反向排序最后head -10取前10。这条管道是Linux日志分析里的经典范式。有人会问为什么不能直接用sort -u去重因为uniq -c需要把相同IP聚在一起且需要输出计数而sort -u只保留一行计数信息就丢了。所以这里必须分两步先排序再用uniq -c计数最后再来一轮sort排序。如果想按“响应字节数”排序找出传输量最大的请求可以awk {print $5, $3, $1} access.log | sort -n -r | head -5这里$5是字节数按数值降序取前5。如果字节数带了单位比如du输出的K、M把-n换成-h即可。4. 与其它命令的联动4.1 经典组合sort uniqsort和uniq是一对黄金搭档。uniq本身只能去掉相邻的重复行不排序的情况下文件中相同内容散落各处uniq根本去不掉。所以所有基于uniq的去重统计前面都必须有sort。常见模式sort file.txt | uniq或者带计数sort file.txt | uniq -c这个组合最大的价值在于“分类统计”。比如有一个订单文件每行代表一笔订单第一列是商品类别你想统计每个类别的订单数cut -d , -f 1 orders.csv | sort | uniq -c输出5 数码 3 家居 8 服饰uniq -c输出的第一列是次数第二列是内容。想要按次数从大到小排再追加一个sort -n -rcut -d , -f 1 orders.csv | sort | uniq -c | sort -n -r这个三段式管道是我在高频使用的基础技能处理用户行为日志、订单分类、错误码统计都非常顺手。4.2 取Top Nsort head/tail排序后取前几行或后几行是数据分析里最常见的需求。head和tail就是干这个的sort -n -r data.txt | head -5 sort -n data.txt | tail -5第一条取数值最大的5行第二条取数值最小的5行。注意tail取的是文件末尾所以要先从小到大排序再tail等价于反向排序后head。实际中我有一次在排查“哪个进程吃CPU最多”先用ps aux列出所有进程再用sort按CPU列排序ps aux | sort -k 3 -n -r | head -10这里的-k 3是按第三列CPU%排序加-n数值比较加-r从高到低。注意这里用了-k 3而不是-k 3,3在实际的ps aux输出里行尾还有命令参数按完整行比较会导致命令参数参与排序容易出现奇怪结果。更稳妥的是用-k 3,3 -n -r。4.3 处理CSV与日志的高级联动sort不是只能配awk和cut它和sed、grep也能很好协作。比如一个Excel导出的CSV文件想按第二列日期排序但某些行第一列带引号逗号导致字段错乱。这时候优先考虑用cut或python处理而不是强行用sort -t ,。如果数据规整则直接用sort -t , -k 2,2 data.csv这里需要注意CSV中引号包裹的字段可能包含换行、逗号这种情况下sort -t ,无法正确处理建议先转成制表符分隔的临时文件或者用python -c处理。对我来说遇到复杂CSV直接上python更省心sort适合处理结构简单的文本。日志处理里一个很有用的场景是按时间排序日志行开头通常是2025-01-15 10:23:45这种格式直接用sort字典序就能按时间排序因为ISO格式的日期时间在字典序下恰好也是时间顺序。这一点很重要——设计日志格式时尽量把时间戳放行首且用ISO格式这样日志天然可排序。4.4 大文件排序与性能优化sort对内存很敏感。如果文件不大全部读入内存排序没问题。但如果文件有好几个GBsort会使用外部排序external sorting把数据分块排序后写到临时文件再合并。这个过程会占用磁盘空间默认临时目录是/tmp。如果你要排序超大文件可以注意这几个点第一明确指定排序内存上限。用-S参数比如-S 1G表示最多使用1GB内存防止sort和系统中其他进程抢占内存导致系统卡死。第二指定临时目录。如果/tmp空间不足用-T /path/to/tmp把临时文件放到有足够空间的目录。我排过一次20GB的日志默认的/tmp只有2GB空间导致排序中途报错换成一个大分区就正常了。第三关闭locale排序的额外开销。给sort命令前加上LC_ALLC可以显著提升性能因为C locale的字符串比较比UTF-8 locale快不少。实测对几百MB文件提升明显。一个完整的大文件排序命令示例LC_ALLC sort -S 1G -T /data/tmp -k 2,2n huge_log.txt -o sorted_log.txt-o指定输出文件避免重定向到原文件造成文件截断。这里有个细节sort file file会把原文件清空-o则会安全处理。5. 常见问题与排查技巧5.1 数字排序还是不对先查locale明明加了-n排序结果依然不符合预期这种问题我遇到过好几次。大多数时候是locale在作怪。举个例子某些locale下sort可能把1.5和1,5都当作数字1.5来处理导致两行被认为相等乱序或去重。或者在en_US.UTF-8下-n只识别.作为小数点但你在处理欧洲格式的数字逗号作为小数点时结果完全不对。排查思路执行locale命令看当前语言环境然后试试LC_ALLC sort -n file.txt能否修正。如果确实是因为locale建议在脚本里统一加export LC_ALLC或者排序命令前显式指定LC_ALLC。LC_ALLC的本意是使用POSIX的标准行为即严格的字节序比较不做任何locale特殊处理。虽然排序结果可能和日常习惯略有差异比如大写字母排在小写前但行为可预测、性能更好适合脚本环境。5.2 去重后数量不对检查整行比较有人会用sort -u去重但发现数量比预期少。原因通常是-u按整行去重而行尾可能有隐藏空格或\r差异导致两行看起来相同但实际不同或者反过来看起来不同但因排序键相同而被去重。比如Windows下生成的文本文件行尾是\r\nLinux下用sort处理时\r会被当作行内容的一部分。于是apple\r apple在sort -u看来是两行不同数据去重失败。解决方案是先转换换行符sed -i s/\r$// file.txt sort -u file.txt反过来如果因为指定了-k而导致“看起来不同”的行被合并那是排序键的作用不属于bug。此时需要检查-k字段范围是否准确。5.3 大文件排序时提示空间不足排序大文件报sort: write failed: No space left on device这是临时目录磁盘空间耗尽。默认临时文件在/tmp而/tmp往往不大。解决办法sort -T /data/tmp bigfile.txt如果临时目录空间依然不够可以考虑压缩数据再排序比如gzip zcat配合但实现复杂度高一般不建议。更靠谱的是评估所需临时空间sort外部排序的临时文件大小通常和输入文件大小处于同一量级所以确保临时目录有输入文件2倍左右的空闲空间比较稳妥。另外如果文件是文本且主要由重复内容组成可以先压缩去重后再排序比如gzip -dc huge.txt.gz | sort -u -T /data/tmp | gzip unique.txt.gz这是处理超大日志的常用思路但需要注意管道中sort的输入是解压后的完整数据流实际临时空间不会减少多少只是减少输出文件大小。5.4 sort与sort -u、uniq的细微差别三者的关系容易混淆这里做个明确对照命令行为去重范围sort file排序不去重无sort -u file排序并去重按排序键去重sort file | uniq排序后再去重按整行去重这里有一个实际差异如果用了-k限定排序键sort -u会按排序键去重而sort file | uniq永远按“完整行”去重。看下面的例子文件dup.txt1 apple 1 banana 2 apple执行sort -k 1,1 -u dup.txt输出1 apple 2 apple因为第一列的1相同所以第一行的1 apple和1 banana只保留一个。而如果执行sort dup.txt | uniq因为三行内容各不相同三行都会保留。理解这个差异能避免在统计时少算数据。5.5 字段排序错乱分隔符和空白问题按列排序时结果总是不对常见原因有两个第一个原因分隔符设置错误。比如文件实际是制表符分隔却用了-t ,。排查方法是用cat -A file.txt查看文件真实分隔符cat -A会把制表符显示为^I行尾显示为$非常直观。第二个原因字段里包含空格或多个连续空白。sort默认把空白空格或制表符都当作字段分隔符连续多个空白会被压缩成一个分隔符。但如果字段内部含空格比如姓名“John Doe”sort就会把“John”和“Doe”当成两个字段导致-k指定的列错位。处理办法是显式指定分隔符最好是单字符且字段内不会出现的字符。比如处理“姓名 年龄 城市”这种格式可用-t |先转换或者用awk重排字段再排。我在项目里遇到过最隐蔽的问题文件的列之间混用了Tab和空格导致-k解析的字段和预期不一致。排查时先用awk -F \t {print NF} file.txt检查每行列数是否一致如果列数变化说明文件本身格式有问题先清洗数据再排序。5.6 排序结果不符合预期时的通用排查思路最后分享一个通用排查流程我遇到sort相关问题时基本按这个顺序查第一步看是否加了必要的类型参数。纯数字用-n带单位用-h版本号用-V别指望默认字典序能处理。第二步检查是否受locale影响。执行LC_ALLC sort file.txt对比结果如果变了就确认locale问题。第三步检查分隔符和字段范围。用cat -A看隐藏字符用awk -F验证列数。第四步确认是否存在换行符或编码问题。Windows换行、UTF-8 BOM、编码不一致都会导致排序异常。第五步如果排序结果在管道中变化检查管道中的每一步。用| head逐步查看中间结果定位是哪一步改变了数据。用这套方法我解决过不少看似诡异的排序问题绝大多数根因都在上面五类里。sort命令虽然看起来简单但真正用好需要对这些隐藏细节有足够敏感度。