业务机突然报 Name or service not known,yum 拉包失败,或者 time1.tencentyun.com 这种内网域名超时,先别去改安全组,也别把 DNS 换成 119.29.29.29 试试。腾讯云 VPC 里的私有域和一批内部服务,只认默认 DNS 183.60.83.19 与 183.60.82.98;本机 resolv.conf 没指到它们,或者指到了但被 DHCP 覆盖,现象都是名字挂了、IP 还通。
应用报 Unknown host、Temporary failure in name resolution、Name or service not known,才是解析问题。已经拿到 IP 之后连接超时、连接被拒绝,是路由、安全组或对端进程的事,换 DNS 解决不了。ping 通某个域名也不能说明解析配置是对的:它只证明这一次解析到了一个能回 ICMP 的地址,看不出问的是哪台 DNS,也看不出私有域和公网记录是不是串了。
在故障机上把「进程实际走的解析」和「指定 DNS 的解析」拆开。探针用内网 NTP 域名 time1.tencentyun.com,云服务器 NTP 说明里写的就是 time1.tencentyun.com 到 time5.tencentyun.com,默认 DNS 应该能解析它。不要用一个公网域名判断内网 DNS 是否正常。
getent hosts time1.tencentyun.com
dig +time=2 +tries=1 time1.tencentyun.com A
dig +time=2 +tries=1 @183.60.83.19 time1.tencentyun.com A
dig +time=2 +tries=1 @183.60.82.98 time1.tencentyun.com A不要加 +short。排障要看 status 和 SERVER:status 为 NOERROR 只表示这次查询有结果,SERVER 才说明应答来自你指定的那台。两台默认 DNS 都要单独问一遍。只测第一台,第二台不可达时平时看不出来,等第一台抖动,查询就会先空等一轮超时。
下面几种结果对应不同层,不要混在一次「DNS 坏了」里:
现象 | 下一步 |
|---|---|
指定两台默认 DNS 都有地址,getent 失败或很慢 | 云端 DNS 正常,查本机 resolv.conf、nsswitch、resolved、nscd、/etc/hosts |
指定默认 DNS 超时,没有 status | 请求没得到应答,查到这两台地址的路由,以及 UDP/TCP 53 是否被丢 |
默认 DNS 返回 NXDOMAIN 或空应答 | 路径是通的,查名字是否写错、私有域是否关联了本 VPC |
默认 DNS 能解析 time1.tencentyun.com,解不了业务私有域名 | 默认 DNS 可用,查 Private DNS 记录和 VPC 关联 |
低并发 dig 正常,业务间歇失败 | 先看是不是公网名、是不是打到外部递归限速,再看缓存 |
公网 Public DNS 免费版 IPv4 是 119.29.29.29,单域名调用频率限制 20 QPS,不承诺可用性 SLA。它查的是公网权威,解不了 tencentyun.com 这类内网名,也不会套用 Private DNS 里的私有域。用它能解析一个公网域名,不能证明这台 CVM 的内网解析是好的。IPv6 地址是 2402:4e00:: 和 2402:4e00:1::,实例没有可用的 IPv6 出网时不要写进 resolv.conf,解析器可能先去等一个不可达地址。
指定默认 DNS 超时,和返回 NXDOMAIN 不是一回事。超时说明查询没得到应答:用下面两条看本机有没有到这两台地址的路由。路由都没有,就不是改解析记录能修好的。
ip -4 route get 183.60.83.19
ip -4 route get 183.60.82.98路由在、dig 仍超时,再看出站和本机防火墙有没有丢掉发往这两台地址的 UDP 53。响应被截断时会回退 TCP 53,只放通 UDP 会留下一类偶发失败。抓包确认请求有没有离开本机即可,过滤表达式不用展开:
tcpdump -ni any -c 20 host 183.60.83.19 and port 53有请求无应答,问题在路径或对端;本机没有请求,问题在解析器没把查询发出去,回到下一节的本机配置。
glibc 和业务进程读的是 /etc/resolv.conf,以及 nsswitch.conf 里 hosts 那一行。dig 不带 @ 时自己按 resolv.conf 做 DNS 查询,不走 nsswitch;getent、ping 和绝大多数业务走 nsswitch。所以只跑 dig 会漏掉 hosts 文件、nscd 和「hosts 行被改掉」这几类故障。
ls -l /etc/resolv.conf
cat /etc/resolv.conf
grep -E '^hosts:' /etc/nsswitch.conf
grep -n tencentyun.com /etc/hosts
command -v resolvectl >/dev/null && resolvectl status
systemctl is-active systemd-resolved nscd 2>/dev/null || trueVPC 文档给出的默认 DNS 是 183.60.83.19 和 183.60.82.98。常见下发看起来是这样,实际以控制台和这台机器上的文件为准:
nameserver 183.60.83.19
nameserver 183.60.82.98对照时按下面几类看,不要看到文件「有内容」就认为配置正确。
nameserver 被换成 119.29.29.29 或其他公共 DNS、自建 DNS。私有域解析的产品规则只对发往 183.60.83.19、183.60.82.98 的请求生效。终端改成其他地址后,这台 CVM 上既没有私有域,也没有腾讯云默认的递归解析。云服务器 NTP 说明写了改内网 DNS 的具体影响:yum 源默认是腾讯云内网域名,改了 DNS 还要改源;监控数据上报依赖内网域名;NTP 也依赖内网域名。VPC 文档另外写明,不用默认 DNS 时,Windows 激活、NTP、YUM 这类内部服务都不可用。
resolv.conf 是指向 /run/systemd/resolve/stub-resolv.conf 的符号链接,里面只有 127.0.0.53。这是 systemd-resolved 的本地存根,本身不是故障。要看 resolvectl status 里当前链路的 DNS Servers 是不是仍是那两台。存根文件还在,但 systemd-resolved 没在跑,所有走 127.0.0.53 的查询都会失败,表现像「DNS 全挂」,其实是本机转发进程没了。这种情况下不要把公共 DNS 写进 stub 文件,重启 resolved 或重新生成链接时会被盖掉,而且链路上游仍然是错的。
hosts 行被改成只有 files,没有 dns。公共解析的 Linux 接入说明里,推荐写法是先查 /etc/hosts,再走 DNS。只有 files 时,dig 仍然成功,getent 和业务失败。/etc/hosts 里若有一条过期的内网域名,getent 会一直返回旧地址,dig @183.60.83.19 却是新地址。先处理 /etc/hosts 里的过期条目,再判断云端记录。
nscd 处于 active。公共解析接入说明建议关掉 nscd,或把 hosts 缓存关掉,否则会拿到过期或异常结果。改的是配置,不重启服务不会生效:
enable-cache hosts no改完执行 systemctl restart nscd。不需要 nscd 时直接停掉并禁止开机启动,比留一个关了缓存的空服务更干净。
VPC 的 Domain Name 是主机名后缀,最多 60 个字符,会进 resolv.conf 的 search 或 domain。search 不是注释。查询名里的点号个数少于 ndots 时,解析器会先把后缀拼上去。glibc 未写 options 时 ndots 默认为 1:查 db 会先试 db 加上 search 后缀,再试 db 本身;查 db.example.com 这种已经有点的名字,则先按原名查。后缀配错,短名字会解析到意想不到的域;后缀指向不存在的域,每次短名查询都先失败一轮,超时被放大。测试时在名字末尾加一个点,表示这是绝对名,不拼 search,用来区分「记录不存在」和「后缀拼错」:
dig +time=2 +tries=1 @183.60.83.19 db.example.com. AVPC 的 DNS 最多 4 个,控制台里多个地址用英文逗号分隔。文档说明部分操作系统吃不下 4 个。常见 Linux 上的 glibc 只使用 resolv.conf 里的前 3 个 nameserver,第 4 个被忽略。不要把公共 DNS 放在第一位、默认 DNS 放在第四位,等于没配备用,而且第一台失败时每次都要先付出超时。
Private DNS 面向 VPC 内网。私有域要关联到目标 VPC 之后,这个 VPC 里走默认 DNS 的实例才会按你的记录解析。控制台能看到记录,只说明记录写在某个私有域上,不说明这台 CVM 所在的 VPC 已经关联。同名私有域不能关联同一个 VPC:两个都叫 example.com 的私有域,不能同时绑到同一张 VPC 上。关联失败时,先查这张 VPC 上是不是已经绑了同名私有域。
核对就三件事:记录所在私有域是否关联了实例所在 VPC;实例 DNS 是否仍是默认的两台;查询名是否和记录完全一致。多写或少写一级,都会落到另一条规则上。查不到时不要假设一定会自动落到公网权威,用指定默认 DNS 的 dig 看实际应答,再对照控制台。解析顺序文档里有规则图,没在图里核对到的优先级不要靠记忆补。
私有域可以让同一个名字在 VPC 内和公网上得到不同地址,文档称为单域名双解析。在 CVM 上用 119.29.29.29 去核对私有记录,得到的是公网答案,不能用来否定内网记录。正确对照是两边各问一次:
dig +time=2 +tries=1 @183.60.83.19 db.example.com A
dig +time=2 +tries=1 @119.29.29.29 db.example.com A前者应是私有域里配的地址,后者可能是公网地址、NXDOMAIN,或另一条记录。两边不一致,不一定是故障。业务若必须走内网地址,就得保证进程使用的 DNS 是默认的两台;容器、JVM 启动参数里单独指定了公共 DNS 时,宿主机 dig 正常也没用。
递归解析是另一条链路:默认 DNS 替 VPC 里的 CVM、轻量应用服务器和云容器做公网域名递归,文档写明这是默认免费能力,不承诺 SLA;因外部网络或第三方 DNS 故障导致的外部递归不可用,也不在 SLA 里。内网名和公网名要分开看。time1.tencentyun.com 失败,优先查是不是还在用默认 DNS。公网域名失败而内网域名正常,再查出网和外部递归限速,不要先改私有域记录。轻量应用服务器也使用这两台地址做递归,但修改 DHCP DNS 的入口本文只核对了 VPC 控制台,轻量控制台是否同一路径以对应文档为准。
VPC 通过 DHCP 下发 DNS 和 Domain Name。在私有网络控制台改的是整个 VPC,不是单台机器:新建实例直接生效,存量实例要重启云服务器,或重启该系统的网络服务后才生效。2018 年 4 月 1 日前创建的 VPC 可能不支持这项 DHCP 能力,控制台改不了 DNS 时,不要假设「我没动过所以一定是默认值」,以实例里实际的 resolv.conf 为准。
存量机器上更常见的是有人直接改了 /etc/resolv.conf。DHCP 客户端或网络管理器在重启网络、重新拉取租约时,会按 VPC 当前的 DNS 重写这个文件。这台今晚改对了,发版重启后又变回去;同 VPC 里另一台还没重启,看起来仍是旧配置。两台机器解析结果不一致,先比 resolv.conf,再比它们最近有没有重启网络。
处理顺序固定,不要反过来:
ip -br link
nmcli -f IP4.DNS,IP4.DOMAIN device show eth0没有 nmcli 就不要为了排障现装一套网络管理器。文件和 VPC 控制台不一致,已经足够说明是本机覆盖还是 DHCP 还没刷新。
改 VPC DNS 对这张网里所有实例生效。一台机器为了访问自建 DNS 去改 VPC,同网段其他机器会在下次重启网络时一起变。自建 DNS 只加在确实需要的实例上,并且保留默认 DNS,否则 yum、NTP、监控上报、私有域一起丢。yum 不会因为 DNS 恢复就自动改回内网源:之前若按文档要求改过源,要按发行版把源改回去,这是源配置,不是解析器能代劳的。
指定 @183.60.83.19 一次就能返回,业务里却间歇性 Temporary failure,先分清失败的是公网名还是私有名,再决定是限速、超时放大,还是缓存。
外部递归有明确阈值:VPC 内单台实例 100 次/秒,单个 VPC 内所有实例合计 1000 次/秒,超过后面临限速。这里限的是去解析公网域名的外部递归,不是私有域里那条 A 记录。Java 服务、反代、健康检查如果每个请求都重新解析公网域名,单机很容易顶到 100 次/秒。现象是手动能 dig 过,业务日志间歇失败,且和流量尖峰对齐、只影响公网名。文档没有写限速时的固定错误码,不要凭一次 SERVFAIL 就断定是限速。
处理是减少解析次数,而不是把 nameserver 换成 119.29.29.29。公共 DNS 单域名只有 20 QPS,换过去私有域和内网域名同时丢,公网名限制还更紧。应用侧复用已经解析的地址、避免把 DNS 当服务发现每秒打,才对得上这个阈值。
本机超时会被第一台不可达的 DNS 放大。resolv.conf 不写 options、且查询直接走 glibc(不是 127.0.0.53 存根)时,timeout 是等一台 DNS 应答的秒数,默认 5 秒;attempts 是放弃前的重试次数,默认 2。第一台不可达时,会先空等 timeout 指定的时间,才轮到 183.60.82.98。业务表现为随机卡数秒再成功或失败。确认两台默认 DNS 都通之后,再考虑缩短超时;没确认之前缩短超时,只会把慢应答剪成失败。
走 systemd-resolved 存根时,glibc 只和本机 127.0.0.53 说话,stub 文件里的 timeout 不等于上游超时。上游慢不慢,看 resolvectl status 里的当前 DNS 服务器,以及指定 @183.60.83.19 的 dig,不要在 stub 文件上加 options 假装修好了。
缓存会让「刚改的记录不生效」,三层分开清:
容器再套一层。Docker 的 daemon 配置或运行参数可以给容器单独的 DNS,容器里的 /etc/resolv.conf 和宿主机不一致。宿主机 dig 成功、容器里失败,进容器看 nameserver,而不是继续改 VPC。容器里若把 ndots 调得很大,短名字会先拼很多后缀再查原名,查询次数上去之后,外部递归更容易碰到单机 100 次/秒。这是查询放大,不是 VPC DNS 地址错了。
验收要同时证明三件事:两台默认 DNS 都有应答,走 nsswitch 的进程和 dig 一致,重启网络之后配置还在。只 ping 一次域名,三件都证明不了。
dig +time=2 +tries=1 @183.60.83.19 time1.tencentyun.com A
dig +time=2 +tries=1 @183.60.82.98 time1.tencentyun.com A
getent hosts time1.tencentyun.com
dig +time=2 +tries=1 @183.60.83.19 db.example.com A前两条的 SERVER 应分别是 183.60.83.19 和 183.60.82.98,status 为 NOERROR。第三条确认 getent 得到的地址和指定默认 DNS 的结果一致;不一致就回到 hosts、nscd、nsswitch。第四条把 db.example.com 换成你的私有域名,应答地址应与私有域记录一致,而不是 119.29.29.29 上的公网地址。私有域还没建记录时,不要用这条当通过条件。
然后重启一次网络或实例,再跑同一组命令,并再看一眼 nameserver。重启后又变回公共 DNS,说明 VPC DHCP 仍在下发错误配置,本机文件改动没有意义,回到控制台改 VPC DNS。
内网域名恢复后,依赖它的功能要单独看。NTP 内网源是 time1.tencentyun.com 到 time5.tencentyun.com,解析通了不代表时钟在同步:chrony 用 chronyc sources,ntpd 用 ntpq -p,看实际在跑的那个。yum 若之前改成了公网源,按发行版改回内网源再试一次安装。监控上报是否恢复,以控制台监控曲线为准,不要用一次 dig 代替。
参考文档:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。