首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >CVM 域名解析失败排查:默认 DNS 与 resolv.conf 覆盖

CVM 域名解析失败排查:默认 DNS 与 resolv.conf 覆盖

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-10 12:12:56
发布于 2026-11-10 12:12:56
1930
举报

业务机突然报 Name or service not known,yum 拉包失败,或者 time1.tencentyun.com 这种内网域名超时,先别去改安全组,也别把 DNS 换成 119.29.29.29 试试。腾讯云 VPC 里的私有域和一批内部服务,只认默认 DNS 183.60.83.19 与 183.60.82.98;本机 resolv.conf 没指到它们,或者指到了但被 DHCP 覆盖,现象都是名字挂了、IP 还通。

先确认是解析失败,不是端口不通

应用报 Unknown host、Temporary failure in name resolution、Name or service not known,才是解析问题。已经拿到 IP 之后连接超时、连接被拒绝,是路由、安全组或对端进程的事,换 DNS 解决不了。ping 通某个域名也不能说明解析配置是对的:它只证明这一次解析到了一个能回 ICMP 的地址,看不出问的是哪台 DNS,也看不出私有域和公网记录是不是串了。

在故障机上把「进程实际走的解析」和「指定 DNS 的解析」拆开。探针用内网 NTP 域名 time1.tencentyun.com,云服务器 NTP 说明里写的就是 time1.tencentyun.com 到 time5.tencentyun.com,默认 DNS 应该能解析它。不要用一个公网域名判断内网 DNS 是否正常。

代码语言:bash
复制
getent hosts time1.tencentyun.com
dig +time=2 +tries=1 time1.tencentyun.com A
dig +time=2 +tries=1 @183.60.83.19 time1.tencentyun.com A
dig +time=2 +tries=1 @183.60.82.98 time1.tencentyun.com A

不要加 +short。排障要看 status 和 SERVER:status 为 NOERROR 只表示这次查询有结果,SERVER 才说明应答来自你指定的那台。两台默认 DNS 都要单独问一遍。只测第一台,第二台不可达时平时看不出来,等第一台抖动,查询就会先空等一轮超时。

下面几种结果对应不同层,不要混在一次「DNS 坏了」里:

现象

下一步

指定两台默认 DNS 都有地址,getent 失败或很慢

云端 DNS 正常,查本机 resolv.conf、nsswitch、resolved、nscd、/etc/hosts

指定默认 DNS 超时,没有 status

请求没得到应答,查到这两台地址的路由,以及 UDP/TCP 53 是否被丢

默认 DNS 返回 NXDOMAIN 或空应答

路径是通的,查名字是否写错、私有域是否关联了本 VPC

默认 DNS 能解析 time1.tencentyun.com,解不了业务私有域名

默认 DNS 可用,查 Private DNS 记录和 VPC 关联

低并发 dig 正常,业务间歇失败

先看是不是公网名、是不是打到外部递归限速,再看缓存

公网 Public DNS 免费版 IPv4 是 119.29.29.29,单域名调用频率限制 20 QPS,不承诺可用性 SLA。它查的是公网权威,解不了 tencentyun.com 这类内网名,也不会套用 Private DNS 里的私有域。用它能解析一个公网域名,不能证明这台 CVM 的内网解析是好的。IPv6 地址是 2402:4e00:: 和 2402:4e00:1::,实例没有可用的 IPv6 出网时不要写进 resolv.conf,解析器可能先去等一个不可达地址。

指定默认 DNS 超时,和返回 NXDOMAIN 不是一回事。超时说明查询没得到应答:用下面两条看本机有没有到这两台地址的路由。路由都没有,就不是改解析记录能修好的。

代码语言:bash
复制
ip -4 route get 183.60.83.19
ip -4 route get 183.60.82.98

路由在、dig 仍超时,再看出站和本机防火墙有没有丢掉发往这两台地址的 UDP 53。响应被截断时会回退 TCP 53,只放通 UDP 会留下一类偶发失败。抓包确认请求有没有离开本机即可,过滤表达式不用展开:

代码语言:bash
复制
tcpdump -ni any -c 20 host 183.60.83.19 and port 53

有请求无应答,问题在路径或对端;本机没有请求,问题在解析器没把查询发出去,回到下一节的本机配置。

本机到底在问哪台 DNS

glibc 和业务进程读的是 /etc/resolv.conf,以及 nsswitch.conf 里 hosts 那一行。dig 不带 @ 时自己按 resolv.conf 做 DNS 查询,不走 nsswitch;getent、ping 和绝大多数业务走 nsswitch。所以只跑 dig 会漏掉 hosts 文件、nscd 和「hosts 行被改掉」这几类故障。

代码语言:bash
复制
ls -l /etc/resolv.conf
cat /etc/resolv.conf
grep -E '^hosts:' /etc/nsswitch.conf
grep -n tencentyun.com /etc/hosts
command -v resolvectl >/dev/null && resolvectl status
systemctl is-active systemd-resolved nscd 2>/dev/null || true

VPC 文档给出的默认 DNS 是 183.60.83.19 和 183.60.82.98。常见下发看起来是这样,实际以控制台和这台机器上的文件为准:

代码语言:plaintext
复制
nameserver 183.60.83.19
nameserver 183.60.82.98

对照时按下面几类看,不要看到文件「有内容」就认为配置正确。

nameserver 被换成 119.29.29.29 或其他公共 DNS、自建 DNS。私有域解析的产品规则只对发往 183.60.83.19、183.60.82.98 的请求生效。终端改成其他地址后,这台 CVM 上既没有私有域,也没有腾讯云默认的递归解析。云服务器 NTP 说明写了改内网 DNS 的具体影响:yum 源默认是腾讯云内网域名,改了 DNS 还要改源;监控数据上报依赖内网域名;NTP 也依赖内网域名。VPC 文档另外写明,不用默认 DNS 时,Windows 激活、NTP、YUM 这类内部服务都不可用。

resolv.conf 是指向 /run/systemd/resolve/stub-resolv.conf 的符号链接,里面只有 127.0.0.53。这是 systemd-resolved 的本地存根,本身不是故障。要看 resolvectl status 里当前链路的 DNS Servers 是不是仍是那两台。存根文件还在,但 systemd-resolved 没在跑,所有走 127.0.0.53 的查询都会失败,表现像「DNS 全挂」,其实是本机转发进程没了。这种情况下不要把公共 DNS 写进 stub 文件,重启 resolved 或重新生成链接时会被盖掉,而且链路上游仍然是错的。

hosts 行被改成只有 files,没有 dns。公共解析的 Linux 接入说明里,推荐写法是先查 /etc/hosts,再走 DNS。只有 files 时,dig 仍然成功,getent 和业务失败。/etc/hosts 里若有一条过期的内网域名,getent 会一直返回旧地址,dig @183.60.83.19 却是新地址。先处理 /etc/hosts 里的过期条目,再判断云端记录。

nscd 处于 active。公共解析接入说明建议关掉 nscd,或把 hosts 缓存关掉,否则会拿到过期或异常结果。改的是配置,不重启服务不会生效:

代码语言:ini
复制
enable-cache hosts no

改完执行 systemctl restart nscd。不需要 nscd 时直接停掉并禁止开机启动,比留一个关了缓存的空服务更干净。

VPC 的 Domain Name 是主机名后缀,最多 60 个字符,会进 resolv.conf 的 search 或 domain。search 不是注释。查询名里的点号个数少于 ndots 时,解析器会先把后缀拼上去。glibc 未写 options 时 ndots 默认为 1:查 db 会先试 db 加上 search 后缀,再试 db 本身;查 db.example.com 这种已经有点的名字,则先按原名查。后缀配错,短名字会解析到意想不到的域;后缀指向不存在的域,每次短名查询都先失败一轮,超时被放大。测试时在名字末尾加一个点,表示这是绝对名,不拼 search,用来区分「记录不存在」和「后缀拼错」:

代码语言:bash
复制
dig +time=2 +tries=1 @183.60.83.19 db.example.com. A

VPC 的 DNS 最多 4 个,控制台里多个地址用英文逗号分隔。文档说明部分操作系统吃不下 4 个。常见 Linux 上的 glibc 只使用 resolv.conf 里的前 3 个 nameserver,第 4 个被忽略。不要把公共 DNS 放在第一位、默认 DNS 放在第四位,等于没配备用,而且第一台失败时每次都要先付出超时。

私有域关联和同一域名两个答案

Private DNS 面向 VPC 内网。私有域要关联到目标 VPC 之后,这个 VPC 里走默认 DNS 的实例才会按你的记录解析。控制台能看到记录,只说明记录写在某个私有域上,不说明这台 CVM 所在的 VPC 已经关联。同名私有域不能关联同一个 VPC:两个都叫 example.com 的私有域,不能同时绑到同一张 VPC 上。关联失败时,先查这张 VPC 上是不是已经绑了同名私有域。

核对就三件事:记录所在私有域是否关联了实例所在 VPC;实例 DNS 是否仍是默认的两台;查询名是否和记录完全一致。多写或少写一级,都会落到另一条规则上。查不到时不要假设一定会自动落到公网权威,用指定默认 DNS 的 dig 看实际应答,再对照控制台。解析顺序文档里有规则图,没在图里核对到的优先级不要靠记忆补。

私有域可以让同一个名字在 VPC 内和公网上得到不同地址,文档称为单域名双解析。在 CVM 上用 119.29.29.29 去核对私有记录,得到的是公网答案,不能用来否定内网记录。正确对照是两边各问一次:

代码语言:bash
复制
dig +time=2 +tries=1 @183.60.83.19 db.example.com A
dig +time=2 +tries=1 @119.29.29.29 db.example.com A

前者应是私有域里配的地址,后者可能是公网地址、NXDOMAIN,或另一条记录。两边不一致,不一定是故障。业务若必须走内网地址,就得保证进程使用的 DNS 是默认的两台;容器、JVM 启动参数里单独指定了公共 DNS 时,宿主机 dig 正常也没用。

递归解析是另一条链路:默认 DNS 替 VPC 里的 CVM、轻量应用服务器和云容器做公网域名递归,文档写明这是默认免费能力,不承诺 SLA;因外部网络或第三方 DNS 故障导致的外部递归不可用,也不在 SLA 里。内网名和公网名要分开看。time1.tencentyun.com 失败,优先查是不是还在用默认 DNS。公网域名失败而内网域名正常,再查出网和外部递归限速,不要先改私有域记录。轻量应用服务器也使用这两台地址做递归,但修改 DHCP DNS 的入口本文只核对了 VPC 控制台,轻量控制台是否同一路径以对应文档为准。

手改 resolv.conf 为什么重启就丢

VPC 通过 DHCP 下发 DNS 和 Domain Name。在私有网络控制台改的是整个 VPC,不是单台机器:新建实例直接生效,存量实例要重启云服务器,或重启该系统的网络服务后才生效。2018 年 4 月 1 日前创建的 VPC 可能不支持这项 DHCP 能力,控制台改不了 DNS 时,不要假设「我没动过所以一定是默认值」,以实例里实际的 resolv.conf 为准。

存量机器上更常见的是有人直接改了 /etc/resolv.conf。DHCP 客户端或网络管理器在重启网络、重新拉取租约时,会按 VPC 当前的 DNS 重写这个文件。这台今晚改对了,发版重启后又变回去;同 VPC 里另一台还没重启,看起来仍是旧配置。两台机器解析结果不一致,先比 resolv.conf,再比它们最近有没有重启网络。

处理顺序固定,不要反过来:

  1. 需要整网一致时,把 VPC DNS 设回 183.60.83.19,183.60.82.98,然后重启受影响实例,或重启该发行版的网络服务。只改一台的 resolv.conf,挡不住下一次 DHCP。
  2. 个别实例必须再加一台 DNS 时,默认的两台仍要留在前面。glibc 最多认 3 个 nameserver,多加的公共 DNS 会把备用默认 DNS 挤出前三。加之前算清楚名额。
  3. 不要用 chattr +i 锁 resolv.conf。锁住之后 DHCP 客户端写不进去,这台机器会脱离 VPC 的 DNS 下发,比没改更难查。
  4. 使用 systemd-resolved 时,改链路 DNS,不要改 stub 文件里那行 127.0.0.53。NetworkManager 管理的系统,先看当前连接拿到的 DNS 是 DHCP 下发还是静态覆盖。网卡名以 ip -br link 为准,不一定是 eth0;下面命令里的 eth0 换成实际网卡名。
代码语言:bash
复制
ip -br link
nmcli -f IP4.DNS,IP4.DOMAIN device show eth0

没有 nmcli 就不要为了排障现装一套网络管理器。文件和 VPC 控制台不一致,已经足够说明是本机覆盖还是 DHCP 还没刷新。

改 VPC DNS 对这张网里所有实例生效。一台机器为了访问自建 DNS 去改 VPC,同网段其他机器会在下次重启网络时一起变。自建 DNS 只加在确实需要的实例上,并且保留默认 DNS,否则 yum、NTP、监控上报、私有域一起丢。yum 不会因为 DNS 恢复就自动改回内网源:之前若按文档要求改过源,要按发行版把源改回去,这是源配置,不是解析器能代劳的。

偶发超时、限速和谁在缓存

指定 @183.60.83.19 一次就能返回,业务里却间歇性 Temporary failure,先分清失败的是公网名还是私有名,再决定是限速、超时放大,还是缓存。

外部递归有明确阈值:VPC 内单台实例 100 次/秒,单个 VPC 内所有实例合计 1000 次/秒,超过后面临限速。这里限的是去解析公网域名的外部递归,不是私有域里那条 A 记录。Java 服务、反代、健康检查如果每个请求都重新解析公网域名,单机很容易顶到 100 次/秒。现象是手动能 dig 过,业务日志间歇失败,且和流量尖峰对齐、只影响公网名。文档没有写限速时的固定错误码,不要凭一次 SERVFAIL 就断定是限速。

处理是减少解析次数,而不是把 nameserver 换成 119.29.29.29。公共 DNS 单域名只有 20 QPS,换过去私有域和内网域名同时丢,公网名限制还更紧。应用侧复用已经解析的地址、避免把 DNS 当服务发现每秒打,才对得上这个阈值。

本机超时会被第一台不可达的 DNS 放大。resolv.conf 不写 options、且查询直接走 glibc(不是 127.0.0.53 存根)时,timeout 是等一台 DNS 应答的秒数,默认 5 秒;attempts 是放弃前的重试次数,默认 2。第一台不可达时,会先空等 timeout 指定的时间,才轮到 183.60.82.98。业务表现为随机卡数秒再成功或失败。确认两台默认 DNS 都通之后,再考虑缩短超时;没确认之前缩短超时,只会把慢应答剪成失败。

走 systemd-resolved 存根时,glibc 只和本机 127.0.0.53 说话,stub 文件里的 timeout 不等于上游超时。上游慢不慢,看 resolvectl status 里的当前 DNS 服务器,以及指定 @183.60.83.19 的 dig,不要在 stub 文件上加 options 假装修好了。

缓存会让「刚改的记录不生效」,三层分开清:

  • nscd 开着 hosts 缓存时,先停缓存或重启 nscd,再测 getent。只测 dig 看不出这层。
  • systemd-resolved 用 resolvectl flush-caches 清本机存根缓存。这不影响权威记录的 TTL,TTL 没到之前其他机器仍可能是旧值。
  • 已经启动的 JVM 有自己的地址缓存。dig 看到新地址,Java 进程仍可能连旧 IP。不确定 networkaddress.cache.ttl 时,重启该进程再验证,不要只重启网络就宣布业务已切到新地址。

容器再套一层。Docker 的 daemon 配置或运行参数可以给容器单独的 DNS,容器里的 /etc/resolv.conf 和宿主机不一致。宿主机 dig 成功、容器里失败,进容器看 nameserver,而不是继续改 VPC。容器里若把 ndots 调得很大,短名字会先拼很多后缀再查原名,查询次数上去之后,外部递归更容易碰到单机 100 次/秒。这是查询放大,不是 VPC DNS 地址错了。

改完以后怎么验收

验收要同时证明三件事:两台默认 DNS 都有应答,走 nsswitch 的进程和 dig 一致,重启网络之后配置还在。只 ping 一次域名,三件都证明不了。

代码语言:bash
复制
dig +time=2 +tries=1 @183.60.83.19 time1.tencentyun.com A
dig +time=2 +tries=1 @183.60.82.98 time1.tencentyun.com A
getent hosts time1.tencentyun.com
dig +time=2 +tries=1 @183.60.83.19 db.example.com A

前两条的 SERVER 应分别是 183.60.83.19 和 183.60.82.98,status 为 NOERROR。第三条确认 getent 得到的地址和指定默认 DNS 的结果一致;不一致就回到 hosts、nscd、nsswitch。第四条把 db.example.com 换成你的私有域名,应答地址应与私有域记录一致,而不是 119.29.29.29 上的公网地址。私有域还没建记录时,不要用这条当通过条件。

然后重启一次网络或实例,再跑同一组命令,并再看一眼 nameserver。重启后又变回公共 DNS,说明 VPC DHCP 仍在下发错误配置,本机文件改动没有意义,回到控制台改 VPC DNS。

内网域名恢复后,依赖它的功能要单独看。NTP 内网源是 time1.tencentyun.com 到 time5.tencentyun.com,解析通了不代表时钟在同步:chrony 用 chronyc sources,ntpd 用 ntpq -p,看实际在跑的那个。yum 若之前改成了公网源,按发行版改回内网源再试一次安装。监控上报是否恢复,以控制台监控曲线为准,不要用一次 dig 代替。

排查清单

  1. 报错是名字解析失败,还是已经有 IP 之后连接失败。后者不要在 DNS 上耗。
  2. getent 与 dig @183.60.83.19、dig @183.60.82.98 对照。只有本机失败,查 resolv.conf、nsswitch、resolved、nscd、/etc/hosts。
  3. nameserver 要包含默认的两台,且不要被第 4 个地址挤出 glibc 只认的前 3 个。第一台必须可达,否则每次查询都先付超时。
  4. 私有域名要在 Private DNS 里关联本 VPC。同名私有域不能绑同一个 VPC。不要用 119.29.29.29 的结果否定内网记录。
  5. 公网名间歇失败时,先看单机外部递归是否超过 100 次/秒、VPC 是否超过 1000 次/秒。不要改用公共 DNS 来「绕过」限速。
  6. 改 VPC DNS 影响该 VPC 全部实例。存量机器要重启或重启网络服务才生效。不要 chattr 锁 resolv.conf。
  7. 验收包括重启之后再查一次,以及 NTP、yum、监控这些依赖内网域名的功能,而不只是 dig 一次。

参考文档:

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 先确认是解析失败,不是端口不通
  • 本机到底在问哪台 DNS
  • 私有域关联和同一域名两个答案
  • 手改 resolv.conf 为什么重启就丢
  • 偶发超时、限速和谁在缓存
  • 改完以后怎么验收
  • 排查清单
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档