我读到过,通过对 DNS 记录进行一些更改,域名可能会在多天内出现在每日区域文件中。不幸的是,来源没有解释它出现在每日文件中的情况。有人能告诉我吗?
此外,(如果我错了请纠正我)一旦您拥有了整个区域文件,您就可以使用每日文件来保持本地副本的更新。可以使用什么机制来确定何时应删除条目?
举个例子...我有一个很大的关键字列表。首先,我需要搜索包含或类似于这些关键字的域。接下来,我需要能够仅对新域执行较小的关键字搜索。可以添加关键字列表,并且需要从历史和未来搜索新关键字。因此,我需要一个本地域数据库,该数据库仅包含实际存在的域,而无需查询任何名称服务器来检查其是否存在。
我相信注册商会提供每日增量,但我不知道过期的域名是如何表示的。
希望这个例子能更清楚地说明我想做的事情。
我可能刚刚找到了自己的答案......http://bestwhois.org/domain_name_data/docs/README_01_document.html#sec12 他们有 2 个供稿 - 1 个用于新注册的域名,另一个用于已删除的域名。
如果有人发现我忽略了什么,请告诉我。
谢谢!
答案1
域名可能由于多种原因而不存在于区域文件中:
- 已过期(未续订)
- 暂停(例如因滥用而暂停)
- 或者仅仅是因为它没有名称服务器
因此,如果您有一个域名(例如来自商业提供商),并且您删除了所有名称服务器,则它不再在区域文件中配置,也无法解析。
答案2
嗯,我不确定你的措辞——每日文件......
无论如何,让我们大致检查一下。有几个 TTL(电视我电视o大号与区域文件相关的一些参数。其中一些位于 SOA(年代酸哦f 区A权限文件):
<domain> IN SOA <primary master FQDN> <administrator contact> (
<serial> ;
<refresh> ;
<retry> ;
<expire> ;
<TTL / minimum>
)
refresh
- 处于从属角色的 DNS 服务器应检查主服务器是否有更新的时间段(以秒为单位)(权威服务器之间的“后端”内容)
retry
- 如果从属服务器更新检查失败,何时重试检查(权威服务器之间的“后端”内容)
expire
- 如果从服务器无法检查主服务器的区域状态,它还能提供权威答案多久。在此时间段之后,从服务器上的区域文件将过期,服务器将停止回答与此区域相关的查询(权威服务器之间的“后端”内容)
TTL / minimum
- 如果有人请求不存在的 RR(DNS 记录),否定答案将附加 SOA(因此包括此信息),因此客户端(DNS 解析器)将缓存此期间的否定答案。因此,相同的答案(即使在此期间没有重新检查)将提供给同一 DNS 解析服务器上的所有查询。
RR记录示例:
<name> <TTL> IN A <IP>
一旦您请求有效的 DNS 记录,您将获得用于本地缓存目的的记录的单独 TTL。您只会获得您请求的 DNS 记录,而不是所有区域文件。对此有一个例外,即“提示”或可能出于基础设施目的附加的附加记录,但它远非“整个区域”。
您在问题中使用的“整个区域文件”只能使用特殊请求(区域传输请求)来请求,该请求只允许有限的服务器。它用于后端目的,在主从角色的有效权威服务器之间分发区域文件内容。普通用户/客户端将被拒绝区域传输请求。
因此,作为“普通”用户,您只能获得特定的答案/RR 记录(可选择后跟“提示”)或否定答案。在这两种情况下,答案的 TTL 可能低于或高于一天(24 小时 - 86400 秒)。在此期间,将使用缓存值(负值或正值),而不是重新查询权威 DNS 服务器。
一旦 DNS 区域发生变化,最近没有(了解与 TTL 相关)在权威服务器上查询它的客户端将直接看到新值,但最近查询它的客户端将看到缓存的值。这可以称为新值传播延迟。在这种情况下,“问题”不是在权威服务器方面,而是在客户端的缓存值上……清除服务器上的缓存(选择性地针对域或全部/无条件)的过程称为缓存刷新(可以由管理员完成)。从客户端删除“过时”值的正常方法是等待此时间到期 - 一旦 TTL 到期,缓存服务器就会使该值无效,并且在下一个请求中它不在那里(被删除)或至少被忽略,因此对权威服务器的正确查询已完成……
答案3
首先进行一些一般性的解释来消除您可能存在的困惑。
域名存在于 TLD 中。gTLD 与 ICANN 签订了合同。域名出现在区域文件中。注册中心(TLD 的管理者)决定是否发布区域文件。大多数注册中心,尤其是 ccTLD,不会发布区域文件,因为这是私人数据,而且他们要对此负责。然而,根据 ICANN 的规定,gTLD 必须发布它们。您可以在以下网址了解所有相关信息https://czds.icann.org/
简而言之,您只需创建一个帐户,然后就可以下载区域文件。
gTLD 每日发布区域文件。因此,如果某个域名开始被注册(并带有名称服务器),或者该域名没有名称服务器而现在有了,或者如 @Anonymous 在其回复中列出的,当该域名被搁置、被删除(在到期之前或之后),或者被更改为删除所有名称服务器时,该域名总有一天会出现。
一些其他注册中心可能允许 DNS AXFR 查询,这意味着您将能够在请求时动态地取回完整的区域文件,但只有十几个 TLD 可以做到这一点。
另外,其他一些注册机构也提供“开放数据”服务,通过这些服务,您还可以获得区域文件或同等文件。有些注册机构还每天在其网站上发布已注册的新名称,这不是区域文件,但如果您日复一日地获取这些数据,在某个时候,您将接近拥有完整的区域文件。例如,.FR 注册机构 AFNIC 就属于这两种情况。
现在回到你的问题:
我读到过,通过对 DNS 记录进行一些更改,域名可能会连续几天出现在每日区域文件中。不幸的是,消息来源没有解释它出现在每日文件中的具体情况。
从上面的内容中,这一点应该很清楚了。域名一旦存在(已注册)、拥有名称服务器且未被搁置,就会发布(在区域文件中)。如果域名不再存在、不再拥有名称服务器或被搁置,那么它将从区域文件中消失。
此外,(如果我错了请纠正我)一旦您拥有了整个区域文件,您就可以使用每日文件来保持本地副本的更新。可以使用什么机制来确定何时应删除条目?
gTLD 每天都会发布完整的区域文件。您可以自由下载,然后根据您在 CZDS 上签署的合同以您想要的方式处理它。其他注册机构也可能施加其他条件。
如果域 A 在昨天的区域文件中,但不在今天的区域文件中,那么您就知道该域已被删除,或其名称服务器已被移除,或已被搁置。如果您执行 whois(或 RDAP)查询,您将看到该域是否存在,以及它是否处于漏洞状态。
举个例子...我有一个很大的关键字列表。首先,我需要搜索包含或类似于这些关键字的域。接下来,我需要能够仅对新域执行较小的关键字搜索。可以添加关键字列表,并且需要从历史和未来搜索新关键字。因此,我需要一个本地域数据库,该数据库仅包含实际存在的域,而无需查询任何名称服务器来检查其是否存在。
许多在线服务都这样做。但基本上,您下载区域文件并以符合签署的合同和技术的方式在您的终端上处理它们,以便您可以按照需要的方式使用它们。关键字搜索和其他一切都由您自己处理。
我相信注册商会提供每日增量,但我不知道过期的域名是如何表示的。
首先,注册商只能提供他们拥有的数据,因此无法提供所有域名的数据。所以我想您指的是注册中心,请参阅上文。
其次,域名到期是一个复杂的过程,取决于 TLD。以下是通用规则:
- 当到期时,注册中心会自动续订域名;因此,如果域名在该事件发生之前已发布,则该域名将保持发布状态(在区域文件中)
- 赞助注册商需要一些时间来决定是否续约(对于 gTLD,这个时间是 45 天)
- 在此期间,注册商可以决定暂停该域名;在这种情况下,该域名将停止发布,因此不再存在于区域文件中
- 如果域名最终被删除,它将开始其赎回期;它可能不会再在那里发布;并且经过一段时间如果没有发生任何事情,域名将真正被删除(因此不会发布......直到最终有人再次注册它)。
我可能刚刚找到了自己的答案......http://bestwhois.org/domain_name_data/docs/README_01_document.html#sec12他们有 2 个供稿 - 1 个用于新注册的域名,另一个用于已删除的域名。
任何下载区域文件的人都可以轻松发现差异:
- 昨天和今天之间的新域名 = 使用新名称服务器注册或更新的域名或暂停的域名
- 昨天缺少今天的域名 = 删除或更新的域名没有名称服务器或被搁置
通过执行 whois 查询,您可以查看域名是否仍在注册,以及域名是否处于暂停状态。因此,您将能够区分上述所有情况。
没有什么很复杂的事情要做,除了:
- 数据量:数百万个域名
- 您依赖 whois 来完成部分工作,这通常是查询限制的
- 您签署了一份合同,可以下载区域文件,并且该合同将限制您可以对数据执行的操作或不能执行的操作。