Cloudflare年度回顾：AI机器人疯狂爬网、后量子加密普及率达50%、Go语言用户翻倍
来源: InfoQ - AI＆大模型
近日，Cloudflare发布了第六版Radar年度回顾报告。数据显示，全球互联网流量同比增长19%，Googlebot占据主导地位，爬取引流比持续攀升，后量子加密技术得到广泛应用。有超过20%的自动化API请求是由基于Go语言的客户端发起的，其采用率较上年几乎翻倍。
本年度报告以Cloudflare广泛的基础设施数据（包括1.1.1.1公共DNS解析器的匿名查询数据）为基础，深入剖析了2025年定义互联网格局的各类中断事件、技术突破及关键指标。该报告包含多个不同的板块（流量、人工智能、普及与应用、连接性、安全性及电子邮件安全），采用与往年相同的分析方法论。
报告指出，在过去一年中，全球流量增长了19%，谷歌和Facebook仍是用户最常使用的服务，而星链（Starlink）的增长尤为显著，同比增长达2.3倍。
通过希尔伯特曲线以二维模式将IPv4地址序列可视化——该模式能使相近的IP地址排列在一起，Cloudflare在分析中发现，谷歌爬虫（Googlebot）是使用最频繁的网络爬虫。Cloudflare数据洞察负责人David Belson写道：
2025年，Googlebot再次成为Cloudflare请求流量的最大来源，它爬取了数百万个Cloudflare客户网站用于搜索索引和人工智能训练。
此外，Googlebot占已验证机器人流量的28%以上，而Google AdsBot（用于监控已投放谷歌广告的网站）、Google Image Proxy（用于检索和缓存嵌入在电子邮件信息中的图片）以及GoogleOther进一步巩固了这家搜索巨头的统治地位。OpenAI的GPTBot和微软Bingbot分别以7.5%和6%的占比紧随其后。
报告显示，人工智能平台正在以极高的频率爬取内容，却未能为来源网站带来相应的流量，其爬取引流比与2024年相比持续攀升。Anthropic平台的爬取引流比高达500000:1，OpenAI最高达3700:1。在主流人工智能平台中，Perplexity的爬取引流比最低。
CloudZero研究总监Jeremy Daly在其新闻通讯中总结道：
Cloudflare年度报告精彩回顾：内容饥渴的AI爬虫（仅Googlebot就占所有HTML请求量的4.5%，“用户操作”爬取量激增15倍），超过半数人类Web流量采用了后量子加密技术，以及174次重大互联网中断事件。
在这份报告中，这家超大规模云服务商承认，Meta的llama-3-8b-instruct模型在其边缘AI平台Workers AI上最受欢迎。该平台支持在网络边缘直接运行AI模型，其中最热门的任务类型是文本生成。
尽管2025年HTTP/3和HTTP/2请求量均小幅增长，但在人类产生的Web流量中，为了有效防范“先收集、后解密”的攻击手段，已有半数采用后量子加密技术——该比例较年初的29%几乎翻倍。
图片来源：Cloudflare官方博客
与往年一样，该团队使用Cloudflare Radar的URL扫描器来识别前5000个域名中最受欢迎的技术和服务。他们发现，基于JavaScript的库和框架仍然是构建网站不可或缺的工具。Belson补充道：
jQuery自称是一个快速、小巧、功能丰富的JavaScript库，我们扫描发现，使用它的网站数量是Slick（用于图片轮播的JavaScript库）的8倍。React仍然是构建Web界面最常用的JavaScript框架，在我们扫描的站点中，其使用数量是Vue.js的两倍。
PHP、Node.js和Java仍是最常用的编程技术，明显领先于Ruby、Python、Perl和C等替代方案。在Hacker News上的一个热门帖子中，许多人质疑ASP.NET和C#的相对份额，用户nic547写道：
ASP.NET可能涵盖多种编程语言，而我猜测，ASP.NET服务器本身并不会披露具体细节。虽然可以合理推测主要是使用C#，但这需要采用不同的指标来评估。
通过分析与API相关的请求，Cloudflare识别出构建API客户端最常用的编程语言：20%的自动化API请求来自基于Go的客户端，与Go语言2024年12%的份额相比增长显著。Python、Java和Node.js紧随其后，成为最受欢迎的技术。
图片来源：Cloudflare官方博客
尽管从业者往往会关注云服务中断问题，但2025年观察到的中断事件近半数实为计划内停机——旨在“防止学术考试作弊”，其余则与抗议活动、社会动荡或海底及国内光纤基础设施遭破坏有关。
与往年一样，这家超大规模服务商强调，超大规模网络层攻击的频率和规模日益增长。这类攻击发生在第3/4层，峰值流量超过每秒1太比特或每秒10亿个数据包。Cybernara创始人Chirag Goswami评论道：
互联网正经历中年危机。机器人已成为新常态。分布式拒绝服务攻击屡创新高。一次BGP故障仍能让半数网站瘫痪。Cloudflare的Radar年度回顾不仅是数据统计，更是互联网真实面貌的压力测试报告——它揭示了网络环境的脆弱、快速以及机器人泛滥的现状。
Cloudflare Radar 2025年度回顾专题网站提供了更详细的数据，包括按具体国家和地区划分的趋势分析。
原文链接：