让你的 Solana 应用更快:审视 gRPC 数据量、接收处理与运行环境

让你的 Solana 应用更快:审视 gRPC 数据量、接收处理与运行环境

让你的 Solana 应用更快:审视 gRPC 数据量、接收处理与运行环境
你正在开发的 Solana 应用,可能还能运行得更快。应用接收的数据量、后续处理,以及 CPU 和网络等运行资源,共同影响着它的表现。重新审视这些因素的组合,或许能进一步发挥现有软件的性能。
你开始在 Solana 上开发 HFT,连接了 Geyser gRPC,也能在日志中看到数据,但判断的速度仍未达到预期。从接收到作出判断之间的等待,可能提供改进的线索。可以先从现有代码中找出能够观测的位置。
在 ERPC,与客户的交流和反馈让我们有机会共同审视数据分发、接收设置和应用处理流程。这些发现也帮助我们持续改进分发服务和文档。本文介绍相关机制和调查步骤,帮助首次处理高速、大容量数据流的开发者,在自己的环境中寻找改进空间。

先从现有代码做一项小检查

专业术语和诊断命令,可以在需要用到时再查阅。如果你有能够读取项目代码的 AI 智能体,可以先试着交给它下面这段简短请求。补充应用在哪里运行,以及什么时候感觉较慢即可。尚未确定的需求和暂时无法取得的测量值,都可以先保留现状,从能够检查的部分开始。
text
我想了解自己的 Solana 应用是否还有提高响应速度的空间。
请先阅读现有代码,找出数据接收的位置,以及使用该数据作出判断并完成判断的位置。保持订阅条件不变,提出能够测量这段区间内事件数量和经过时间的最小改动方案。
这次先说明测量位置、改动方案、能够了解什么,以及哪些部分仍未测量即可。如果无法访问主机,请从应用内部能够观测的部分开始。不要显示秘密信息、修改生产环境或创建付费资源。
第一次调查得到的有用结果,是知道自己代码中的哪些位置可以测量、要测量什么。区分可观测区间和未测量区间,会更容易选择下一步调查的方向。本文后面还提供了用于进一步排查的详细提示词。
例如,AI 智能体可能这样回复:“数据在 stream.ts 中的 onData 接收,在 strategy.ts 中的 onDecisionComplete 完成判断。我建议作一项修改,汇总接收事件数、完成判断的次数,以及这段区间的经过时间。在这个测量方案中,回调之前的区间不在测量范围内。”这是用虚构的 TypeScript 文件名和函数名编写的回复示例。无论使用哪种编程语言,都请检查以下三者是否相互对应:实际代码中的位置、要新增的记录,以及本次测量的范围限制。若接收与判断不是一一对应的关系,也请智能体提出对应关系和统计单位。

在 Web 开发经验上,增加观察数据流的视角

托管服务让开发者能够在不必关注每个服务器组件的情况下,构建许多 Web 功能。这些经验同样可以成为处理 Solana 数据流的基础。在此之上,再关注持续流入的数据量,以及应用处理这些数据的速度。
使用 SDK 连接 Solana 看起来也同样简单。但当你订阅大范围的交易或账户更新时,工作量就发生了变化。带宽、CPU 和内存需求取决于订阅范围、消息大小、压缩方式、应用处理逻辑以及当时的流量。不能用一个固定的“每秒多少 MB”来概括 Solana。
出发点是把数据流入的速度与处理能力之间的关系,纳入设计和测量。

数据不断流入,队列仍然可能持续增长

先用大小相同的方块,比较同一秒内到达的数据量。每个方块表示1,000条消息;假定每条消息为1 kB,合计就是1 MB。较少的例子每秒接收2 MB,较多的例子每秒接收12 MB,两个例子中接收应用的处理能力相同。这是用十进制单位表示消息载荷数据量的说明用模型,不计压缩和协议头。
用大小相同的数据组,比较同一应用在1秒内接收量的说明用模型。每个方块表示1,000条消息和1 MB。输入超过处理能力时,待处理数据会不断积累。
考虑一个用于说明的模型:每秒到达 12,000 个事件,而计算机每秒能处理 10,000 个。假设每个事件需要的工作量相同,初始队列为空,按到达顺序处理,并且不丢弃任何事件。
每秒会多出 2,000 个未处理事件。十秒后,队列中有 20,000 个事件等待处理。此时新进入队列的事件,大约要等待两秒才能开始处理。日志仍在滚动,队列却在不断变长。
这些数字是用于解释原理的假设,并非 Solana 或 ERPC 的实测结果。模型假设输入速率和处理能力恒定。实际流量会突发,每个事件的处理成本也不同,因此即使平均处理能力足够,仍然可能出现等待。
gRPC 流量控制会根据接收方可接收的量调整传输。处理跟不上时,等待可能从应用队列延伸到通信库,甚至发送端。连接仍然存活,或者调用发送 API 写入成功,都不能证明数据到达时有多新。[1]

在数据经过网络之前,选出所需的数据

如果作出判断只需要某些程序或账户的信息,就应先定义所需数据,再设置服务端订阅过滤器。Yellowstone gRPC 支持交易和账户过滤器。具体可组合的条件及可用范围,应以所用 API、SDK 和服务的规格为准。[2]
如果不知道该过滤什么,可以从代码中整理应用作出判断时使用的值,以及提供这些值的通知字段。根据这份对应关系制定候选订阅条件,再验证已知的必要事件是否包含在内。同时确认事件数量减少和所需数据得到保留,便有了继续进行下一项比较的依据。
先接收所有数据,再在客户端丢弃不需要的部分,意味着到这一步为止的传输、解密和解码工作已经发生。在发送端缩小范围,可以直接减少这些工作。在上面的例子中,如果把输入缩小到真正需要的每秒 2,000 个事件,同样每秒处理 10,000 个事件的能力就有了余量。
从相同的12组源数据中,选出这个应用需要的同样2组数据的说明用模型。发送前筛选,可以保留所需数据,同时减少这个订阅的传输量。
可以用交通来理解:道路长度代表传播距离,车道数代表带宽,收费站的通行能力代表接收处理能力,排队的车辆代表等待处理的工作。对于同一个收费站,只让必要的车辆通过,与把附近所有车辆都引导过去,排队情况会截然不同。缩短道路和减少车辆,是两种不同的改善。
通信也有物理下限。以 1 Gbps 传输 100 MB,理论上至少需要 0.8 秒;以 10 Gbps 传输则需要 0.08 秒。这些下限使用十进制单位计算,不包含距离、协议开销、重传和排队。它们不意味着数据流中的每个事件都会统一延迟 0.8 秒。
即使一次计算比一次网络通信更快,发送不需要的数据仍然有成本。需要分别考虑传播时间、链路在单位时间内能够传输的量,以及数据到达后能够完成的工作量。
完整索引、审计和研究等应用确实需要全部数据。这些场景需要为相应工作量准备接收、处理和存储能力。接收所有独立通知,也不同于等待完整区块,即按区块聚合、重构的数据。请检查你的决策是否不必要地依赖无关数据,或依赖聚合完成。[2]

审视接收处理与运行环境

Rust 有助于降低处理成本。为了发挥这种速度优势,也可以一起检查流入的数据量、链路的有效带宽、等待数据库写入的时间,以及锁和串行处理区间。在异步运行时中,为长时间占用 CPU 的任务和阻塞线程的任务安排合适的执行位置,也有助于改善应用。[3]
保持接收循环简短,把耗时工作分离出去。同时定义队列上限及队列满时的行为。无界队列可能把不断增长的延迟隐藏成不断增长的内存占用。有界队列也不能解决持续存在的处理能力不足。在保持必要顺序和数据完整性的前提下,应在缩小订阅范围、优化处理、分区、并行化和增加资源之间作出选择。
先测量从接收到判断完成的过程,再针对出现等待的位置深入调查。下表给出了每个方向最初可以关注的问题。详细指标名称和命令也整理在后面的诊断提示词中,可以按需要逐项使用。
资源最先确认什么
CPU工作是否集中在某一个核心上?同时检查整体和各核心的使用率,以及运行环境的 CPU 限制
内存待处理事件或内存用量是否持续增长?结合排队数据量和最旧事件的等待时间一起观察
磁盘与数据库接收处理是否在等待存储完成?检查数据库写入和存储等待时间。如果应用不保存数据,可以先从其他方向调查
网络链路及其设置是否适合流入的数据量?检查实际传输速率、往返时间和重传
进一步调查通信时,库的设置也可能提供线索。HTTP/2 在流级别和连接级别都有 flow-control window,用来控制对端还能发送多少数据。如果这个额度相对于带宽时延积,也就是带宽乘以往返时间,过小,即使链路还有余量,吞吐量也可能出现上限。遇到相关情况时,可以检查库和中间设备,并在调整时确认设置的作用范围及内存开销。[4]

除了接收量,还要测量数据新鲜度和等待时间

要开始检查应用内部是否积压,先保持当前订阅不变,在同一观测时段记录接收事件数、处理完成事件数、排队事件数和最老事件的等待时间。如果不知道在哪里测量,可以用后面的提示词让智能体检查代码。如果没有显式队列,就从接收后到决策完成的时间入手,并与去掉耗时处理的诊断版本比较。
下面用不依赖具体语言或 SDK 的伪代码,说明测量应放在哪里。向实际代码添加观测时,应保持原有处理顺序和并发方式。
text
接收到数据时:
  接收事件计数加 1
  用单调时钟记录与该事件对应的接收时间
  交给现有处理流程

使用同一事件的判断完成时:
  已完成事件计数加 1
  计算并汇总从接收开始经过的时间
如果接收与判断不是一一对应的关系,应先明确这种对应关系和计数单位。按固定时间间隔汇总观测结果,可以在不增加逐事件日志的情况下比较结果。
进一步排查时,还应记录接收字节数、队列字节数、处理时长的 p50/p95/p99、错误和重连。p99 是一个阈值:测得的处理时长中,99% 不超过这个值。明确每项指标的测量位置。NIC 流量、Protobuf 大小和解码后对象大小是不同的量。
在同一主机内测量经过时间时,应使用单调时钟,并区分接收、入队、出队和处理完成。如果 SDK 回调执行时解码已经结束,回调之前的区间就是未测量部分。与发送端时间戳比较时,应确认时钟同步情况和时间戳的生成位置。不要直接把差值称为纯网络延迟。
如果在不改变订阅的情况下,移除业务处理后等待减少,就有了调查这段处理所带来影响的线索。不过,仅凭回调后的处理很快,并不能证明数据到达时是最新的。
也可以将事件标识符与采用相同订阅和 commitment(所用数据的确认阶段)的参考数据流比较。请确认参考数据流本身没有积压。仅有 slot 差距不能证明数据缺失,也不能换算成固定秒数:某些 slot 中没有匹配的事件,而且 slot 也可能被跳过。[5]
mtr 可以帮助调查路由延迟和响应模式。仅发生在中间 hop 的丢包,也可能是路由器限制自身响应所致。应结合延续到目标端的表现、TCP 重传、实际传输速率以及其他路径的结果进行判断。mtr 本身无法确定带宽耗尽或数据中心故障。[6]

可交给 AI 智能体的诊断提示词

将下面的内容交给能够读取项目代码的智能体。首先说明代码在哪里运行,以及在什么场景下、什么环节感觉慢。智能体可以先从代码调查连接、订阅和接收后的处理。不需要把 API 密钥或认证信息粘贴到对话中。
如果尚未确定必要事件或可接受的延迟,可以直接说明“尚未确定”。用自己的话解释你想观察哪些信息、据此作出什么判断。无法获取的测量值就标记为未测量,从现在能检查的部分开始。
text
请调查我的 Solana Geyser gRPC 客户端是否还有提高响应速度的空间。如果存在延迟、积压或断开连接,请区分原因并协助改进。不要仅凭连接成功或日志显示有事件,就推断正在处理最新数据。也不要预先认定问题一定在客户端或分发服务一侧。

1. 明确目标:需要的事件、可接受的数据新鲜度、顺序和丢失要求、订阅过滤器、commitment、端点区域、实际的语言/SDK/gRPC 库版本,以及运行环境。优先检查能够访问的代码、配置和 lockfile,只询问缺失的信息。尚未确定的要求应明确保留为待定,先调查当前状态。不要显示秘密信息,分享日志时应脱敏。

2. 测量从接收到完成的全过程。优先关注接收、处理完成和等待时间,从能够测量的部分开始。记录事件/秒、字节/秒、完成事件/秒、队列事件数/字节数/最老事件的等待时间、p50/p95/p99、错误、断连、重连和丢弃。如果没有显式队列,请说明,并指出能够观测的处理区间。注明观测位置和未测量区间。区分 NIC 流量、线上传输字节、Protobuf 大小和解码后对象。主机内的经过时间使用单调时钟;外部时间应确认时钟同步和时间戳来源。不要直接把 slot 差距解释为数据丢失或固定时长。

3. 分别检查 CPU、内存、磁盘和网络约束。检查核心/线程级 CPU、steal 和 CPU 限制、RSS/GC/swap/PSI、I/O 等待、NIC 字节/丢包/错误、TCP 重传和 RTT。可用的 Linux 工具包括 mpstat、pidstat、vmstat、iostat、sar、ss -ti 和 /proc/pressure/。如果缺少工具或权限,请说明,并提供所需的最少命令。如果无法访问主机,请寻找管理控制台或应用内测量能够提供的信息,并将无法获取的量标记为未测量。绝不编造结果。

4. 检查 HTTP/2 的流级和连接级窗口、TCP 接收缓冲区、代理、VPN 和 sidecar。查阅已安装 SDK 版本的官方文档,并考虑带宽时延积。检查接收循环及其周边的 JSON 转换、逐事件日志、同步数据库/外部 API 调用、阻塞操作、锁、无限制的任务创建和无界队列。不要把使用 Rust 或异步代码本身视为解决方案。

5. 如果可以使用 mtr 或类似工具,对实际端点主机进行有限次数的测量。在支持的系统上,可以考虑:mtr --tcp --port <PORT> --report --report-cycles 30 <HOST>。使用实际端口,不要假定是常见 TLS 端口。不要仅凭中间 hop 丢包就认定故障;应比较目标端表现、重传和其他路径。不要以 mtr 代替带宽测量。

6. 在当前订阅条件下记录基线,每次只改变一个变量。比较最小接收路径与加入业务处理后的流水线时,保持订阅不变。过滤器改动应作为另一组比较。在缩小订阅范围前,确认决策输入与通知的对应关系,并验证候选过滤器包含已知的必要事件。设计能够保留必要顺序和完整性的有界队列与并行处理,并明确队列溢出时的行为。不要擅自丢弃必要数据。保存完整错误信息和重试期限;在规定的暂停期间不要重新连接。

7. 分别报告观测事实、可能原因、尚未验证的假设、可供审查的改动,以及改动前后的测量值。根据订阅和实测结果估算 CPU、RAM、带宽、存储性能及部署位置,并考虑峰值余量。不要编造统一固定的 Solana 硬件要求。如有需要,提出在相同订阅、SDK 和 commitment 下比较不同机器/数据中心的计划。

如果我使用 ERPC,请阅读当前 gRPC FAQ,并遵循具体错误码对应的说明:
https://erpc.global/en/faq/grpc/general/
如果已经连接 ERPC User MCP 或 CLI,请确认实际可用的操作和权限。能够访问账户不代表能够诊断主机。在创建付费 VPS、变更合同、更新或重启生产环境之前,请先说明费用、目的和测试时长,并取得我的批准。先完成诊断和可供审查的改进方案。

在可比较的环境中运行相同代码

测量结果可能揭示 CPU、内存资源或网络路径上的改进机会。更强的 CPU、更多内存、拆分工作,或部署到更靠近数据源的位置,都是可以考虑的选择。把这些选择与应用的数据量和观测结果联系起来,便能更清楚地判断为什么值得尝试,以及应验证什么效果。
ERPC VPS 是在 Solana 基础设施附近运行数据流客户端的一种选择。通过按小时计费,可以在相同代码和订阅条件下与当前环境比较。使用前请在 Dashboard 确认最新价格、区域和库存。即使使用 ERPC,资源需求仍取决于订阅内容和应用处理逻辑。[7]
比较时,除了接收吞吐量,还应查看队列增长、处理完成时的数据新鲜度、p99 和错误。记录测量时段和链上负载。同步比较或重复测量,有助于避免把不同时段的流量变化误判为环境性能差异。
寻求支持时,请提供脱敏后的订阅设置、SDK 版本、区域、时间戳、完整错误信息,以及已经获得的测量结果。尚未获取的数值,直接说明未测量即可。
每多获得一项观测,就更容易选择下一步尝试的改动。在保留所需数据的前提下,一步步确认改进效果。我们也会持续完善支持大家开发工作的信息和基础设施。

参考资料与相关链接