讓你的 Solana 應用程式更快:檢視 gRPC 資料量、接收處理與執行環境

讓你的 Solana 應用程式更快:檢視 gRPC 資料量、接收處理與執行環境

讓你的 Solana 應用程式更快:檢視 gRPC 資料量、接收處理與執行環境
你正在開發的 Solana 應用程式,可能還能執行得更快。應用程式接收的資料量、後續處理,以及 CPU 和網路等執行資源,共同影響著它的表現。重新檢視這些因素的組合,或許能進一步發揮現有軟體的效能。
你開始在 Solana 上開發 HFT,連上了 Geyser gRPC,也能在日誌中看到資料,但判斷的速度仍未達到預期。從接收到作出判斷之間的等待,可能提供改善的線索。可以先從現有程式碼中找出能夠觀測的位置。
在 ERPC,與客戶的交流和回饋讓我們有機會共同檢視資料傳送、接收設定與應用程式的處理流程。這些發現也協助我們持續改善資料傳送服務和文件。本文介紹相關機制與調查步驟,協助首次處理高速、大容量資料串流的開發者,在自己的環境中尋找改善空間。

先從現有程式碼做一項小檢查

專業術語和診斷指令,可以在需要用到時再查閱。如果你有能讀取專案程式碼的 AI 代理,可以先試著交給它下面這段簡短請求。補充應用程式在哪裡執行,以及何時感覺較慢即可。尚未確定的需求和暫時無法取得的量測值,都可以先保留現狀,從能夠檢查的部分開始。
text
我想了解自己的 Solana 應用程式是否還有提高回應速度的空間。
請先閱讀現有程式碼,找出資料接收的位置,以及使用該資料作出判斷並完成判斷的位置。保持訂閱條件不變,提出能夠量測這段區間內事件數量和經過時間的最小調整方案。
這次先說明量測位置、調整方案、能夠了解什麼,以及哪些部分仍未量測即可。如果無法存取主機,請從應用程式內部能夠觀測的部分開始。不要顯示機密資訊、修改正式環境或建立付費資源。
第一次調查得到的有用結果,是知道自己程式碼中的哪些位置可以量測、要量測什麼。區分可觀測區間和未量測區間,會更容易選擇下一步調查的方向。本文後面也提供了用於進一步排查的詳細提示詞。
例如,AI 代理可能這樣回覆:「資料在 stream.ts 中的 onData 接收,在 strategy.ts 中的 onDecisionComplete 完成判斷。我建議作一項調整,彙整接收事件數、完成判斷的次數,以及這段區間的經過時間。在這個量測方案中,回呼之前的區間不在量測範圍內。」這是以虛構的 TypeScript 檔名與函式名稱編寫的回覆範例。不論使用哪種程式語言,都請確認以下三者是否相互對應:實際程式碼中的位置、要新增的紀錄,以及本次量測的範圍限制。若接收與判斷不是一對一的關係,也請代理提出對應關係和統計單位。

在 Web 開發經驗上,增加觀察資料串流的視角

託管服務讓開發者能夠在不必關注每個伺服器元件的情況下,建立許多 Web 功能。這些經驗同樣可以成為處理 Solana 資料串流的基礎。在此之上,再關注持續流入的資料量,以及應用程式處理這些資料的速度。
使用 SDK 連接 Solana 看起來也同樣簡單。但當你訂閱大範圍的交易或帳戶更新時,工作量就改變了。頻寬、CPU 和記憶體需求取決於訂閱範圍、訊息大小、壓縮方式、應用程式處理邏輯,以及當時的流量。不能用一個固定的「每秒多少 MB」來概括 Solana。
出發點是把資料流入速度與處理能力之間的關係,納入設計與量測。

資料不斷流動,佇列仍可能持續增長

先用大小相同的方塊,比較同一秒內到達的資料量。每個方塊代表1,000則訊息;假設每則訊息為1 kB,合計就是1 MB。較少的例子每秒接收2 MB,較多的例子每秒接收12 MB,兩個例子中接收應用程式的處理能力相同。這是以十進位單位表示訊息承載資料量的說明用模型,不計壓縮與協定標頭。
以大小相同的資料組,比較同一應用程式在1秒內接收量的說明用模型。每個方塊代表1,000則訊息與1 MB。輸入超過處理能力時,待處理資料會不斷累積。
考慮一個用於說明的模型:每秒抵達 12,000 個事件,而電腦每秒能處理 10,000 個。假設每個事件需要的工作量相同,初始佇列為空,按抵達順序處理,且不丟棄任何事件。
每秒會多出 2,000 個未處理事件。十秒後,佇列中有 20,000 個事件等待處理。此時新進入佇列的事件,大約要等兩秒才能開始處理。日誌持續更新,佇列卻不斷變長。
這些數字是用來解釋原理的假設,並非 Solana 或 ERPC 的實測結果。模型假設輸入速率與處理能力固定。實際流量會突增,各事件的處理成本也不同,因此即使平均處理能力足夠,仍然可能出現等待。
gRPC 流量控制會依接收端可接收的量調整傳輸。處理跟不上時,等待可能從應用程式佇列延伸到通訊函式庫,甚至傳送端。連線仍然有效,或呼叫傳送 API 寫入成功,都不能證明資料抵達時有多新。[1]

在資料經過網路之前,選出所需的資料

如果做出判斷只需要某些程式或帳戶的資訊,就應先定義所需資料,再設定伺服器端訂閱篩選器。Yellowstone gRPC 支援交易和帳戶篩選器。具體可組合的條件與可用範圍,應以所用 API、SDK 和服務的規格為準。[2]
如果不知道該篩選什麼,可以從程式碼中整理應用程式作出判斷時使用的值,以及提供這些值的通知欄位。根據這份對應關係建立候選訂閱條件,再驗證已知的必要事件是否包含在內。同時確認事件數量減少和所需資料得到保留,便有了繼續進行下一項比較的依據。
先接收所有資料,再在客戶端丟棄不需要的部分,代表到這一步為止的傳輸、解密和解碼工作已經發生。在傳送端縮小範圍,可以直接減少這些工作。在上面的例子中,如果把輸入縮小到真正需要的每秒 2,000 個事件,同樣每秒處理 10,000 個事件的能力就有了餘裕。
從相同的12組來源資料中,選出這個應用程式需要的同樣2組資料的說明用模型。傳送前篩選,可以保留所需資料,同時減少這項訂閱的傳輸量。
可以用交通來理解:道路長度代表傳播距離,車道數代表頻寬,收費站的通行能力代表接收處理能力,排隊的車輛代表等待處理的工作。對同一個收費站而言,只讓必要的車輛通過,與把附近所有車輛都引導過去,排隊情況會截然不同。縮短道路和減少車輛,是兩種不同的改善。
通訊也有物理下限。以 1 Gbps 傳輸 100 MB,理論上至少需要 0.8 秒;以 10 Gbps 傳輸則需要 0.08 秒。這些下限使用十進位單位計算,不包含距離、協定開銷、重傳和排隊。它們不代表串流中的每個事件都會一律延遲 0.8 秒。
即使一次計算比一次網路通訊更快,傳送不需要的資料仍有成本。需要分別考慮傳播時間、鏈路在單位時間內能夠傳輸的量,以及資料抵達後能夠完成的工作量。
完整索引、稽核和研究等應用確實需要全部資料。這些情境需要為相應工作量準備接收、處理和儲存能力。接收所有獨立通知,也不同於等待完整區塊,也就是按區塊彙整、重建的資料。請檢查你的決策是否不必要地依賴無關資料,或依賴彙整完成。[2]

檢視接收處理與執行環境

Rust 有助於降低處理成本。為了發揮這種速度優勢,也可以一起檢查流入的資料量、連線的有效頻寬、等待資料庫寫入的時間,以及鎖和循序處理區間。在非同步執行環境中,為長時間占用 CPU 的工作和阻塞執行緒的工作安排合適的執行位置,也有助於改善應用程式。[3]
保持接收迴圈簡短,把耗時工作分離出去。同時定義佇列上限及佇列滿時的行為。無界佇列可能把不斷增長的延遲,隱藏成不斷增長的記憶體占用。有界佇列也不能解決持續存在的處理能力不足。在維持必要順序與資料完整性的前提下,應在縮小訂閱範圍、最佳化處理、分區、平行化和增加資源之間做出選擇。
先量測從接收到判斷完成的過程,再針對出現等待的位置深入調查。下表列出每個方向最初可以關注的問題。詳細指標名稱和指令也整理在後面的診斷提示詞中,可以視需要逐項使用。
資源最先確認什麼
CPU工作是否集中在某一個核心上?同時檢查整體和各核心的使用率,以及執行環境的 CPU 限制
記憶體待處理事件或記憶體用量是否持續增加?結合排隊資料量和最舊事件的等待時間一起觀察
磁碟與資料庫接收處理是否正在等待儲存完成?檢查資料庫寫入和儲存等待時間。如果應用程式不保存資料,可以先從其他方向調查
網路連線及其設定是否適合流入的資料量?檢查實際傳輸速率、往返時間和重傳
進一步調查通訊時,程式庫的設定也可能提供線索。HTTP/2 在串流層級和連線層級都有 flow-control window,用來控制對端還能傳送多少資料。如果這個額度相對於頻寬延遲乘積,也就是頻寬乘以往返時間,過小,即使連線還有餘裕,傳輸量也可能遇到上限。遇到相關情況時,可以檢查程式庫和中間設備,並在調整時確認設定的作用範圍與記憶體成本。[4]

除了接收量,也要量測資料新鮮度與等待時間

要開始檢查應用程式內部是否積壓,先保持目前的訂閱不變,在同一觀測期間記錄接收事件數、處理完成事件數、排隊事件數和最舊事件的等待時間。如果不知道在哪裡量測,可以用後面的提示詞請代理檢查程式碼。如果沒有明確建立的佇列,就從接收後到判斷完成的時間著手,並與移除耗時處理的診斷版本比較。
下面用不依賴特定語言或 SDK 的虛擬碼,說明量測應放在哪裡。向實際程式碼加入觀測時,應維持原有處理順序和並行方式。
text
接收到資料時:
  接收事件計數加 1
  用單調時鐘記錄與該事件對應的接收時間
  交給現有處理流程

使用同一事件的判斷完成時:
  已完成事件計數加 1
  計算並彙整從接收開始經過的時間
如果接收與判斷不是一對一的關係,應先明確定義這種對應關係和計數單位。按固定時間間隔彙整觀測結果,可以在不增加逐事件日誌的情況下比較結果。
進一步排查時,還應記錄接收位元組數、佇列位元組數、處理時間的 p50/p95/p99、錯誤和重新連線。p99 是一個門檻值:量測到的處理時間中,99% 不超過這個值。明確標示每項指標的量測位置。NIC 流量、Protobuf 大小和解碼後物件大小是不同的量。
在同一主機內量測經過時間時,應使用單調時鐘,並區分接收、入列、出列和處理完成。如果 SDK 回呼執行時解碼已經結束,回呼之前的區間就是未量測的部分。與傳送端時間戳記比較時,應確認時鐘同步情況和時間戳記的產生位置。不要直接把差值稱為純網路延遲。
如果在不改變訂閱的情況下,移除業務處理後等待減少,就有了調查這段處理所帶來影響的線索。不過,僅憑回呼後的處理很快,並不能證明資料抵達時是最新的。
也可以將事件識別碼與採用相同訂閱及 commitment(所用資料的確認階段)的參考串流比較。請確認參考串流本身沒有積壓。僅有 slot 差距不能證明資料缺失,也不能換算成固定秒數:某些 slot 中沒有符合條件的事件,而且 slot 也可能被跳過。[5]
mtr 可以協助調查路由延遲和回應模式。僅出現在中間 hop 的丟包,也可能是路由器限制自身回應所致。應結合延續到目的端的表現、TCP 重傳、實際傳輸速率,以及其他路徑的結果進行判斷。mtr 本身無法確定頻寬耗盡或資料中心故障。[6]

可交給 AI 代理的診斷提示詞

將下面的內容交給能讀取專案程式碼的代理。首先說明程式在哪裡執行,以及在什麼情境下、哪個環節感覺慢。代理可以先從程式碼調查連線、訂閱和接收後的處理。不需要把 API 金鑰或認證資訊貼到對話中。
如果尚未確定必要事件或可接受的延遲,可以直接說明「尚未確定」。用自己的話解釋想觀察哪些資訊、據此做出什麼判斷。無法取得的量測值就標示為未量測,從現在能檢查的部分開始。
text
請調查我的 Solana Geyser gRPC 客戶端是否還有提高回應速度的空間。如果存在延遲、積壓或斷線,請區分原因並協助改善。不要僅憑連線成功或日誌顯示有事件,就推斷正在處理最新資料。也不要預先認定問題一定在客戶端或資料傳送服務一側。

1. 明確目標:需要的事件、可接受的資料新鮮度、順序與遺失要求、訂閱篩選器、commitment、端點區域、實際的語言/SDK/gRPC 函式庫版本,以及執行環境。優先檢查能夠存取的程式碼、設定和 lockfile,只詢問缺少的資訊。尚未確定的需求應明確保留為待定,先調查目前狀態。不要顯示機密資訊,分享日誌時應遮蔽敏感內容。

2. 量測從接收到完成的全過程。優先關注接收、處理完成和等待時間,從能夠量測的部分開始。記錄事件/秒、位元組/秒、完成事件/秒、佇列事件數/位元組數/最舊事件的等待時間、p50/p95/p99、錯誤、斷線、重新連線和丟棄。如果沒有明確建立的佇列,請說明,並指出能觀測的處理區間。註明觀測位置和未量測區間。區分 NIC 流量、線上傳輸位元組、Protobuf 大小和解碼後物件。主機內的經過時間使用單調時鐘;外部時間應確認時鐘同步和時間戳記來源。不要直接把 slot 差距解讀成資料遺失或固定時長。

3. 分別檢查 CPU、記憶體、磁碟和網路限制。檢查核心/執行緒層級 CPU、steal 和 CPU 限制、RSS/GC/swap/PSI、I/O 等待、NIC 位元組/丟包/錯誤、TCP 重傳和 RTT。可用的 Linux 工具包括 mpstat、pidstat、vmstat、iostat、sar、ss -ti 和 /proc/pressure/。如果缺少工具或權限,請說明,並提供所需的最少命令。如果無法存取主機,請尋找管理介面或應用程式內量測能提供的資訊,並將無法取得的量標示為未量測。絕不編造結果。

4. 檢查 HTTP/2 的串流層級和連線層級視窗、TCP 接收緩衝區、Proxy、VPN 和 sidecar。查閱已安裝 SDK 版本的官方文件,並考慮頻寬延遲乘積。檢查接收迴圈及其周邊的 JSON 轉換、逐事件日誌、同步資料庫/外部 API 呼叫、阻塞操作、鎖定、無限制的工作建立和無界佇列。不要把使用 Rust 或非同步程式碼本身視為解決方案。

5. 如果可以使用 mtr 或類似工具,對實際端點主機進行有限次數的量測。在支援的系統上,可以考慮:mtr --tcp --port <PORT> --report --report-cycles 30 <HOST>。使用實際連接埠,不要假定是常見 TLS 連接埠。不要僅憑中間 hop 丟包就認定故障;應比較目的端表現、重傳和其他路徑。不要以 mtr 代替頻寬量測。

6. 在目前的訂閱條件下記錄基準值,每次只改變一個變數。比較最小接收路徑與加入業務處理後的流程時,保持訂閱不變。篩選器調整應作為另一組比較。在縮小訂閱範圍前,確認判斷所用的輸入值與通知的對應關係,並驗證候選篩選器包含已知的必要事件。設計能夠保留必要順序和完整性的有界佇列與平行處理,並明確定義佇列溢出時的行為。不要擅自丟棄必要資料。保存完整錯誤資訊和重試期限;在規定的暫停期間不要重新連線。

7. 分別報告觀測事實、可能原因、尚未驗證的假設、可供審查的改動,以及改動前後的量測值。根據訂閱和實測結果估算 CPU、RAM、頻寬、儲存效能及部署位置,並考慮尖峰時的餘裕。不要編造統一固定的 Solana 硬體要求。如有需要,提出在相同訂閱、SDK 和 commitment 下比較不同機器/資料中心的計畫。

如果我使用 ERPC,請閱讀目前的 gRPC FAQ,並遵循具體錯誤碼對應的說明:
https://erpc.global/en/faq/grpc/general/
如果已經連接 ERPC User MCP 或 CLI,請確認實際可用的操作和權限。能夠存取帳戶不代表能夠診斷主機。在建立付費 VPS、變更合約、更新或重新啟動正式環境之前,請先說明費用、目的和測試時間,並取得我的核准。先完成診斷和可供審查的改善方案。

在可比較的環境中執行相同程式碼

量測結果可能揭示 CPU、記憶體資源或網路路徑上的改善機會。更強的 CPU、更多記憶體、拆分工作,或部署到更靠近資料來源的位置,都是可以考慮的選擇。把這些選擇與應用程式的資料量和觀測結果連結起來,便能更清楚地判斷為什麼值得嘗試,以及應驗證什麼效果。
ERPC VPS 是在 Solana 基礎設施附近執行串流客戶端的一種選擇。透過按小時計費,可以在相同程式碼和訂閱條件下與目前環境比較。使用前請在 Dashboard 確認最新價格、區域和可用庫存。即使使用 ERPC,資源需求仍取決於訂閱內容和應用程式處理邏輯。[7]
比較時,除了接收吞吐量,也應查看佇列增長、處理完成時的資料新鮮度、p99 和錯誤。記錄量測時段和鏈上負載。同時比較或重複量測,有助於避免把不同時段的流量變化誤判為環境效能差異。
尋求支援時,請提供遮蔽敏感資訊後的訂閱設定、SDK 版本、區域、時間戳記、完整錯誤訊息,以及已取得的量測結果。尚未取得的數值,直接說明未量測即可。
每多獲得一項觀測,就更容易選擇下一步嘗試的調整。在保留所需資料的前提下,一步步確認改善效果。我們也會持續完善支持大家開發工作的資訊與基礎設施。

參考資料與相關連結