Geyser gRPC - Thực hành tốt nhất
Hướng dẫn này bao gồm các pattern thiết yếu để xây dựng ứng dụng mạnh mẽ, sẵn sàng cho production với Geyser gRPC. Solana Stream SDK hỗ trợ Geyser gRPC.
Bắt đầu
- Bắt đầu đơn giản: hãy bắt đầu với slot subscription để làm quen với streaming trước khi thêm các filter phức tạp.
- Sử dụng filter một cách khôn ngoan: chỉ subscribe những gì bạn cần để giảm băng thông/CPU.
rust
Quản lý kết nối
- Tự động kết nối lại: hãy chuẩn bị cho sự cố mạng; kết nối lại với exponential backoff.
- Xử lý ping/pong: Yellowstone gRPC server gửi ping. Luôn phản hồi bằng pong nếu không server có thể đóng kết nối (nguyên nhân phổ biến của việc ngắt kết nối ~30 giây).
rust
- Khôi phục khoảng trống: sử dụng
from_slotsau khi kết nối lại để tránh mất dữ liệu (dữ liệu trùng lặp là chấp nhận được).
rust
Pattern kiến trúc
- Tách ingress và processing bằng channel để tách biệt network IO khỏi business logic và thêm backpressure.
rust
- Sử dụng bounded channel: chọn dung lượng dựa trên tốc độ xử lý và mức chấp nhận mất dữ liệu (nhỏ hơn = ít bộ nhớ, nhiều drop hơn; lớn hơn = nhiều bộ nhớ, ít drop hơn).
Hiệu suất và khả năng phục hồi
- Giám sát độ trễ xử lý và log khi vượt ngưỡng.
- Ghi DB theo batch; flush theo kích thước batch hoặc khoảng thời gian.
- Sử dụng async IO cho các cuộc gọi bên ngoài; chuyển tính toán nặng sang worker task/thread.
- Tái sử dụng subscription request để giảm cấp phát bộ nhớ.
Xử lý lỗi
- Phân biệt loại lỗi (stream vs processing vs channel).
- Sửa request không hợp lệ trước khi retry; chỉ dùng exponential backoff có tính đến pause khi response yêu cầu retry.
- Log/metric các update bị drop để theo dõi tình trạng slow-consumer.
Sửa trước khi retry và backoff có tính đến pause
Hãy giữ lại lỗi gRPC đầu tiên trước khi vòng lặp kết nối lại ghi đè lên nó. Ghi lại status và message của lỗi, cùng với các metadata
x-erpc-error-code, x-erpc-error-reason, x-erpc-doc-url, x-erpc-retry-after-seconds và x-erpc-retry-at nếu có. Kết nối bị đóng sớm có thể trông giống một lỗi transport thông thường, nên có thể không có đầy đủ mọi trailer.Hãy sửa request không hợp lệ, cấu trúc filter bị từ chối hoặc IP đăng ký không khớp trước khi retry. Với pause của ERPC, hãy chờ đến deadline được trả về; deadline này cụ thể hơn backoff cục bộ. Dùng exponential backoff có giới hạn cho các lỗi do dịch vụ tạm thời không khả dụng và các response khác có thể retry. Đừng retry lặp lại một request không thay đổi chỉ vì nó trả về status khác 0.
Sử dụng tài nguyên và năng lực xử lý
Các cơ chế bảo vệ dùng chung ngăn một workload chiếm năng lực phân phối mà các khách hàng ERPC khác cần. Stream có thể bị chậm do băng thông thực tế, CPU, bộ nhớ, hàng đợi của consumer, thao tác ghi database hoặc các lời gọi ra bên ngoài. Tài nguyên phải đủ cho workload; chỉ riêng việc receiver chậm không cho biết phần nào đang bị giới hạn.
Hãy đo tốc độ dữ liệu đỉnh tại consumer. Đổi MB/s sang Mbps bằng
MB/s × 8, rồi chừa khoảng dự phòng cao hơn mức đỉnh đã đo. Không có mức tối thiểu cố định nào áp dụng khi chưa đo. Giữ phần việc nhận thật ngắn, chuyển update sang hàng đợi có giới hạn (bounded queue), và mở rộng quy mô hoặc thu hẹp subscription nếu phần xử lý không theo kịp. Hàng đợi có giới hạn giúp kiểm soát mức dùng bộ nhớ, nhưng không thể giải quyết tình trạng consumer chậm kéo dài.Quản lý dữ liệu
- Xử lý trùng lặp khi sử dụng
from_slot(cache có giới hạn thời gian hoặc ràng buộc DB). - Chọn commitment theo trường hợp sử dụng:
- processed: nhanh nhất cho dashboard, có thể bị rollback
- confirmed: mặc định tốt cho hầu hết ứng dụng/indexer
- finalized: khi cần đảm bảo tuyệt đối
Subscription động
Sử dụng bidirectional stream để cập nhật subscription trong runtime (hoán đổi filter nóng, mở rộng phạm vi) mà không cần kết nối lại.
Danh sách kiểm tra production
- ✅ Tự động kết nối lại với exponential backoff
- ✅ Khôi phục khoảng trống sử dụng
from_slot - ✅ Xử lý ping/pong (tránh ngắt kết nối 30 giây)
- ✅ Tách ingress và processing với bounded channel/backpressure
- ✅ Log lỗi và metric/alerting
- ✅ Theo dõi độ trễ xử lý
- ✅ Xử lý trùng lặp và tối ưu filter
- ✅ Ghi theo batch (nếu lưu trữ)
- ✅ Dừng ứng dụng an toàn (graceful shutdown) và health check
Tài nguyên bổ sung
- Solana Stream SDK (hỗ trợ Geyser gRPC): https://github.com/ValidatorsDAO/solana-stream






