# AI Inference

> Classical ML Inference

**Published by:** [Saint Lee](https://paragraph.com/@saintlee/)
**Published on:** 2026-01-15
**URL:** https://paragraph.com/@saintlee/ai-inference

## Content

Tận dụng các mô hình machine learning cổ điển dựa trên cây quyết định và hồi quy để thực hiện các phép tính ML hiệu quả và có khả năng mở rộng.Bối cảnhPhần lớn các dự án Web3 thường khiến bạn tin rằng mọi giao thức và ứng dụng on-chain đều cần đến toàn bộ sức mạnh của các mô hình tự hồi quy (LLMs) và mô hình diffusion hiện đại nhất. Tuy nhiên, nếu tiếp cận vấn đề từ góc nhìn về bề mặt của các giao thức và ứng dụng hiện tại có thể được “làm cho thông minh” như thế nào, thì rất nhiều tham số điều khiển các giao thức đó có thể được cải thiện đáng kể bằng các mô hình hồi quy và mô hình dựa trên cây đã tồn tại từ lâu. Khác với các dự án khác, chúng tôi áp dụng một cách tiếp cận thống nhất trong việc cho phép smart contract trở nên “thông minh”, và hỗ trợ đầy đủ các mô hình ML cổ điển trong bộ mô hình của mình. Để mang lại trải nghiệm liền mạch nhất cho các nhà phát triển khi đưa các mô hình cổ điển lên on-chain, chúng tôi hỗ trợ định dạng phổ biến nhất mà hầu hết các kỹ sư ML sử dụng: ONNX.Giới thiệu về ONNXONNX (Open Neural Network Exchange) là một định dạng mã nguồn mở cho các mô hình AI, cho phép khả năng tương thích giữa nhiều framework AI khác nhau. ONNX thiết lập một tập hợp các thành phần lõi được chuẩn hóa, cho phép các nhà phát triển dễ dàng tận dụng mô hình trên nhiều framework, công cụ, runtime và compiler khác nhau. ONNX cũng duy trì một kho lưu trữ lớn các mô hình đã được huấn luyện sẵn, tiên tiến nhất, ở định dạng này.Tại sao ONNX xuất hiện trên Blockchain?Việc sử dụng ONNX mang lại nhiều lợi ích:Interoperability (Khả năng tương thích): Các mô hình ONNX có thể được sử dụng trên nhiều framework AI khác nhau, giúp việc triển khai, quản lý và mở rộng các ứng dụng AI trên blockchain trở nên dễ dàng hơn giữa các nhà phát triển.Efficiency (Hiệu quả): Các mô hình ONNX được tối ưu hóa cho hiệu năng, đảm bảo việc thực thi các phép tính AI hiệu quả trong môi trường blockchain có tài nguyên hạn chế.Classical ML Inference on RitualRitual hỗ trợ suy luận ML cổ điển thông qua một sidecar thực thi mô hình ONNX chuyên biệt. Các yêu cầu suy luận ONNX chấp nhận các kiểu đầu vào sau:model_idinputsoutput_arithmeticoutput_num_decimals# Sample Python code via the ritual_sidecars helper library # to encode an Classical ML Inference request async def request_onnx_compute( model_id: str | MlModelId, vector: np.ndarray[Any, Any], in_arithmetic: ArithmeticType = ArithmeticType.ieee, in_decimals: int = 0, out_arithmetic: ArithmeticType = ArithmeticType.ieee, out_decimals: int = 0, timeout: int = 10, ) -> tuple[str, str]: # Generating on-chain input data req_bytes = ONNXInferenceRequest( ml_model=model_id, input=RitualVector.from_numpy(vector), result_arithmetic=out_arithmetic, result_fixed_point_scale=out_decimals, ).to_web3(arithmetic=in_arithmetic, fixed_point_scale=in_decimals) # Sending an on-chain compute request return await request_sidecar_compute( SpcId.inference, req_bytes, timeout=timeout )Lưu ý việc sử dụng RitualVector, thư viện tùy chỉnh của chúng tôi để tương tác với dữ liệu vector trên-chain.Các tính năng chính của ONNXWide range of pre-trained models: Sử dụng đa dạng các mô hình đã được huấn luyện sẵn tương thích với định dạng ONNX, được lấy từ Hugging Face Hub (web2) hoặc Arweave (web3).Unified API for inputs and outputs: Thông qua RitualVector và API sidecar ONNX tổng quát, các nhà phát triển có thể sử dụng nhiều loại và lớp mô hình khác nhau mà không cần lo lắng về việc tuân thủ các yêu cầu I/O riêng biệt của từng mô hình.Customizable preprocessing: Người dùng có thể tùy chỉnh các bước tiền xử lý bằng cách sử dụng các hook trước khi đưa dữ liệu vào mô hình ONNX, đảm bảo tính linh hoạt và khả năng thích ứng với các trường hợp sử dụng cụ thể.

## Publication Information

- [Saint Lee](https://paragraph.com/@saintlee/): Publication homepage
- [All Posts](https://paragraph.com/@saintlee/): More posts from this publication
- [RSS Feed](https://api.paragraph.com/blogs/rss/@saintlee): Subscribe to updates
- [Twitter](https://twitter.com/SaintLee04): Follow on Twitter