Beli VPS dari provider mana pun (Contoh: Vultr, DigitalOcean, Hetzner, dll).
Pastikan kamu memilih OS: Ubuntu 20.04 atau 22.04 agar tutorial ini sama dengan yang saya gunakan.
Gunakan minimal RAM 2GB, semakin besar RAM, semakin baik.
Buka website: https://vikey.ai
Daftar dan login.
Masuk ke menu My API Key → Klik Create New API Key.
Setelah itu, klik nama API Key kamu dan Copy key-nya.
Kalau kamu belum install vikey-inference kamu bisa Jalankan perintah ini satu per satu di VPS kamu:
cd ~
git clone https://github.com/direkturcrypto/vikey-inference vikey-inference-gaia
tapi kalau kamu sudah pernah install vikey-inference sebelumnya, kamu bisa copy saja folder vikey-inference sebelumnya jadi vikey-inference-gaia misal
cp -r ~/vikey-inference ~/vikey-inference-gaia
cd ~/vikey-inference-gaia
cd ~/vikey-inference-gaia
mkdir config
cd config
buat / edit file pada config.json
{
"address": "YOUR_ADDRESS",
"chat": "https://huggingface.co/second-state/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q5_K_M.gguf",
"chat_batch_size": "128",
"chat_ctx_size": "16384",
"chat_name": "Llama-3.2-3B-Instruct",
"chat_ubatch_size": "128",
"context_window": "1",
"description": "The default GaiaNet node config with a Llama-3.2-3B-Instruct model and a Paris tour guide knowledge base.",
"domain": "gaia.domains",
"embedding": "https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf",
"embedding_batch_size": "8192",
"embedding_collection_name": "default",
"embedding_ctx_size": "8192",
"embedding_name": "Nomic-embed-text-v1.5",
"embedding_ubatch_size": "8192",
"llamaedge_chat_port": "PORT_VIKEY_KAMU",
"llamaedge_embedding_port": "9069",
"llamaedge_port": "8080",
"prompt_template": "llama-3-chat",
"qdrant_limit": "1",
"qdrant_score_threshold": "0.5",
"rag_policy": "system-message",
"rag_prompt": "You are a tour guide in Paris, France. Use information in the following context to directly answer the question from a Paris visitor.\n----------------\n",
"reverse_prompt": "",
"snapshot": "",
"system_prompt": "You are a tour guide in Paris, France. Please answer the question from a Paris visitor accurately."
}
YOUR_ADDRESS
TIDAK PERLU DI GANTI, biarkan saja begitu
PORT_VIKEY_KAMU
di ganti sesuai dengan port vikey khusus untuk gaia kamu ( kalau di tutorial ini menggunakan port 14441 )
lalu save dengan ctrl + x
lalu Y
dan enter
buat / edit file pada info.json
{
"type": "llama",
"version": "0.17.0",
"ggml_plugin_version": "b5074 (commit 1466621e)",
"port": "14441",
"chat_model": {
"name": "Llama-3.2-3B-Instruct",
"type": "chat",
"ctx_size": 16384,
"batch_size": 128,
"ubatch_size": 128,
"prompt_template": "Llama3Chat",
"n_predict": -1,
"n_gpu_layers": 100,
"temperature": 1.0,
"top_p": 1.0,
"repeat_penalty": 1.1,
"presence_penalty": 0.0,
"frequency_penalty": 0.0,
"split_mode": "layer"
},
"extras": {}
}
lalu save dengan cara ctrl +x
lalu Y
dan ENTER
edit file .env di folder vikey-inference-gaia
cd ~/vikey-inference-gaia
nano .env
Isi file .env
seperti ini (ubah VIKEY_API_KEY=
dengan API key yang sudah kamu buat):
VIKEY_API_KEY=ISI_API_KEY_MU_DISINI
NODE_PORT=14441
LLAMAEDGE_ENABLED=true
DEFAULT_MODEL=llama-3.2-8b-instruct
Simpan file dengan cara: Tekan
CTRL + X
→ ketikY
→ tekanENTER
Setelah selesai, jalankan di background:
nohup ./vikey-inference-linux > vikey_gaia.log &
Cek apakah sudah berjalan:
curl http://localhost:14441
Jika muncul informasi tentang {"error":"Endpoint not supported"}
, artinya sudah jalan
Kalau kosong atau error, cek dulu apakah vikey-inference-linux
sedang jalan:
ps aux | grep vikey
untuk cek log nya bisa
tail -f vikey.log
cd ~
mkdir gaia-vikey-1
curl -sSfL 'https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/install.sh' | bash -s -- --base $HOME/gaia-vikey-1
source ~/.bashrc
cd gaia-vikey-1
Edit config.json:
nano config.json
copy aja config ini, menggunakan model Llama-3.2-3B-Instruct
{
"address": "ADDRESS_NODE_KAMU",
"chat": "https://huggingface.co/second-state/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q5_K_M.gguf",
"chat_batch_size": "128",
"chat_ctx_size": "16384",
"chat_name": "Llama-3.2-3B-Instruct",
"chat_ubatch_size": "128",
"context_window": "1",
"description": "The default GaiaNet node config with a Llama-3.2-3B-Instruct model and a Paris tour guide knowledge base.",
"domain": "gaia.domains",
"embedding": "https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf",
"embedding_batch_size": "8192",
"embedding_collection_name": "default",
"embedding_ctx_size": "8192",
"embedding_name": "Nomic-embed-text-v1.5",
"embedding_ubatch_size": "8192",
"llamaedge_chat_port": "14441",
"llamaedge_embedding_port": "9069",
"llamaedge_port": "8080",
"prompt_template": "llama-3-chat",
"qdrant_limit": "1",
"qdrant_score_threshold": "0.5",
"rag_policy": "system-message",
"rag_prompt": "You are a tour guide in Paris, France. Use information in the following context to directly answer the question from a Paris visitor.\n----------------\n",
"reverse_prompt": "",
"snapshot": "",
"system_prompt": "You are a tour guide in Paris, France. Please answer the question from a Paris visitor accurately."
}
Ganti ADDRESS_NODE_KAMU
sesuai dengan address kamu. Untuk mendapatkannya:
cat nodeid.json
jika ingin menggunakan model lain bisa coba di sesuaikan antara config.json di folder gaianet & vikey-inference, harus cocok supaya bisa join di domain yang kamu inginkan. pada tutorial ini menggunakan model Llama-3.2-3B-Instruct
hanya sebagai contoh saja
CATATAN : dan juga perhatikan pada llamaedge_chat_port
itu pastikan sama dengan NODE_PORT vikey-inference kamu.
Edit file berikut:
vi bin/gaianet
Cari baris berikut, biasanya terletak pada baris 500 an :
❌ Port $llamaedge_port is in use. Exit ...
Lalu cari baris setelahnya seperti ini:
stop_force
exit 1
Ganti baris tersebut jadi:
# stop_force
# exit 1
Ganti juga pada bagian di bawahnya:
cmd=(wasmedge --dir .:./dashboard \
--nn-preload default:GGML:AUTO:$chat_model_name \
llama-api-server.wasm \
--model-name $chat_model_stem \
--ctx-size $chat_ctx_size \
--batch-size $chat_batch_size \
--ubatch-size $chat_ubatch_size \
--prompt-template $prompt_type \
--include-usage \
--port $llamaedge_chat_port)
Ganti menjadi begini :
# cmd=(wasmedge --dir .:./dashboard \
# --nn-preload default:GGML:AUTO:$chat_model_name \
# llama-api-server.wasm \
# --model-name $chat_model_stem \
# --ctx-size $chat_ctx_size \
# --batch-size $chat_batch_size \
# --ubatch-size $chat_ubatch_size \
# --prompt-template $prompt_type \
# --include-usage \
# --port $llamaedge_chat_port)
Contohnya ada pada gambar di di atas ini.
Tujuannya agar port chat pada gaia ini mengarah menggunakan API vikey yang sudah kamu setting pada vikey-inference tadi.
Save : ESC
-> ketik :wq
Cancel : ESC
-> ketika :q!
Pencarian : ESC
-> lalu ketik /kata yang mau di cari
Edit : ESC
-> lalu ketik i
jangan lupa ESC lagi setelah edit
./bin/gaianet init --base ~/gaia-vikey-1
./bin/gaianet start --base ~/gaia-vikey-1
Kalau berhasil, muncul log nya begini
Buka https://gaianet.ai
Login → klik menu Nodes → Connect New Node
Isi dengan:
Node ID
→ hasil dari cat nodeid.json
di bagian address
Device ID
→ hasil dari cat deviceid.txt
Jika berhasil, node kamu sudah terhubung!
Kalau node sudah terhubung, tinggal join domain yang kamu percaya agar mendapatkan tugas & point.
Kalau mau join di domain admin juga bisa, sudah terpasang bot dg max tokens 1024 per request ( pastikan menggunakan vikey supaya nodes kamu kuat memproses token tinggi ) sehingga bisa nge boost pointnya sekali task
Untuk tutorial pasang chatbot sendiri yang mempercepat point, akan saya post di postingan selanjutnya!
Kalau kamu sudah mahir deploy2 bisa langsung pelajari aja SC admin di github
Kalau ada masalah bisa coba hubungi admin di tele t.me/direkturcrypto
Boss, Please post Dria Guide