# Heurist miner快速部署图文指南 **Published by:** [xiangcai.eth](https://paragraph.com/@xiangcai/) **Published on:** 2024-04-28 **URL:** https://paragraph.com/@xiangcai/heurist-miner ## Content 1.配置需求 Heurist测试网提供两种积分:waifu point和Llama point。waifu point是通过运行词生图的sd模型获得的。Llama point是通过运行llm大语言模型获得的。在运行模型时,显卡型号没有限制,但显存是硬性门槛,需求显存越大的模型获得分数的系数也会更高。 下图为目前支持的llm模型,sd模型只有启用或排除sdxl两种模式,启用sdxl需要12G显存,排除sdxl模型目前我测试下来8G显存就可以跑 模型硬件需求 2.在gpu租赁平台运行miner 教程分为在租赁平台上运行和windows本地运行两个部分 2.1 在租赁平台上运行llm与sd 显卡租赁平台提供了运行的基础环境,因此门槛也是最低的,我这边以VAST平台作为演示,可以使用虚拟货币充值。演示使用3090 24g显存作为示例,因为性价比较高,还能同时运行llm与sd(同时运行也可能导致任务超时而拿不到积分)。 https://cloud.vast.ai/?ref_id=85950&template_id=e4c5e88bc289f4eecb0c955c4fe7430d 使用以上链接的模板,硬盘选择100G(3090双跑大概需要60g硬盘) 左边模板应该和图片一样,然后选择显卡租赁(地区选US的最佳,CN的不要选,下载网速最好选快点的,因为模型有几十g要下载) 接下来启动实例 如果启动后显示不安全,就点击高级然后选择继续访问。进入jupyter之后,启动新的终端 首先我们安装llm,终端执行命令 sudo apt update && sudo apt upgrade -y && sudo apt install python3-venv screen jq bc -y && sudo git clone https://github.com/heurist-network/miner-release.git && cd miner-release && sudo chmod +x llm-miner-starter.sh && screen -S llm-miner 该命令会安装一些前置依赖并启动一个新的终端 然后使用以下命令来编辑我们的地址 echo "MINER_ID_0=你的地址-备注" > .env 例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env 生成验证地址 python /root/miner-release/auth/generator.py 脚本会根据你的奖励地址创建一个验证地址,记得保存一下,执行 cat ~/.heurist-keys/* 然后将显示的助记词记录保存好 接下来我们运行llm启动脚本 ./llm-miner-starter.sh 模型名字 具体模型名字根据前面配置需求去修改,我这是3090,所以我执行的是 ./llm-miner-starter.sh dolphin-2.9-llama3-8b 脚本会根据你的奖励地址创建一个验证地址,记得保存一下,文件在 /root/.heurist-keys 下 脚本一开始会下载模型,最后显示如上输出miner就正常运行了 我们键入 ctrl+a+d 使程序后台运行 使用 screen -r llm-miner 可以重新回到程序 2.2 同时运行sd 这一段的前提是已经运行了llm-miner 我们先将llm程序置于后台运行,ctrl+a+d 执行以下命令,创建一个新的终端 screen -S sd-miner 在新终端内执行 conda create -n sd-venv python=3.11 -y --quiet && conda activate sd-venv && pip install -r requirements.txt && python sd-miner.py --log-level DEBUG --auto-confirm yes --exclude-sdxl 奖励钱包和验证钱包前面已经设置过所以无需再设置 同样程序会先下载模型,最后看到如下图所示则代表sd-miner已成功运行 同样我们键入 ctrl+a+d 使程序后台运行 screen -r sd-miner 可以重新回到程序 2.3 单独运行sd-miner 例如你租了3060 12G显存的显卡,只想单独运行sd-miner 模板用的和前面的是一样的 进入终端执行 mkdir -p ~/miniconda3 && wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh && bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 && rm -rf ~/miniconda3/miniconda.sh && ~/miniconda3/bin/conda init bash && source /root/.bashrc && git clone https://github.com/heurist-network/miner-release && conda create -n sd-venv python=3.11 -y --quiet && conda activate sd-venv && cd miner-release && pip install -r requirements.txt 设置账号 echo "MINER_ID_0=你的地址-备注" > .env 例如 echo "MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090" > .env 生成验证地址 python /root/miner-release/auth/generator.py 脚本会根据你的奖励地址创建一个验证地址,记得保存一下,执行 cat ~/.heurist-keys/* 然后将显示的助记词记录保存好 最后启动sd程序 python sd-miner.py --log-level DEBUG --auto-confirm yes 3. windows本地运行sd-miner 根据自己显卡型号安装最新版的N卡驱动 https://www.nvidia.cn/geforce/drivers/ 根据自己系统版本下载并安装12.1的cuda驱动 https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Windows&target_arch=x86_64 下载并安装miniconda https://docs.anaconda.com/free/miniconda/index.html 下载最新的miner-release https://github.com/heurist-network/miner-release/archive/refs/heads/main.zip 解压完miner-release我们先将.env.example重命名为.env,并且修改里面的id MINER_ID_0=你的地址-备注 例如MINER_ID_0=0x8ec3C1EFC569e73D1e4ea7fD0f5858C0C9FC02CD-3090 接着用管理员打开conda的控制台 使用cd+你miner-release的目录路径进入文件夹 生成验证地址 python 你的文件夹地址\auth\generator.py 例如python C:\User\4070\Desktop\miner-release-main\auth\generator.py 接着依次执行以下命令 conda create -n sd python=3.11 -y --quiet conda activate sd pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -U huggingface_hub chardet -i https://pypi.tuna.tsinghua.edu.cn/simple setx HF_ENDPOINT "https://hf-mirror.com" conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia -y 如果你的显存大于等于12G则运行 python sd-miner.py --log-level DEBUG --auto-confirm yes 否则运行 python sd-miner.py --log-level DEBUG --auto-confirm yes --exclude-sdxl 看到下图则代表运行成功 3.1 本地运行llm-miner 运行llm需要liunx系统,所以windows必须使用wsl才能运行llm程序 因为不同系统版本与设置会导致wsl各种各样的报错 所以这边只给个思路参考 我用的是wsl2 Ubuntu-22.04 ,先根据上面sd里的 把显卡驱动和cuda驱动安装上 然后根据官方的llm安装流程就能跑起来 https://github.com/heurist-network/miner-release/tree/main 如果不认cuda,可以尝试安装wsl版的cuda,不要去安装liunx的驱动和cuda 会导致不认显卡 https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=runfile_local 具体问题可以在dc内询问 ## Publication Information - [xiangcai.eth](https://paragraph.com/@xiangcai/): Publication homepage - [All Posts](https://paragraph.com/@xiangcai/): More posts from this publication - [RSS Feed](https://api.paragraph.com/blogs/rss/@xiangcai): Subscribe to updates - [Twitter](https://twitter.com/b762193408): Follow on Twitter