Привіт! Сьогодні ми поговоримо про те, як правильно розгорнути модель штучного інтелекту Dobby локально на Windows.
Про проект, я писав тут, тут, тут. Не буду ще раз це саме повторювати.
Перейдемо до гайду:
Перейдіть на сайт HuggingFace.
Якщо у вас немає облікового запису, створіть його.
Зайдіть на сторінку Sentient.
Перейдіть до моделей:
Нажимаємо на неї:
Переходимо на сторінку "Files and versions".
Перед цим створіть у себе на ПК теку dobby_model і завантажте туди обрану модель.
Ollama – це інструмент (програма) для запуску локальних моделей.
Завантажте та встановіть її за цим посиланням. Після встановлення запустіть програму — вона відкриється в PowerShell. Додаток автоматично запропонує наступну команду для встановлення. Якщо цього не станеться, перегляньте деталі інсталяції.
Modelfile – це простий файл, який вказує Ollama, звідки брати вашу модель.
Для цього відкрийте будь-який текстовий редактор (я використовую Notepad++), створіть файл Modelfile без розширення .txt та збережіть його в тій самій теці, де знаходиться ваша модель.
Впишіть у файл наступний рядок і збережіть зміни:
FROM ./dobby-8b-unhinged-q4_k_m.gguf
Коли Modelfile готовий, перейдіть за допомогою консолі в теку де находиться модель та файл, наприклад:
cd D:\dobby_model
Введіть таку команду:
ollama create dobby-unhinged -f Modelfile
dobby-unhinged – це ім’я, яке ви даєте моделі (можна обрати будь-яке, головне потім використовувати так само).
-f Modelfile вказує, що беремо інструкції з вашого Modelfile.
Після виконання цієї команди Ollama «збере» внутрішню базу даних про модель. Це може зайняти деякий час, залежно від розміру файлу та потужності вашого комп’ютера.
Тепер, коли модель «створена», можна її запустити:
ollama run dobby-unhinged
dobby-unhinged– це та сама назва, яку ви вказали на попередньому кроці.Після цієї команди Ollama підготується й відкриє інтерфейс «запит-відповідь» у вашому терміналі (можливо, виглядатиме, як запрошення
>, куди ви зможете щось ввести).
також він знає і українську мову:
Гайд англіською мовою вийде на Github.
Якщо Вам було цікаво, підписуйтесь,