Cover photo

Run Open-Source AI [Thai]

สวัสดีครับเพื่อนๆ

ยินดีต้อนรับเข้าสู่เดือนแห่งความรัก(or rug?)ครับ

เมื่อเดือนมกราคมที่ผ่านมา เราได้เห็นกระแสอันร้อนแรงของ AI จากฝั่ง Open-Source อย่าง DeepSeek-R1 ที่ทำให้ตลาดหุ้นเกิด Black Monday ขึ้นอีกครั้ง และถัดจากนั้นอีกไม่นาน ก็มีข่าวโมเดล Open-Source เวอร์ชั่นใหม่ๆมาติดๆกัน ทั้ง Qwen จาก Alibaba, Small จาก Mistral แต่คงจะไม่พูดถึง Tülu3 จาก Ai2 เลยไม่ได้ ที่มี result มาว่าทำ performance ได้ดีกว่า DeepSeek-V3 แล้ว

ปี 2025 จึงเป็นปีที่ควรติดตามข่าวสาร AI อย่างใกล้ชิดจริงๆ และในวันนี้ผมมาขอสรุปวิธีการใช้งาน Open-Source แบบสั้นๆ เพื่อให้เพื่อนๆได้ไอเดีย และสามารถนำบทความนี้ไปต่อยอดในการใช้งานโมเดล Open-Source ได้ในอนาคต ตัวอย่างเช่น ช่วงนี้ฝั่ง Web3 จะมีงาน Red Team (e.g. AI Jailbreak) ใน Data Services Platform ของโปรเจค Sahara AI เพื่อทดสอบความปลอดภัยของตัวโมเดลกลุ่ม Llama ที่เป็น Open-Source ชื่อดังของ Meta AI

post image

โดยเราจะมาพูดถึงการใช้งาน (run) model ผ่าน 2 วิธีหลักๆได้แก่

  1. Local

  2. On-Cloud

1. Local

ผู้เขียนมองว่า ข้อดีของการ run model บน local หลักๆคือเรื่องของ “ความเป็นส่วนตัว”และการที่สามารถใช้ AI ได้โดย ”ไม่จำเป็นต้องใช้งานอินเตอร์เน็ต” ซึ่งจะเหมาะกับงาน Red Team ที่กล่าวถึงด้านบนมากๆ จากประสบการณ์ที่ผู้เขียนได้ทดลองใช้งานในเบื้องต้น ผู้เขียนก็ขอเชียร์ Ollama เหมือนพี่ๆ AI Experts เลยครับ

Play Video

โดยขั้นตอนหลักๆในการใช้ Ollama งานจะมีดังนี้

  1. ดาวน์โหลด Ollama ผ่าน ollama.com จากนั้นทำการแตกไฟล์ที่ดาวน์โหลด และกดใช้งานเพื่อทำการ install เพื่อใช้งาน CLI

  2. จากนั้น run command ollama run <model> ผ่าน terminal เพื่อใช้งาน model ที่ชอบได้เลย ระบบจะดาวน์โหลด model ให้อัตโนมัติหากพบว่าไม่มีในเครื่อง

Play Video
เพื่อนๆสามารถเลือกโมเดล และ ขนาดของโมเดล ที่ต้องการใช้งานบน local ได้ จากตัวอย่างคือโมเดล deepseek-r1 ขนาด 7b (billion parameters) ซึ่งเพื่อนๆสามารถใช้คำสั่ง ollana run deepseek-r1:7b ผ่าน terminal เพื่อใช้งานโมเดลผ่าน Ollama ได้เลย https://ollama.com/library/deepseek-r1:7b
เพื่อนๆสามารถเลือกโมเดล และ ขนาดของโมเดล ที่ต้องการใช้งานบน local ได้ จากตัวอย่างคือโมเดล deepseek-r1 ขนาด 7b (billion parameters) ซึ่งเพื่อนๆสามารถใช้คำสั่ง ollana run deepseek-r1:7b ผ่าน terminal เพื่อใช้งานโมเดลผ่าน Ollama ได้เลย https://ollama.com/library/deepseek-r1:7b

เสริม: เรียนรู้ DeepSeek ผ่านวิธีต่างๆ

แค่นี้จบแล้ว

ฮ๊ะ แล้วทำไมต้องเขียนบทความออกมา

เพราะในบทความนี้ เราจะมาสอนการใช้งานโมเดล Open-Source ในกรณีที่โมเดลตัวนั้นไม่ได้อยู่บน Ollama ด้วย

โดยเราจะยกตัวอย่างการใช้งาน Dobby ซึ่งเป็น AI ที่พึ่งออกมาหมาดๆจาก Sentient กันครับ

โดยโปรเจค Sentient พึ่งปล่อย Dobby เป็น AI ที่มีความรู้สึกออกมาให้ทดลองใช้งานกันสองเวอร์ชั่นหลักๆ มีทั้งเวอร์ชั่นสุภาพชน (Leashed) และคนปากแซ่บ (Unhinged) ซึ่งทำให้เพื่อนๆจะต้องเรียนรู้ท่าในการใช้งานโมเดลเหล่านี้ด้วย

huggingface.co/SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B_GGUF/tree/main
huggingface.co/SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B_GGUF/tree/main

โดยในบทความนี้เราจะแนะนำวิธีการใช้โมเดล dobby-8b-unhinged-q4_k_m.gguf จาก huggingface.co/SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B_GGUF/tree/main โดยเพื่อนๆสามารถดาวน์โหลดได้ผ่านปุ่มข้างๆเลข 4.92 GB

โดย step หลักๆที่ต้องทำจะมีดังต่อไปนี้

  1. Create Modelfile

    1. run vim Modelfile ผ่าน terminal (โดยถ้าไฟล์โมเดลอยู่ในโฟลเดอร์ที่พึ่งดาวน์โหลดมา จะต้องทำการ cd Downloads)

    2. พิมพ์ FROM ./dobby-8b-unhinged-q4_k_m.gguf จากนั้นให้กดออก ctrl+C และพิมพ์ :x

  2. Run Model

    1. จากนั้น run ollama create dobby-unhinged -f Modelfile เพื่อสร้างชื่อโมเดล

    2. และ run ollama run dobby-unhinged เพื่อใช้งานโมเดล

How to run Sentient's Dobby-Mini locally with Ollama

A Blog post by Christopher Aubin on Hugging Face

https://huggingface.co
How to run Sentient's Dobby-Mini locally with Ollama

โดยวิธีดังกล่าวอาจใช้ไม่ได้กับทุกโมเดล แต่ให้เพื่อนๆเห็นภาพว่าถ้าต้องใช้งานโมเดล Open-Source ในกรณีนี้ต้องทำอะไรประมาณไหนเพิ่มบ้าง และส่วนมากเพื่อนๆก็จะสามารถทำตาม documentation ที่เขียนไว้ไและหากเพื่อนๆประสบปัญหาในการใช้งานโมเดลดังกล่าวบนเครื่องจริงๆ (เช่น AI ตอบช้า) เพื่อนๆสามารถไปทดลองใช้งานต่อได้ที่เว็ปไซต์ demo-dobby.sentient.xyz ครับ

2. On-Cloud

ผู้เขียนเข้าใจว่ามีเพื่อนๆบางท่านที่อาจไม่สะดวกใช้งาน AI บนเครื่อง ซึ่งผู้เขียนเองก็มีอีกวิธีมานำเสนอผ่านการใช้งาน AI บน Hyperbolic นั่นเองครับ

โดย Hyperbolic เป็นโปรเจค AI ฝั่ง Decentralized Compute ที่ระดมทุนได้ระดับ 20 ล้านดอลล่าร์สหรัฐ โดยทาง Hyperbolic ก็เน้นย้ำในเรื่องของความสื่อสัตย์และความโปร่งใส่ในเรื่องของข้อมูลมากๆ (FAQ) อีกทั้งผู้เขียนเข้าใจว่ารายได้หลักของโปรเจคนี้น่าจะมาจากการให้เช่า GPU ในอนาคต (GPU Marketplace) ผู้เขียนจึงมองว่า make sense ที่ Hyperbolic ไม่จำเป็นที่จะต้องเก็บข้อมูลไว้สำหรับ monetize หากโปรเจคสำเร็จได้ด้วยดี ซึ่งสำหรับการสมัครใช้งาน เพื่อนๆจะมีโอกาสได้ credit ฟรีๆ 10$ เพื่อใช้งาน AI ผ่าน Hyperbolic ด้วยครับ

ตัวอย่างโมเดลที่สามารถเลือกใช้ได้ใน Hyperbolic ซึ่งเพื่อนๆสามารถที่จะ Host AI บน Hyperbolic ได้เช่นเดียวกัน https://app.hyperbolic.xyz/models
ตัวอย่างโมเดลที่สามารถเลือกใช้ได้ใน Hyperbolic ซึ่งเพื่อนๆสามารถที่จะ Host AI บน Hyperbolic ได้เช่นเดียวกัน https://app.hyperbolic.xyz/models

ในส่วนด้านล่างจะเป็นตัวอย่างของ Chat Interface ครับ

post image

ซึ่งหากเพื่อนๆ ยังมีข้อกังวลในเรื่องของ Privacy อยู่ เพื่อนๆสามารถไปอ่านต่อได้ที่ FAQ ครับ

P.S. หากเพื่อนๆสนใจ dev Open-Source AI จะเป็นอีก topic นึง แต่ผู้เขียนแนะนำให้ไปศึกษา www.deeplearning.ai/short-courses/open-source-models-hugging-face/ ครับ

Reference