生成式AI 初學者課程 (第 2 版)

18 篇課程教你開始建構生成式 AI 應用所需的一切

學習由 Microsoft Cloud Advocates 提供的 18 節綜合課程，掌握建構生成式 AI 應用程式的基本原理。

這門課程共有 18 節課。每節課涵蓋其自己的主題，所以從你喜歡的地方開始吧！

課程被標記為「Learn」課程，解釋生成式 AI 概念，或「Build」課程，解釋概念和程式碼範例（在可能的情況下使用 Python 和 TypeScript）。

每節課還包括一個「持續學習」部分，提供額外的學習工具。

你需要的東西

1. 訪問 Azure OpenAI Service 或 OpenAI API - 僅在完成程式碼課程時需要

2. 基本的 Python 或 TypeScript 知識是有幫助的 - * 對於完全的初學者，請 查看這些 Python 和 TypeScript 課程。

3. 一個 GitHub 帳戶來 複製這個完整的 repo 到你自己的 GitHub 帳戶

每個課程包括:

• 一個簡短的影片介紹這個主題

• 位於 README 中的書面課程

• 支援 Azure OpenAI 和 OpenAI API 的 Python 和 TypeScript 程式碼範例

• 連結到額外的資源以繼續學習

https://microsoft.github.io/generative-ai-for-beginners/?fbclid=IwZXh0bgNhZW0CMTEAAR2OrVPlP3MxO7C2mojqQNx8IhKGGBzr7cOjwxvHezmfxAJzV8EPMPWvEtY_aem_nLmdFBJWACbJg0NoplK2sg#/translations/tw/?id=%f0%9f%8c%b1-%e9%96%8b%e5%a7%8b%e4%bd%bf%e7%94%a8

最近在上LLM線上課 來分享我所學到的 LangChain LangChian是把ChatGPT API 轉換為物件導向的形式來使用我所學到 LangChain 的五個方法 : Prompt Template / LLMChain / OutputParser / Agent / ConversationChain

這些知識分享和所學都是來自Tibame緯育大型語言模型LLM企業應用開發實戰班，這是一個直播線上課程，內容會提及Langchian和向量資料庫，推薦給大家! (https://www.tibame.com/program/llm)

1. Prompt Template

介紹：

是 LangChain 中的一個核心概念，用於定義和格式化發送給模型的訊息。它可以幫助開發者建立可重複使用的模板，確保對模型的輸入始終遵循特定的結構。

• 系統模板 System Template：用於設置對話的背景和規則，通常包含模型在回答問題時應遵循的指示或角色。

• 人類模板 Human Template：用於定義來自用戶的輸入訊息，這些訊息是模型需要回應的主要內容。它通常包括用戶的問題或需求。

應用：

• 多輪對話： 在多輪對話中保持一致性，確保模型能夠連貫地理解和回應上下文。

• 生成提示：根據用戶的行為和輸入生成提示，提供更個性化的體驗。

2. LLMChain

LLMChain 是 LangChain 中的核心組件，將提示模板和語言模型結合在一起。負責處理輸入和輸出，並確保每次調用模型時都遵循定義的提示模板。

應用：

• 模塊化設計：允許開發者將不同的模型和提示模板組合在一起，實現模組靈活組合。

3. 各種文件格式的 OutputParser 如JsonOutputParser

OutputParser 是用於解析模型輸出的工具，確保輸出數據符合預期格式。

例如，JsonOutputParser 將模型的輸出解析為 JSON 格式，方便後續處理和使用。

應用：

• 自定義解析器：開發者可以根據需求創建自定義的 OutputParser，以處理特定格式的輸出，例如 XML、CSV 或自定義的數據結構。

詳細網址在範例

• 數據驗證：OutputParser 可以用來驗證輸出的數據，確保其符合預期格式和數據完整性。

• 應用場景：適用於API 集成和報告生成等需要標準化數據輸出的應用。

4. Agent

介紹：

• Agent 是 LangChain 中的一個強大功能，允許模型與外部工具和服務進行互動。Agent 可以加載和使用多種工具，從而增強模型的能力和功能。

延伸：

• 多工具集成：Agent 可以集成多種工具，如搜索引擎、計算器、數據庫查詢等，實現多功能應用。

• 智能決策：通過 Agent，可以讓模型根據上下文和需求進行智能決策，選擇合適的工具來回答問題或執行任務。

5. ConversationChain

介紹：

• 是用於管理和維護對話上下文的工具，允許模型在多輪對話中保持上下文記憶。這對於需要連貫對話和上下文理解的應用非常重要。

延伸：

• 記憶管理：ConversationChain 可以記住和管理對話中的關鍵訊息，確保模型能夠正確理解和回應用戶的需求。

• 多輪對話策略：可以設計和實現多輪對話策略，確保對話的自然流暢和邏輯連貫。

應用場景：

適用於聊天機器人、智能客服和教育輔助工具等需要多輪對話和上下文記憶的應用。

如果想看示範, 在我的Threads中會有更詳細的範例和說明~

https://www.threads.net/@daydreamdex/post/C-KEtbwy-cn

週三來介紹這些科技巨頭和新創對於不同職務角色的需求和應徵的條件。

Netflix Data Engineer Interview Questions + Guide in 2024

如何準備 Netflix 的數據工程師職位

• 精通數據分析和機器學習技術 確保您在統計分析、機器學習算法和數據操作技術方面有堅實的基礎。這包括熟練掌握 Python 或 R 等編程語言，以及 Pandas、NumPy、Scikit-learn、TensorFlow 或 PyTorch 等庫。

• 了解推薦系統 Netflix 依賴推薦系統為用戶個性化內容。研究推薦算法，如協同過濾、基於內容的過濾和混合模型。熟悉 TensorFlow 或 PyTorch 等框架，用於構建和部署推薦模型。

• 強調溝通技巧 Netflix 的數據工程師在跨職能團隊中工作。有效地傳達複雜的技術概念對面試也至關重要。我們的模擬面試應該能幫助您消除最初的尷尬，增強您的信心。

常見的 Netflix 數據工程師面試問題十題精選

1.描述數據索引在優化Netflix大數據集分析的查詢性能方面的重要性。

回答技巧： 解釋數據索引在提高查詢性能方面的作用，通過實現更快的數據檢索來優化數據分析過程 的效率。強調其在處理大數據量時的重要性。

2.給定一個包含月度銷售數據的表，寫一個查詢以查找每個月每個產品的銷售總額，並將每個產品作為輸出表中的一列。

回答技巧： 寫一個SQL查詢來找出每月銷售的產品總量，並按所需的方式排序。

3.給定一個整數列表，寫一個函數gcd來找出它們的最大公約數。

回答技巧： 使用歐幾里德算法來解決這個問題，並編寫一個函數來返回輸入數字的最大公約數。

4.您將如何解釋邏輯回歸中類別和布爾變量的係數？

回答技巧： 解釋邏輯回歸中係數表示的是類別變量和布爾變量對因變量的對數幾率變化的影響。

5.您會優先考慮哪些指標來評估Netflix推薦算法的有效性，您將如何解釋結果？

回答技巧： 優先考慮用戶參與度、用戶滿意度和業務影響等指標。解釋涉及分析這些指標隨時間的變化，並將其與基準或A/B測試結果進行比較。

6. 解釋批處理和流處理之間的差異。對於處理Netflix的用戶數據，您會選擇哪一種方法？

回答技巧： 解釋批處理和流處理之間的差異，並討論每種方法適合的情況。描述如何使用Apache Flink或Apache Storm等技術實現實時推薦系統。

7. 假設您有存儲在數據湖中的分析數據。一位分析師告訴您，他們需要一個每小時、每天和每週活躍用戶數據的儀表板，每小時刷新一次。您將如何構建這個數據管道？

回答技巧： 描述構建數據管道所需的數據提取工具，並解釋如何滿足需求。還需討論如何存儲和訪問 數據。

8.假設我們有一個包含id和name字段的表。該表包含超過1億行數據，我們希望隨機抽取表中的一行而不使數據庫超負荷。寫一個查詢來隨機抽取該表中的一行。

回答技巧： 當處理超過1億行的大表並需要隨機抽樣一行而不使數據庫超負荷時，必須考慮一種不會對 數據庫服務器造成過多處理負擔的高效方法。

9.寫一個SQL查詢來選擇工程部門的第二高薪。

回答技巧： 為了使用SQL查找工程部門的第二高薪，首先確定部門並選擇所有唯一的薪水。然後，按降序排列這些薪水，並選擇最高薪水之後的那一個。構建一個包含這些步驟的SQL查詢，執行它，並驗證結果的準確性。

10.解釋數據正規化在保持Netflix數據庫系統數據完整性和一致性方面的重要性。

回答技巧： 描述數據正規化如何減少Netflix數據庫系統中的冗餘和不一致性，從而提高數據完整性和一致性。強調其在最小化數據異常和促進高效數據存儲和檢索方面的作用。