在過去的幾年裡，大型語言模型（LLM）的受歡迎程度和實用性確實飆升。
OpenAI（ ChatGPT的創建者）、Google、亞馬遜、Meta、GitHub等公司 已經利用這種新穎的機器學習和人工智慧方法來建立基礎模型。這些先進的人工智慧模型非常擅長理解和產生人類語言，使其成為各種應用的寶貴工具：從內容創建和客戶支援等自動化任務到數據分析和程式碼生成。
然而，使用基礎模型與「傳統
機器學習不同。基礎模型的使用者通常不會使用手頭任務的訓練和驗證資料從頭開始創建新模型，而是通常採用現有模型（包括其對世界的知識），並將其「彎曲」以適應新任務：添加更多業務或特定領域的知識到現有模型中，以便使其適應新任務。有多種技術可以實現這一點，例如微調、即時工程和檢索增強生成
為了使 LLM 申請有用此步驟
只是所需操作序列的一部分：
提供高品質數據以供微調時使用
將資料轉換為我們的模型可以理解的格式（也稱為嵌入）
對向量資料庫中的資料建立索引，實現高效搜尋
管理和最佳化提示，以確保模型
知道如何最佳地使用可用的數據
調整模型及其參數以確保資料既可信又最新
將產生的模型、嵌入、參數和提示包裝在可供目標使用者使用的應用程式中
輸入：浪鏈
LangChain是一個綜合性的開
源元件庫，有助於消除法學碩士工作的大量複雜性。它以 Javascript 和 Python 庫的形式提供，在過去幾年中人氣飆升，因為越來越多的個人和組織正 瑞士 WhatsApp 號碼數據 在擁抱生成式 AI，尤其是法學碩士。
使用LangChain，開發人員可以定義「鏈」——由上述步驟組成的管道——從載入資料、將其索引為嵌入、生成和管理提示，到與基礎模型互動——使相對複雜的流程更容易設計、實作和部署。
再現性的挑戰可重複性是機器
學習的核心問題，對於法學碩士來說則更加困難。讓我們看下面的例子：
「Acme」公司擁有大量內部文件：產品、庫存和定價資訊——所有這些都得到積極維護。
這些文件儲存在 AWS S3 儲存桶中的許多 PDF、Doc 和 XML 檔案中。
Acme 的 ML 工程師「Alice」決定建立一個「智慧助理」——員工無需翻閱所有這些文檔，只需詢問智慧助手，它就會根
據現有資訊給出簡潔的答案
使用 LangChain，Alice 能夠立即建立以下鏈：
使用LangChain建立可複製鏈
愛麗絲很高興！有了浪鏈，要 站點感言認識團隊職業機會聯 實現這一切根本不需要時間。她部署了一個漂亮的 UI，允許使用Streamlit運行這個鏈，人們似乎很喜歡它！愛麗絲得到了應得的休息，等待即將到來的升職。
幾天後…
愛麗絲接到客戶支援團隊負責人
鮑伯」打來的驚慌電話。
顯然，我們一直告訴顧客價格比實際價格高得多！支援團隊透過詢問我們的新助理獲得了定價資訊。
Alice 試著重現：她問助理價格，結果看起來都是對的！客戶支援部門那些討厭的人在談論什麼？
事實證明——今天的答案看起來是正確的。直到昨天，他們還沒有。
Alice 是一位優秀的機器學習工程師 – 所以她並沒有就此止步。她希望人們能夠信任助理。讓我們弄清楚為什麼會發生！
她一路追溯到AWS S3，在那裡她 埃克萊拉納賈 看到了一些昨天晚上10點前更新的文件。唔。這些確實包含一些有關定價的資訊 – 但我們每天都會拍攝這些資訊的快照並將其加載到我們的向量資料庫中。我們如何確定哪些資料正在提供這些查詢？
使用lakeFS和LangChain實現可重複性
正如我們在上面的範例中看到的，如果我們的輸入資料不正確，即使是具有所有正確參數的最好、最前沿的模型也無濟於事。
俗話說：垃圾進，垃圾出。
那麼，我們如何建立一個基於 LLM 的應用程序，讓我們能夠重現結果呢？
Alice 如何知道我們在基於 LangChain 的應用程式中實際輸入了什麼內容？
輸入：lakeFS 文檔載入器
LakeFS是一個開源、可擴充的資料版本控制系統，可在現有物件儲存（ AWS S3、Google Cloud Storage、Azure Blob等）之上運作。
它允許用戶處理任何格式的大量數據，就好像它們都託管在一個巨大的 Git 存儲庫上一樣：分支、提交、遍歷歷史記錄 – 所有這些都無需複製數據本身。