在資料管理領域,安全性是最重要的議題。
我們產生和儲存的資料越多,確保資料可存取和受保護就越重要。
LakeFS 是一個強大且創新的資料
版本控制系統,透過提供一個獨特的功能將資料安全性提升到一個新的水平:管理它無法存取的資料的能力!
這是透過利用預簽名 URL來實現的,這些 URL 可在所有常見物件儲存上使用。
在這篇文章中,我們將探討這種方法的安全優勢以及它如何增強 LakeFS 使用者的資料管理。
資料湖安全的挑戰
資料湖和物件儲存已成為現代化資料基礎設施的支柱,使組織能夠儲存大量結構化和非結構化資料。雖然這些解決方案的可擴展性和靈活性是不可否認的,但確保其中的資料安全性可能具有挑戰性。
傳統的存取控制機制,例如IAM(身分和存取管理)策略可能不足以滿足更複雜的環境,尤其是在存取資料的服務或人員不是最終使用者的情況下。
對於數據從業者來說這是非
常常見的做法。例如,在大多數現代資料堆疊中,我們會引入一個實際上與儲存層互動的運算系統——無論是 或任何其他系統。通常,此計算層是具有 IAM 權限來存取底層資料的層。最終用戶(通常是分析師、資料工程師、資料科學家)並不是真正消費原始物件;而是真正消費原始物件。他們使用表、列、查詢和儀表板!
LakeFS:安全資料版本控制系統
LakeFS 旨在幫助組織克服這些挑戰。它充當位於現有資料湖或物件儲存之上的資料層,提供強大的版本控制和資料管理功能。其突出的功能之一是能夠管理它甚至無法存取的資料!
這是透過利用預簽名 URL 來實現 波蘭 WhatsApp 號碼數據 的:限時 URL,授予對物件儲存(例如 Amazon S3 或 Google Cloud Storage)中特定物件的臨時存取權限。可以根據需要產生這些 URL 並將其提供給使用者或應用程序,而不會損害用於產生它們的憑證(或金鑰)。
這允許中間系統,例如上面列出
的計算引擎以及lakeFS(稍後將詳細介紹),提供另一種通常更具體的授權機制,本質上是在物件儲存之上插入自己的授權邏輯。這是一個典型的場景:
預簽名 URL 常見場景
在這種情況下,授權系統執行兩項重要任務:
它將使用者請求的業務上下文轉換為所需的底層資料(即來自「訂單」表 → 物件儲存路徑)
它會產生所需的預簽名 URL以允許
用戶與儲存系統交互,而無需向他們提供儲存憑證
雖然概念簡單,但這是一種非常強大 為車庫門公司確定最佳的 的方法。那些熟悉這個概念(或只是非常善於觀察)的人會注意到,授權系統實際上從未聯繫物件儲存來履行此角色!
增強的安全優勢
1. 細粒度存取控制– 預簽名 URL 可實現
細粒度存取控制。透過為每個使用者或應用程式產生具有特定權限的 URL,您可以限制僅存取必要的內容。這降低了未經授權存取的風險,限制了資料外洩的可能性。
2. 臨時存取– 預簽名 URL 的有效 埃克萊拉納賈 期限有限。一旦定義的時間範圍到期,該 URL 就會變得無效,從而導致未經授權的存取無法使用。此功能可確保敏感資料只能在有限的時間內訪問,從而減少漏洞視窗。
3.lakeFS的隔離-由於lakeFS管理它無法直接存取的數據,因此資料與lakeFS環境保持隔離。即使未經授權的實體獲得了LakeFS 的存取權限,如果不先滿足其他安全標準(網路邊界、MFA 等),它也無法存取儲存在底層物件儲存中的資料
的資料湖免受潛在的破壞
實作:使用帶有預簽名 URL 的 LakeFS
讓我們來看一個實際範例 – 在本例中,將 LakeFS Cloud 與 AWS S3 儲存桶一起使用。
讓我們想像一個場景,我們的組織不允許資料移入或移出我們的 AWS 帳戶的網路邊界。
LakeFS Cloud高度安全、符合 SOC2並提供單一租戶隔離 – 但它在自己的託管 VPC 內運行!
如何仍能滿足嚴格的網路要求?現在答案應該很明顯了:預簽名 URL!
首先,我們透過限制儲存桶的資料存取操作僅發生在 VPC 網路的外圍來確保 LakeFS Cloud 確實無法存取我們的資料。