ChatGPT 以及其他形式的生成式人工智能越来越受欢迎，标志着企业和社会变革时期的开端。一段时间以来，人工智能和机器学习（ML）一直在不断提高企业价值，但大语言模型（LLM）等生成式人工智能的突然出现正在所有行业掀起变革浪潮。
随着 SaaS 产品在生成式 AI 领域的激增——从 Open AI 的 ChatGPT 到 Anthropic 的 Claude、谷歌的 Bard 以及 Microsoft Bing AI——各种规模的公司都在争先恐后地制定指导方针和政策，以管理对这些新兴服务的使用。同时，这些公司还在努力应对这项强大的新兴技术的影响，即如何降低隐私泄露的风险、保护知识产权、处理潜在的错误信息或有害内容，以及如何避免意外侵犯版权。
在当今瞬息万变的格局中，对组织来说尤为紧迫的问题是如何通过生成式 AI 安全、可靠、有效地使用私有数据。我们最近推出的 Splashtop Secure Workspace 可以在这方面起到帮助作用。
企业专用 AI 模型
当然，有些商业生成式 AI SaaS 产品承诺不会使用提交的数据来改进其公共模型。但是，并非所有公司都愿意将私人数据发送到其几乎无法控制的云服务中。某些组织可能受主权和监管合规性的约束，禁止使用在其他地区或国家托管的服务。
其他可以从私有 AI 模型中受益的公司包括因业务需求而要从头开始训练自己的 LLM 模型的公司，或者需要保护数据增强和优化的 LLM 模 型的公司，这些模型已经针对特定任务（例如客户支持、财务咨询等）进行了预训练。
公司构建自己的私有生成式 AI 和 MLOps 基础架构后，就能将这些强大工具置于 IT 控制之中（无论是本地化还是私有云），从而与业务需求、合规和主权要求保持一致。通过这种架构，可确保用于训练、微调或增强对 LLM 的查询的任何敏感和机密数据都不会泄露给外界。
保护对私有应用程序（包括大语言模型）的访问
私有设置也需要保护。机器学习操作流程设计的所有内容，从语言模型到支持数据库和私有数据存储库，都需要安全的配置、访问和管理。
这就是 Splashtop Secure Workspace 的真正用途。通过 Splashtop Secure Workspace，可以控制对任何私有企业应用程序（包括私有 LLM）的访问，简单但又非常安全。无论企业应用程序提供基于 Web 的界面，还是需要自定义桌面或移动应用程序，Splashtop Secure Workspace 都支持从任意客户端设备随时随地进行安全访问，无需将网络服务端口暴露在外界的危险之中，也不需要通过防火墙、堡垒主机或 VPN 进行复杂的网络设置。
保护所有级别的访问权限
Splashtop Secure Workspace 具备各种选项，用于控制对任何私有企业应用程序（包括 LLM）的访问。主要功能包括：
单点登录（SSO）集成：与主流的身份提供商（包括 Google、Microsoft、Okta）同步
多因素身份验证（MFA）：为所有支持 SSO 的企业应用程序（包括私有企业 LLM 的聊天界面）的前端和后端用户启用强大的身份验证控制。
条件访问控制：通过检查关键合规性和安全标准（包括地理位置和使用公司提供的笔记本电脑）限制对应用程序的访问。例如，遵守数据主权规则的组织可能希望在员工出国旅行时阻止其访问私有 LLM。
具有委派控制的特权访问：Splashtop 通过安全指派用于管理企业应用程序中的关键子系统和数据的特权账户或服务账户控制访问。对于 LLM 来说，通过该功能可以控制和跟踪对模型本身、矢量或图形数据库、非结构化数据存储库或 ML 流水线的访问权限，而不会不必要地暴露敏感凭据。
安全的第三方访问：Splashtop Secure Workspace 为可能需要临时访问企业应用程序的第三方提供安全的访问共享。这可能包括需要安全访问权限才能进行现场故障排除的私有 LLM 解决方案提供商。Secure Workspace 可实现便捷的访问，同时支持完全录制会话以用于审计和合规目的。
零信任网络访问（ZTNA）：与授予对整个网络子网的完全访问权限的传统 VPN 相比，Splashtop Secure Workspace 的 ZTNA 方法授予对已批准资源的精确访问权限，从而确保最小的攻击面。“默认拒绝”方法为企业 LLM 处理高度敏感的数据提供了保证。
API 驱动的自动化：致力于自动化和 DevOps 工作流程的公司将会非常喜爱 Secure Workspace 平台紧密集成和自动化的功能。在生成式 AI 环境中，Splashtop Secure Workspace 可无缝集成到任何 MLOps 流水线，从而促进对关键资源的自动配置访问以及 Secure Workspace 平台本身的自动配置，从而最大限度地提高生产力并减少人为错误。
接下来，我们将会为您演示如何使用 Secure Workspace 实现对企业生成式 AI 的安全访问。按照以下步骤，您将拥有基于 LLM 的私人聊天机器人 —— 您的个人版 ChatGPT。
创建私有 LLM 聊天机器人的实用指南
构建 LLM 聊天机器人看似复杂。但是，现实却比想象的要简单。我们可以使用一个名为 dstack 的开源 MLOps 工具对其进行分解。
在此示例中，仅凭一个 dstack 运行命令即可在云环境中配置和启动 LLM-As-Chatbot。
该示例还将同时配置 Splashtop Secure Workspace 连接器，以将您的私人 LLM 聊天机器人连接到 Secure Workspace。然后，就可以使用强身份验证、SSO、MFA 和各种条件访问策略，在安全工作空间中设置访问控制，就像任何其他应用程序一样。
以下是设置私人 LLM 安全访问权限的详细指南：
克隆存储库
git clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-Chatbot安装和设置 dstack
pip install "dstack[aws,gcp,azure,lambda]" -Udstack startdstack 服务器启动后，登录并使用您的云凭据（AWS、GCP 或 Azure）创建项目。创建 dstack 配置文件
在 LLM-as-Chatbot 文件夹的根目录下创建 .dstack/profiles.yml 文件。此文件应指向创建的项目并描述资源。
示例：profiles:
- name: aws-llm
project: aws-llm
resources:
memory: 16GB
gpu:
count: 1
spot_policy: auto
default: True初始化
切换到 dstack 服务器，将 dstack 配置命令复制并粘贴到终端。允许 dstack 服务器远程配置 AWS 资源。然后使用 dstack init 命令执行此操作。dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init
如何为私人 LLM 设置 Secure Workspace
接下来，我们将采取必要的步骤通过 Splashtop Secure Workspace 保护对您的私有大语言模型 LLM 的访问。我们的连接器可为您的私有应用程序提供安全连接，让您能集中控制访问权限。步骤如下所示：
步骤 1：创建连接器并复制连接器令牌
登录到 Splashtop Secure Workspace 管理员账户。
打开部署菜单，选择连接器，然后单击添加连接器。
选择 Headless / CLI，填写连接器名称，然后单击下一步。选择 Linux 并单击完成。
创建连接器后，单击连接器列表中的连接器名称以查看详细信息。复制令牌以供后续使用。
步骤 2：创建 LLM 应用程序
将私人 LLM 聊天机器人服务添加为私有应用程序，为您的员工提供该项服务。
导航到应用程序 / 应用程序，然后单击添加应用程序 / 添加私有应用程序按钮。
在表格中填写应用程序名称，以“localhost”作为主机，以“6006”作为端口。
选择 HTTP 作为 协议，选择之前创建的连接器名称，然后为该应用程序分配正确的组。单击保存。
Secure Workspace 将自动为私有 LLM 应用程序生成完全限定域名（FQDN）。
步骤 3：在云中运行应用
在 LLM-As-Chatbot 文件夹中，使用 dstack run 命令在云中预配私有 LLM 和 Secure Workspace（将 $token 替换为步骤 1 中的连接器令牌）：
dstack run . -f ssw-private-llm.yml $token此命令将在云中预配和运行 LLM-As-Chatbot，并启动 Secure Workspace 连接器实例。
一切启动并运行后，使用创建的 FQDN 访问私有 LLM。同时，可以为此应用程序设置授权和条件访问策略。
操作方法视频资源
如需更加详细的指南，请观看视频：
结论
随着企业开始采用私有生成式 AI 和 LLM，如何保护对这些创新系统的访问至关重要。
Splashtop Secure Workspace 可以保护对业务关键型系统的远程访问，同时可与现有的基础设施无缝集成。
按照本文所述步骤，可以设置和管理私有 LLM 安全工作空间，在保持运营效率的同时保护公司的专有数据。
将生成式 AI 于安全访问系统集成将会持续影响业务运营的未来，积极采用并安全管理这些系统可以确保企业始终处于转型的最前沿。
如要抢先体验 Splashtop Secure Workspace，请立即加入我们的候补名单。
