Lakera

自信地构建安全的 AI 应用程序

开发框架发布时间:2023年12月13日 02:58 点击量:64

瑞士初创公司Lakera发布了一款API，旨在保护企业免受大型语言模型的恶意提示攻击，同时通过互动游戏和分类系统识别攻击类型，致力于数据隐私和安全性。

Lakera的方法包括开发名为“Gandalf”的互动游戏，允许用户通过语言欺骗攻击尝试“黑客”LLM。这个游戏吸引了数百万用户，其中包括网络安全社区的成员。通过分析用户的互动，Lakera已经建立了一个“prompt injection”攻击分类系统，将攻击类型分为10个不同的类别。

这包括直接攻击、越狱、绕过攻击、多提示攻击、角色扮演、模型复制、模糊化（令牌夹带）、多语言攻击和意外上下文泄露。这些攻击类型被转化成统计结构，以帮助企业保护自己免受安全漏洞。

除了防止“prompt injection”攻击，Lakera还专注于其他安全问题。他们致力于防止私人或机密数据不慎泄露到公共领域，以及过滤内容，确保LLMs不提供不适宜儿童的信息。此外，他们还处理LLM引发的误导或事实错误。这种综合性的方法使Lakera成为了安全、安全性和数据隐私的一个综合解决方案。

尤其重要的是，Lakera的API的推出是在欧洲联盟即将颁布的AI法规背景下进行的。这些法规将在未来一两年内出台，其中有一项重要的法规要求LLM提供商遵守法律规定，识别潜在风险并采取适当的措施。Lakera的创始人还担任法规咨询委员会的顾问，他们积极参与制定技术规则，以帮助政策制定者更好地了解这些规定对实际开发人员的影响。

总之，Lakera的API推出为企业提供了一个全面的解决方案，以保护他们免受LLM的恶意攻击。这是一个迫切需要的安全领域，特别是在LLMs在商业应用中广泛使用的情况下。通过将攻击转化为统计结构，Lakera有望在这一领域发挥重要作用，并确保企业可以安全地利用LLM的强大功能。

免责声明：本网站仅提供网址导航服务，对链接内容不负任何责任或担保。

扫描二维码，在手机上阅读