人工智能（AI）的发展和负责任的使用的需求
Guardrails AI是一家初创企业，旨在通过众包方法来应对和减轻GenAI模型中最具有害性的趋势
Guardrails AI寻求众包解决方案以解决GenAI模型的问题。＃ENBLE
GenAI是一种生成类似人类文本的人工智能模型领域，既令人印象深刻又令人担忧。一方面，我们有聊天机器人在比赛开始之前准确预测超级碗的获胜者。另一方面，我们目睹GenAI传播有害的错误信息，支持酷刑，强化刻板印象，并以有说服力的方式写作阴谋论。很明显，迫切需要解决这些问题并负责地部署GenAI应用。
GenAI内容审核的崛起
许多供应商，如Nvidia，Salesforce和CalypsoAI，声称提供可以减轻GenAI生成的不受欢迎和有毒内容的产品。尽管存在这些产品，但它们仍然是黑盒子，让我们对其有效性和是否真正兑现承诺感到不确定。这种缺乏透明度为寻找管理与GenAI相关风险的最佳解决方案的组织带来了重大挑战。
Guardrails AI：填补空白
意识到部署GenAI所涉及的复杂性和风险，Shreya Rajpal创办了Guardrails AI，一家致力于解决这个问题的公司。根据Rajpal的说法，许多组织在负责地部署人工智能应用程序时遇到困难。Guardrails AI旨在作为缺失的链接，通过提供使GenAI模型更可信、可靠和安全的平台。
通过开源方式建立信任和合作
Guardrails AI为市场带来了一种独特的方法。虽然它提供类似现有解决方案的功能，但它在开源商业模式方面走得更远。该平台的源代码可以在GitHub上免费获得，允许开发人员进行贡献和合作。通过Guardrails Hub，开发人员可以提交称为“验证器”的模块化组件，用于评估GenAI模型的行为、合规性和性能指标。这些验证器可以通过他人共享、重新利用和复用，从而为构建定制的GenAI模型审核解决方案创建了一个市场。
多样化的验证器
Guardrails Hub提供了广泛的验证器，旨在检测和减轻GenAI模型中的问题。验证器从简单的基于规则的检查到复杂的算法各不相同。它们涵盖了幻觉和政策违规检测、专有信息过滤和代码安全等领域。这种多样性为组织提供了一个起点，同时使它们能够根据自己的具体需求和风险定制解决方案。
激励合作
自然而然，人们可能会想知道开发人员是否会愿意在没有任何形式的报酬情况下贡献给Guardrails Hub。Shreya Rajpal认为，除了经济激励外，认可和培养更安全的GenAI环境的利他动机将推动参与。该Hub为开发人员提供了了解其他企业所遇到的风险以及用于减轻这些风险的防护措施的平台。Guardrails AI提供的验证器是这些防护措施的开源实现，使组织能够根据自己的独特用例应用它们。
Guardrails AI的美好未来
Guardrails AI最近在种子轮筹集了750万美元，反映了该行业对负责任的GenAI部署重要性的认可。这笔资金将帮助扩大Guardrails的团队并支持其他开源项目。Rajpal强调，Guardrails AI旨在解决由ChatGPT和Foundation模型等广泛可用的模型带来的新挑战。凭借他们的奉献精神，Guardrails AI希望为组织提供所需的解决方案，并减轻与GenAI应用相关的风险。
🔗 参考资料：1. 微软和谷歌的聊天机器人在比赛开始之前宣布超级碗的获胜者 2. GenAI产生幻觉，支持酷刑，强化刻板印象并写关于阴谋论的文章 3. Nvidia和Salesforce提供解决GenAI中不受欢迎和有毒内容的产品 4. CalypsoAI提供解决GenAI中不受欢迎内容问题的解决方案 5. Guardrails AI：构建一个AI防护解决方案 6. 有关组织在实施GenAI应用程序时面临的挑战的调查 7. Guardrails AI在种子轮中筹集750万美元
🗣️ 你曾经遇到过由AI程序生成的错误信息吗？你认为公司应该如何负责地部署GenAI？分享你的想法！ 😄
别错过来自计算机技术和编程世界的最新见解和故事！关注我们的Twitter和Facebook以保持更新。
📢 与你的朋友和同事分享本文，宣传负责任的GenAI部署！
