详情

Bedrock Guardrails构建精良的生成式AI应用kaiyun官方网站

关节字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon Bedrock Guardrails， Generative Ai Applications， Responsible Ai Policies， Content Filtering， Prompt Attack Detection， Denied Topic Detection， Personal Information Protection， Word Filtering， Contextual Grounding， Automated Reasoning Check]

导读

Amazon Bedrock Guardrails匡助客户在单仍是管决策中为其生成式AI应用构建和定制安全、苦衷和真正性保障，不管底层基础模子（FM）若何。参加本次会议，深切了解Guardrails如安在FM原生保护的基础上提供可配置的安全活动。探索KONE筹算若何部署Amazon Bedrock和Guardrails，为每天完成越过100，000次现场客户拜谒的40，000名本事东谈主员提供安全准确的及时AI解救。获得KONE对于摄取负服务AI原则的建议，以及如安在擢升坐褥力的同期达成价值寄托。

演讲精华

以下是小编为您整理的本次演讲的精华。

在亚马逊云科技 re:Invent 2024的精彩会议中，深切探讨了群众电梯和自动扶梯行业相易者Kone公司的不凡故事。Kone公司政策配合股伴副总裁兼精良东谈主Taro Hutterin公布了该公司运营的惊东谈主数据。Kone的开采每天都为惊东谈主的20亿东谈主提供服务，这充分诠释了他们产物和服务的无处不在。此外，该公司在60个国度/地区珍重着170万至180万件开采，充分体现了其运营范畴之大。

Taro强调了Kone到手的中枢——他们的维修本事东谈主员。这些本事东谈主员每天进行10万次维修，这一数字体现了公司对确保开采安全可靠的刚烈快活。可是，维修量的宏大范畴也带来了紧要挑战，因为本事东谈主员平常会际遇来自各式制造商的开采，仅Kone维修基地就有至少1000种不同类型的电梯。

加重这一挑战的是，很多西方国度正在发生东谈主口结构漂流，老龄化劳能源莫得得到年青一代的充分补充。这种东谈主口结构变化可能会导致教导丰富的现场服务工程师枯竭，进一步加重了珍重不同开采类型时的常识缺口。

意识到这些挑战，Kone与亚马逊云科技开启了变革之旅，诈欺生成式东谈主工智能的力量开发了Technician Assistant应用法式。这一翻新经管决策旨在弥补常识缺口，为本事东谈主员提供所需的信息和带领，以高效经管维修问题，不管开采类型或制造商若何。Kone与亚马逊云科技的配合始于在亚马逊云科技生成式东谈主工智能翻新中心的早期往返，他们进行了为期4周的观念考证，探索使用大型谈话模子(LLM)经管现场运营挑战(尤其是开采珍重有关)的后劲。

这一初步往返的效果令东谈主荧惑，促使Kone与亚马逊云科技原型团队配合进活动期5周的开发冲刺。在此时间，他们创建了Technician Assistant应用法式的第一个原型，并于本年头在现场进行了考证。运转阶段触及约50名本事解救东谈主员，他们不错比较该经管决策经管相同问题的智力。受到积极反馈的荧惑，Kone插摆布一阶段，将该应用法式实行到现场服务工程师，当今有约250名本事东谈主员诀别在4个国度/地区和4种谈话环境中积极使用该经管决策。

Technician Assistant管谈是本事集成和数据诈欺的极品。它动身点对本事东谈主员的输入进行预处理，这可能触及将各式谈话的查询翻译成圭臬神态。这一方法对于Kone的群众运营至关遑急，确保了跨地区的无缝研讨和相识。

接下来，管谈从Kone宏大的文档和历史案例库中检索有关数据。这些数据包括用户手册、现场服务论说、维修论说和物联网(IoT)数据，为应用法式提供了全面的常识库。Kone的数据库会被搜索与正在维修的特定开采有关的信息和事件，从而为本事东谈主员生成初步会诊论说。

可是，并非所有检索到的数据都与现时的维修问题同等有关。为了经管这一问题，Kone实施了一个评估方法，以评估检索到的文档的高下文和有关性。率先，这是通过一种里面经管决策达成的，使用大型谈话模子(LLM)来判断文档的有关性，给出0(不有关)或1(有关)的二进制评分。尽管灵验，但这种本事每次迭代梗概需要1.02秒，当与通盘管谈肃清时，可能会带来相当大的职守。

意识到优化的后劲，Kone转向使用Amazon Bedrock Guardrails的有关性查验功能。这种全程托管的经管决策不仅更快、更经济，而况提供了细心的评分范围，而不是二进制评估。在预坐褥测试中，有关性查验功能将每次迭代所需时刻从1.02秒裁汰到0.48秒，速率擢升了2倍。此外，与Kone里面经管决策比较，老本编造了38%。

Taro Hutterin强调了高下文评估和保护在Technician Assistant管谈中的关节作用。Kone诈欺了多个Bedrock模子，每个模子都针对管谈中的特定任务进行了优化。举例，Claude 3 Sonnet用于生成查询并将其与数据库进行匹配，以及生成后续问题。Claude 3 Haiku用于评估文档有关性，而最新的Claude 3.5 Sonnet v1模子则精良为本事东谈主员生成精准的指示。

Kone与亚马逊云科技的配合使他们大要熟习其生成式东谈主工智能之旅，从Bedrock预览时期伊始，并跟着服务过火模子的发展而发展。这种配合使Kone大要在性能和老本之间取得无缺均衡，确保Technician Assistant应用法式以最少的本事东谈主员输入提供高质料的反应。

在现场演示中，Taro展示了Technician Assistant应用法式的骨子运行情况。该应用法式自动会诊开采问题，提供了正在维修的特定开采在夙昔12个月的维修纪录摘录。它还杰出败露了任何最近的故障，包括一个发生了14.14次的故障代码，标明这可能是问题的根源。该应用法式随后解释了故障代码过火可能的压根原因，以及若何经管问题的带领。

该应用法式还会向本事东谈主员冷漠预设问题，淌若莫得有关的预设问题，也允许自界说输入。通过诈欺Kone的文档、图纸和图表，Technician Assistant提供了针对性的带领和信息，使本事东谈主员大要高效经管维修挑战。

来自Kone本事东谈主员的定性反馈证据了该应用法式的灵验性。已稀有百个问题使用该经管决策得到经管，250名本事东谈主员诀别在4个国度/地区积极使用它，其影响是有形的。一位本事东谈主员致使示意追究在试点阶段后失去使用该器具的权限，这充分诠释了它的价值以及与服务过程的无缝集成。反馈败露，该应用法式大要怡悦不同教导水平的本事东谈主员的需求，为需要逐渐带领的东谈主员提供带领，而有教导的本事东谈主员则不错凭据需要深切了解信息。

预测改日，Kone对Technician Assistant应用法式的筹算相称齐人攫金。该公司旨在通过丰富数据源、诈欺第三方数据(在这种情况下，Bedrock Guardrails的保护活动变得至关遑急)、达成60个国度/地区和40，000名现场服务工程师的群众实行，以及整合多模态功能(如音频、图像和视频)来增强该经管决策。

Taro Hutterin强调了与亚马逊云科技的配合股伴关连在Kone的生成式东谈主工智能之旅中的关节作用。这种配合为他们提供了早期往返高性能基础模子、最新服务和履行以及平直获得宇宙一流大众的契机。这种协同效应使Kone大要专注于为其过程和客户提供价值，同期诈欺亚马逊云科技的顶端本事和专科常识。

Kone对翻新的快活是刚烈不移的，他们的产物组合中已经有30多种不同的生成式东谈主工智能用例，从像Technician Assistant这么的产物到接近坐褥的原型，再到早期探索阶段。Taro示意，跟着他们链接激动可能性的范畴，Kone里面的生成式东谈主工智能用例数目将“爆炸式增长”。

底下是一些演讲现场的精彩俄顷：

演讲者通过接头不雅众在re:Invent体验中使用电梯、自动扶梯和交通器具的有关问题来勾引不雅众。

演讲者玄虚了演讲的议程，包括Bedrock Guardrails玄虚、架构、产物演示、来自Kone的客户案例以及使用亚马逊云科技构建的Kone本事员助手应用法式的演示。

先容在Amazon Bedrock限度台中无缝创建防护栏的过程，允许自界说输入和输出过滤的讯息。

演示若何使用Amazon Bedrock防护栏创建内容过滤策略，以检测无益类别，如文本和图像中的仇恨内容、侮辱、性或暴力内容，并凭据业务需求自界说强度级别。

Amazon Bedrock Guardrails不错玩忽快速地介入防守无益内容，具有可自界说的策略和及时的策略违法反馈。

诈欺数字化经管决策，如叙事式东谈主工智能和本事匡助台，高效地经管现场本事东谈主员面对的问题并加以经管。

演讲者邀请不雅众参加自动推理和防护栏的会议和研讨会，要点先容最新翻新和履行契机。

转头

在这个令东谈主陶醉的叙事中，咱们踏上了探索生成式东谈主工智能应用法式的复杂宇宙以及保护它们的至关遑急性的旅程。这个故事通过电梯和自动扶梯的镜头张开，将玩忽转移咱们的本事遗址与快速发展的东谈主工智能领域等量皆不雅。

Amazon Bedrock Guardrails看成主角出现，这是一套苍劲的保护活动，旨在保护生成式东谈主工智能应用法式免受不妥内容、苦衷露出、提醒攻击和幻觉的影响。其千般化的政策，包括内容过滤器、被拒却的主题、词语过滤器和情境配景常识，使开发东谈主员大要凭据我方的独到用例和负服务的东谈主工智能政策定制保护活动。

跟着自动推理查验的引入，这个叙事出现了一个令东谈主抖擞的转换，这是一项袭击性的功能，不错识别并更正反应中的事实述说，确保最猛进度的准确性和透明度。这项顶端本事有望绝对改变依赖于精驯顺息的行业，如法律、保障和东谈主力资源。

群众电梯和自动扶梯相易者通力公司成为焦点，展示了他们与亚马逊云科技在开发由生成式东谈主工智能驱动的本事助理方面的超过配合。这种翻新经管决策使现场服务工程师大要快速会诊和经管开采问题，诈欺Bedrock Guardrails的情境配景常识和有关性查验来提供准确和有关的信息。

这个叙事以通力公司本事助理的令东谈主信服的演示达到高亢，展示了Bedrock Guardrails保护活动与生成式东谈主工智能的力量在简化复杂操作方面的无缝集成。这个旅程以号召参与者探索大都挑升用于掌捏构建负服务的生成式东谈主工智能应用法式艺术的资源、研讨会和分组会议而告终。

亚马逊云科技（Amazon Web Services）是群众云揣度的创举者和引颈者。提供200多类粗野而深切的云服务，服务群众245个国度和地区的数百万客户。作念为群众生成式AI前行者，亚马逊云科技正在联袂粗野的客户和配合股伴，树立可见的生意价值 – 汇集群众40余款大模子kaiyun官方网站，亚马逊云科技为10万家群众企业提供AI及机器学习服务，督察3/4中国企业出海。