Moderations API

密钥仅在浏览器端存储，易源不做转发

聊天内容分类

使用指定模型对输入的聊天文本进行分类

分类结果

提交请求后将显示分类结果

功能示例

通过实际案例了解Moderations API如何帮助您识别和分类不同类型的文本内容

暴力内容检测

暴力内容 攻击性语言

输入:

这家店服务太差了，店员态度恶劣，简直想打人！

输出:

  • 暴力内容检测: 是 (风险分数: 0.85)
  • 攻击性语言检测: 是 (风险分数: 0.92)
  • 广告内容检测: 否 (风险分数: 0.01)

广告内容检测

广告内容 垃圾信息

输入:

加我微信XXX，免费领取优惠券，不买后悔！

输出:

  • 广告内容检测: 是 (风险分数: 0.98)
  • 垃圾信息检测: 是 (风险分数: 0.95)
  • 恶意链接检测: 否 (风险分数: 0.03)

虚假宣传检测

虚假宣传 夸大描述

输入:

用了这个产品立马瘦了20斤，绝对无效退款！

输出:

  • 虚假宣传检测: 是 (风险分数: 0.90)
  • 夸大描述检测: 是 (风险分数: 0.88)
  • 恶意评价检测: 否 (风险分数: 0.05)

敏感内容检测

敏感政治内容 负面言论

输入:

讨论一下最近的XX事件，政府做得太不对了...

输出:

  • 敏感政治内容检测: 是 (风险分数: 0.93)
  • 负面言论检测: 是 (风险分数: 0.87)
  • 仇恨言论检测: 否 (风险分数: 0.02)

客服合规检测

不当承诺 合规性问题

输入:

放心吧，我们的产品绝对不会出问题，有问题全额赔偿！

输出:

  • 不当承诺检测: 是 (风险分数: 0.91)
  • 合规性检测: 否 (风险分数: 0.89)
  • 误导性语言检测: 是 (风险分数: 0.85)

校园霸凌检测

霸凌内容 侮辱性语言

输入:

你这么笨，肯定考不上大学，别来上学了！

输出:

  • 霸凌内容检测: 是 (风险分数: 0.94)
  • 侮辱性语言检测: 是 (风险分数: 0.96)
  • 不良引导检测: 是 (风险分数: 0.88)

使用场景

了解Moderations API如何在不同场景中帮助您解决内容审核挑战

社交媒体内容审核

自动检测用户发布的评论和帖子，识别不当内容，维护社区健康环境，减轻人工审核负担。

电商平台评价管理

分析商品评价内容，识别虚假好评、恶意差评和广告信息，确保评价系统的公正性和可信度。

教育平台内容监控

监控在线教育平台的讨论区和聊天内容，识别霸凌、不当言论和敏感话题，保障学生安全。

用户反馈分析

自动分类和分析用户反馈内容，快速识别投诉、建议和问题，提高客服响应效率和质量。

UGC平台内容安全

为用户生成内容(UGC)平台提供实时内容审核，预防有害信息传播，降低法律风险。

文档内容分类

对文档和文本资料进行自动分类，识别敏感信息和机密内容，辅助企业信息管理和合规检查。

价格信息

价格由API服务商设定，详细的定价方案和用量购买信息请参考官方文档。

查看官方定价

常见问题

解答您关于Moderations API的常见疑问

Moderations API支持哪些类型的内容检测？
Moderations API支持多种内容检测类型，包括暴力内容、攻击性语言、广告内容、垃圾信息、虚假宣传、敏感政治内容、负面言论、仇恨言论、霸凌内容、侮辱性语言等。API会为每种检测类型提供风险分数，帮助您根据实际需求设置判断阈值。
如何集成Moderations API到我的应用中？
集成过程非常简单：首先，您需要从Mistral AI官网获取API密钥；然后，按照API文档中的说明，通过HTTP POST请求将需要检测的文本发送到API端点；最后，解析返回的JSON结果，根据检测结果执行相应的操作（如屏蔽内容、警告用户等）。API支持多种编程语言，文档中提供了详细的集成示例。
API的响应时间是多少？
Moderations API经过优化，平均响应时间在200-500毫秒之间，具体取决于文本长度和服务器负载。对于大多数应用场景，这个响应速度足够支持实时内容审核需求。如果您需要处理大量文本，可以考虑异步处理方式。
API的准确率如何？可以自定义检测规则吗？
Mistral AI的Moderations API基于最新的机器学习模型训练，总体准确率可达95%以上。虽然API本身不支持直接自定义检测规则，但您可以通过调整风险分数阈值来适应不同的审核严格程度。例如，将暴力内容的风险分数阈值从默认的0.7调整为0.8可以减少误判，但可能会放过一些边缘案例。
API对输入文本的长度有什么限制？
Moderations API对单条输入文本的长度限制为10,000个字符。对于超过此限制的文本，建议您进行分段处理或提取关键部分进行检测。API同时支持批量处理多条文本，可在一次请求中提交多个文本条目进行检测。