微软新工具上线AI幻觉内容能检测纠正
【ITBEAR】9月25日消息，近日，微软在Azure AI Content Safety中推出了一项名为“Groundedness Detection”的预览版功能，旨在“纠正”AI产生的幻觉内容。
所谓AI幻觉，指的是人工智能生成的一种回应，其中包含了看似事实但实则虚假或误导性的信息。这一术语源自心理学中的幻觉概念，两者具有相似的特征。AI幻觉的危险之一在于，模型的输出看似正确，而实际上却是错误的。
据ITBEAR了解，微软的Groundedness Detection功能与谷歌在Vertex AI中推出的Google Search Grounding颇为相似，它们都通过对比AI的输出内容和源文件，来识别出那些没有证据支持或属于幻觉的内容。
微软强调，尽管这一工具能够提高人工智能输出的可靠性，但它并不能保证输出的完全准确性，只是能够增强生成内容与源材料之间的一致性。当系统检测到一个支持不足的句子时，会触发一个新的请求，要求一个较小的人工智能模型进行修正。该模型会根据基础文档对句子进行评估。
如果一个句子不包含基础文档中的相关信息，它就会被完全过滤掉。而对于那些包含一些相关内容的句子，模型则会对其进行改写，以确保与源材料相匹配。
关键词：#微软# #Azure AI Content Safety# #Groundedness Detection# #AI幻觉# #内容一致性#
