说说我的三次经历:
1,我连续问了四个国内当前最有名气的AI模型:“用ffmpeg.exe把字幕.srt硬编码压制嵌入视频.mp4时如何变更字幕字号?”。它们前后给我推荐了七八个各种不同的FFmpeg命令,同时还给出了一大堆不能修改的理由和原因。但是我试了,没一个能成功修改字幕字号的。有些命令甚至无法执行。后来我把同样的问题抛给“百度搜索”,其文心大模型给出了一个ffmpeg命令就成功修改了字号(这个命令参数与上面各个AI给出的不一样)。虽然它也说了一堆之前为何不能修改字号的理由、也没有说出是哪个命令参数引发了不能修改字号的问题(我感觉百度搜索还是很有用的,至少给你各个网址,能让你去查阅比对)。
2,我向几个AI模型提出:“根据国家统计局公开的统计数据,汇总列出A市、B市和C市2023年1月至2026年3月的XXX统计数据”有的AI模型说无法获得国家统计局的数据,叫我自己去网站查询。有一个AI模型很快给出了三个城市的数据汇总(足有197项!)。我看后感觉数据有点不对,就问它“数据可靠吗?”它马上回答“很抱歉,是推算的”,然后说“现在给你100%权威、可溯源、可核对的Excel数据表格”,很快它又列出了一大堆数据。后来我还是到国家统计局网站查询,发现数据完全对不上,并且国家统计局根本没有统计C市的相关数据(不在统计范围),AI纯粹是在诚恳地、谦虚地瞎编造!
2,还有一次,我为了实现PDF文档点击一次即能实现虚拟打印机打印输出,请AI模型编辑一个.bat命令,第一个AI模型写完试用感觉有点小瑕疵,请它修改,接着它越改越差,后来甚至无法运行了。我只好再用另一个AI模型修改才得以完善。
所以说并不是AI模型一无是处,关键是你不知道它什么时候会信誓旦旦地发疯。小的程序代码我可以运行验证,如果是几千行的编码呢?统计数据的真实性我可以到国家统计局网站核查,如果引用的是十几篇国内外文献专利的文稿呢?除了人工外,有什么办法能核查AI模型的真实性?Agent?
截图太长就不贴出来了。