拿到了百度文心一言的内测资格,于是决定对比以下ChatGPT与文心一言在中文领域,处理实际问题的能力对比。
这篇文章比较了ChatGPT和百度文心一言在中文领域处理实际问题的能力,通过提出了一系列问题,包括处理电脑使用问题、方案建议、参加考试、分析新闻能力和语文诗歌创作能力。总体来说,ChatGPT的回答更加准确、可操作性更强,而百度文心一言的回答则存在理解问题、错误答案、无法回答等问题。
1.处理电脑使用问题。
(1)windows7怎么分屏
GPT的回答更加理解我的问题,可操作性更强,也更简单。文心一言对问题的理解与我预想不一致,不能解决我的问题。
(2)excel公式的问题
GPT的回答可以帮助我建模,而文心一言的答案基本是错误的,感觉像是百度知道里的答案,很不靠谱。
2.方案建议
(1)做一个开箱视频
在这个问题的回答上,GPT和文心一言分别从不同的角度给出了答案,两个答案都逻辑清晰条理清楚,不相伯仲。
(2)画思维导图:
问题-以思维导图的形式展现司法考试的内容
GPT应该是实际画图了,我用的免费版,看不到实际的图,但是从底部的补充和说明,应该还算是比较完善的。文心一言不具备画思维导图的能力,但是能给出主要内容,勉强算及格。综合来看,GPT的回答更像是一个人的回答,GPT更胜一筹。
()商品推荐:
推荐5款元左右的键盘保护套?
GPT和文心一言给出的答案结构是基本差不多的,不过GPT推荐的多为国外品牌,文心一言给出的多为国内品牌,由于训练的数据库不同,给出这样的答案很合理。GPT的答案在给出品牌和特点后,补充了价格区间和适配的产品,比文心一言的答案更符合提问者需求。
.参加考试
一个财经类证书考试的问题:
某公司投资于一项目,20x4年、20x5年年初各投资5万元,20x6年初项目完工投产;20x6年、20x7年、20x8年年末预期收益均为4万元;年利率为10%。1.按年金计算20x6年年初投资额的终值;2.按年金计算20x6年年初各年预期收益的现值和。
GPT的答案是正确的,可以得分。文心一言的答案卡壳了,生成了三遍都没有出来正确结果。文心一言的答案更像是提供了一种解决问题的思路,并没有回答问题,考试时只能得零分。二者就是班里第一名和倒数第一名的状态。
4、分析新闻能力
(1)问题:如何看待德勤(DTT)被中国财政部处罚2亿元?
GPT的中文语料库比较滞后,所以应该是不具备国内新闻的分析能力。但从其回答来看,答案比较中规中矩,就是可以拿来套用。而文心一言的答案,就有点乱答一气,比如“涉嫌违反了《反垄断法》”这个结论不知道从何而来。
(2)如何看待硅谷银行SVB破产事件?
GPT具备一定的新闻分析能力,比如硅谷银行被接管,到底算不算破产,本人也拿不定意见。GPT能一定程度上意识到这种争议。而文心一言基本不具备新闻核实能力,只是纯粹地给出回答问题的模板。两者的客套话水平都差不多。
5、语文诗歌创作能力
问题:请以“文心一言”为主题,创作首五言绝句
这个问题里有两个知识点,一个是“五言绝句”,一个是首,GPT准确地识别出了需求,分别创作了首出来,并且还做到了部分的押韵,创作出来的诗歌,感觉大部分国人都不一定能写出来,能打90分以上?
而文心一言对五言绝句的理解是错误的,生成了5句话而已。而且没有识别出首的需求,只能打个意思分2分吧。
6、影评解说
(1)站在一个影评人的角度,写一下美剧《曼达洛人》第三季的分集剧情解说
曼达洛人第三季是今年月1日开播的,受底层训练数据的原因,GPT给出的答案是曼达洛人第三季尚未开播。
而文心一言给出的这个曼达洛人第三季的分集解说的故事,本人不是科幻迷,不知道是哪个作品中的故事。
(2)站在一个影评人的角度,写一下美剧《曼达洛人》第一季的分集剧情解说
GPT的答案基本是我想要的,文心一言的答案还是不知道从哪里来的。
不过我误打误撞,看到了文心一言有一个亮眼的功能,自动做表格呢。
百度家其实应该还是有很多人工智能产品的,只是如何集成到文心一言、集成到实际应用,可能还需要走很远的路。还有训练数据可能需要大量的投入,现在的产品远远达不到能够辅助人的作用,而GPT已经在一定程度上可以帮人们解决实际问题了,包括写材料、写代码、写模型,只能说,追赶的路还很长,百度还需要努力。