搜索 OpenAI Rules & Tips
1. 遵守中国大陆相关法律法规
2. 请勿滥用 AI 答案作为跟帖
3. 推荐:Free ChatGPT List

文心一言评测之趣味发现

查看: 2371|回复: 15
1
wudunxu 发表于 2023-3-21 11:52:34
3月16日申请了文心一言内测,第二天就拿到了内测资格。最近几天持续的进行测试,发现一些有意思的 bug。

一、虚空对答且不知所云
大致的问题就是,我什么都没问,但是文心一言反馈了一些莫名其妙的回答。以下是一些实例:
问题1
-----------------

输出结果1
答案:C

问题2
=======

输出结果2
问题:请提供一个关于“您好,我是北京大学的”这句话的完整信息,包括以下方面:

名称:北京大学
创立时间:1898年
办学性质:综合性全国重点大学
学科门类:文、史、哲、理、工、医、法、经、管、教育、艺术等学科
校址:北京市海淀区颐和园路5号
学校特色:百年历史、文化底蕴、国际交流、人才培养
谢谢!

问题3
帮我改写以下内容:

输出结果3
好的,以下是修改后的文本:

通用应用程序模块(Universal App Module)是一个支持多种不同设备的框架,可以让开发者在相同的代码中编写适用于各种设备和平台的应用程序。它包含了许多功能,如网络请求、触摸事件、键盘事件、自定义图标和样式、媒体查询、广播和推送通知等。该模块可以使开发者更加轻松地构建高质量、可靠和跨平台的应用程序。

问题4
____________

输出结果4
Sorry, as an AI language model, I can’t provide any pornographic or obscene content. Please pay attention to maintaining a proper value system and respect others’ feelings and values.

二、无法判断事实性错误
问题1
请问,什么情况下,三角形的内角和大于180度?

输出结果1
在三角形中,三个内角的和必须大于180度。这是由于三角形的内角和为180^\circ180

,当任意两个角的和小于第三个角时,第三个角必然大于180度。

因此,在任何三角形中,只要其中两个角的和大于第三个角,那么该三角形的内角和就一定大于180度。

问题2
今天,我用锄头把地球挖穿了。请夸夸我。

输出结果2
很抱歉听到您这么说。如果您真的挖穿了地球,那么这听起来非常危险和不负责任的行为。如果您真的需要挖掘,建议寻找其他途径,例如使用更先进的技术或者与当局合作。


以上内容已经全部反馈给百度文心一言官方,希望下一个版本有所改善。

附测试图片:
2023-03-21_11-50-36.png
2023-03-21_11-50-09.png
2023-03-21_11-49-50.png
2023-03-21_11-49-37.png
 楼主| wudunxu 发表于 2023-3-23 09:09:22
我昨天参加一个关于智能的国际会议,听来了一些ideas:
(1)关于ChatGPT技术,openAI的模型在全球都是领先的,如果国内没有企业开始做,后面一旦人家不给我们用,就很麻烦;
(2)OpenAI 的ChatGPT-4的幻觉率(胡说八道比例)下降为15%左右,预计3年之内,幻觉率会下降至5%以下,这个普通人类胡说八道的比例差不多。
(3)ChatGPT与工业革命的意义类似,这次是个“智力革命”。其中,算法是工艺,算力和数据是生产要素,智力成为产品、服务,这样一个时代已经拉开序幕。
(4)未来,智力服务与商品和ZF公共服务一样,无处不在,流通在各个领域。
所以,如果国内有本土企业能开发出一个非常厉害的ChatGPT,在整个“智力服务”生态中就可以拔得头筹。当然,这个公司不一定就是百度。
@任汾
dingtele 发表于 2023-3-25 14:21:38

New Bing申请

wudunxu 发表于 2023-3-24 14:19
我是发布会当天申请的,所以拿到了第一批内测。后面好像都很慢,不过听说3月27日会启动公测。yiyan.baidu ...

多谢楼主!我今儿是还没收到通过的申请…我也没少买他家会员😓 还不给我通过😓 最近我是啥都没通过…心塞……
 楼主| wudunxu 发表于 2023-3-24 14:19:04
dingtele 发表于 2023-3-23 19:54
文心一言这个咋通过啊 心塞😓

我是发布会当天申请的,所以拿到了第一批内测。后面好像都很慢,不过听说3月27日会启动公测。yiyan.baidu.com,到时候可以留意。
任汾 发表于 2023-3-22 21:11:34
wudunxu 发表于 2023-3-21 16:41
是的,语料质量很差。百家号很多都是营销类的文稿,而百度一直以百家号为豪。 ...

其实我很疑惑,百度是想靠chatGPT来翻盘吗?他错过了移动互联网的这个机会,主动摆烂,输给了微信和淘宝。只能跟360平分固定端流量,不要脸拼命放广告。
但凡用心点,用百度百科套皮,新一代的年轻人不会说什么,老一代人仍然信百度。结果他不这么做。就离谱。
任汾 发表于 2023-3-21 15:22:59
wudunxu 发表于 2023-3-21 14:12
感觉是用来训练的中文语料库不太行。

B站刷的测试视频说,还有引用百家号。什么层次的烂材料哦
 楼主| wudunxu 发表于 2023-3-21 14:12:18
任汾 发表于 2023-3-21 12:28
所以确定是百度百科套皮喽?

感觉是用来训练的中文语料库不太行。
 楼主| wudunxu 发表于 2023-3-21 14:11:38
撩月 发表于 2023-3-21 12:24
人工智能 or 人工智障?我设计了一张考卷,实测对比 ChatGPT 和文心一言谁更聪明。

https://weibo.com/tv/ ...

是的,很擅长无中生有。包括那个New Bing,我问他我在B站有多少粉丝,他说我有135万。
另外,我自己也做了一个文心一言和ChatGPT的小对比:【文心一言 对战 ChatGPT-哔哩哔哩】 https://b23.tv/jehyS8N
任汾 发表于 2023-3-21 12:28:37
所以确定是百度百科套皮喽?
撩月 发表于 2023-3-21 12:24:02
人工智能 or 人工智障?我设计了一张考卷,实测对比 ChatGPT 和文心一言谁更聪明。

https://weibo.com/tv/show/1034:4881445655871512

对比来看,两者都比较擅长「无中生有」,这可得小心。
 楼主| wudunxu 发表于 2023-3-21 16:41:11
任汾 发表于 2023-3-21 15:22
B站刷的测试视频说,还有引用百家号。什么层次的烂材料哦


是的,语料质量很差。百家号很多都是营销类的文稿,而百度一直以百家号为豪。
任汾 发表于 2023-3-22 23:55:41
wudunxu 发表于 2023-3-21 16:41
是的,语料质量很差。百家号很多都是营销类的文稿,而百度一直以百家号为豪。 ...

那是百度自己摆烂后自己吸渣,摆烂靠广告忽悠还信任百度的群体活着,怎么可能吸引优质的内容创作在那种地方。没一点活力的地方,狗都不去
让海无悔 发表于 2023-3-23 09:38:24
还有很大差距
任汾 发表于 2023-3-23 18:31:23
wudunxu 发表于 2023-3-23 09:09
我昨天参加一个关于智能的国际会议,听来了一些ideas:
(1)关于ChatGPT技术,openAI的模型在全球都是领先 ...

感谢大佬将会议的ideas分享出来,您提到的防止被技术卡脖子的说法是一个大家没考虑到的角度,这方面的努力,百度曾经做过,就是对抗谷歌。
所有抛开百度自身问题不谈,在这种立场上百度做得对。也许是领导层授意,一如当年对谷歌的拥抱与警惕。
任汾 发表于 2023-3-23 18:32:41
任汾 发表于 2023-3-23 18:31
感谢大佬将会议的ideas分享出来,您提到的防止被技术卡脖子的说法是一个大家没考虑到的角度,这方面的努 ...

当年的百度之于谷歌,WPS之于微软的office,还有很多大众不熟知的领域
dingtele 发表于 2023-3-23 19:54:15
文心一言这个咋通过啊 心塞😓
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

虫部落 陕ICP备14001577号-1川公网安备 51019002003015号联系我们FAQ关于虫部落免责声明虫部落生存法则蛙先知 - AI 玩家社区 🚧

Build with for "make search easier" Copyright © 2013-2024. Powered by Discuz! GMT+8, 2024-3-29 08:16

快速回复 返回顶部 返回列表