股票杠杆
杠杆炒股，股票融资！
当前位置：正文
马斯克发布Grok-1.5V！xAI首款多模态大模子，能看图写代码、算热量
作家 | ZeR0
剪辑 | 漠影
智东西4月13日音书，刚刚，马斯克的大模子创企xAI推出了其首款多模态大模子Grok-1.5V。
这是OpenAI的大言语模子强敌之一。如今，除了文本功能外，Grok当前还不错处理各式各类的视觉信息，包括文档、图表、图表、屏幕截图、像片，并能进行多学科推理。
xAI要点展示了Grok-1.5V的7个示例，包括：将手绘制表调遣成Python代码、看食物标签算计卡路里、把柄孩子的绘画讲个睡前故事、讲明梗图、将表格调遣成csv式样、为生存平淡问题答疑解惑、处置代码问题。
至此，xAI负责加入前沿多模态大模子的竞赛。
与GPT-4V、Claude 3 Sonnet、Claude 3 Opus、Gemini Pro 1.5比较，Grok-1.5V的阐扬不相高下，在一些基准测试中后来居上。
尤其是在RealWorld，用于揣度委果天下空间领路智商的QA基准测试中，Grok明显优于同类模子。xAI团队对Grok领路物理天下的智商感到卓绝应允。关于上头的数据集，该团队在莫得念念维链提醒的情况下在零样本设置中评估Grok。
xAI文书向社区发布RealWorldQA基准测试，盘算跟着其多模态模子的改良而膨胀它。RealWorldQA在CC BY-ND 4.0下发布，数据集大小为677MB。
第一版RealWorldQA由700多张图片构成，每张图片齐有一个问题和易于考据的谜底。该数据集包括从汽车上拍摄的匿名图像，以过甚他委果天下的图像。xAI放出了4个示例，其中有两张图齐是由汽车前置录像头拍摄的。
数据集地址：
https://creativecom mons.org/licenses/by-nd/4.0/?ref=chooser-v1
自2023年11月推出聊天机器东说念主Grok以来，马斯克xAI一直在追逐OpenAI的范例。在刚刚昔日的1个月内，xAI接踵文书将Grok-1开源、推出128k长文本Grok-1.5、推出Grok-1.5V多模态大模子三项要害进展。
Grok-1.5V将很快提供给其早期测试者和现存的Grok用户。
xAI展示了Grok-1.5V的7个示例：
1、看图表草图，写代码
当用户拿一张手绘的经由图，问Grok能否将其调遣成Python代码。
Grok汇报：
“固然！您提供的经由图描绘了一个粗浅的猜谜游戏，其上钩算机生成一个只怕数，用户必须揣摸它。底下是示意经由图中逻辑的Python代码：”
“这段代码将运行经由图中描绘的猜谜游戏。用户将被提醒输入他们的揣摸，直到他们猜对了数字。”
2、算计卡路里
用户问：“5片这个有若干卡路里？”
Grok汇报：
“要是一份是3片，含有60卡路里，那么5片就含有大要100卡路里。这是通过领先细目每片的卡路里来算计的：60卡路里/3片=每片20卡路里。然后，将每片的卡路里乘以片数：每片20卡路里*5片= 100卡路里。”
3、把柄绘画讲一个睡前故事
把柄上图，Grok讲出这么一个睡前故事：
“很久很久以前，在一派充满冒险和遗址的地皮上，有一个勇敢的小男孩，名叫蒂米。蒂米和他的家东说念主住在一个逍遥的斗室子里，他最心爱的等于探索周围的天下。
在一个阳光明媚的日子，蒂米决定去近邻的丛林探险。他带上了他最心爱的零食、一个指南针，还有他那本可靠的札记本，用来画下他将要看到的悉数令东说念主应允的事情。
当蒂米向丛林深处冒险时，他发现了一条在阳光下闪闪发光的神奇河流。这条河是如斯迷东说念主，致使于蒂米决定造一艘小纸船，投资理财看成对丛林精灵的荒芜信息，顺流而下。
蒂米小心翼翼地折起他的纸船，在上头画了一个笑脸，给丛林精灵带来好意思瞻念。然后，他把船放在河上，看着它漂走，带着他的友谊和对当然的爱的信息。
当太阳启动下山时，蒂米知说念是时间回家了。他很谢意在丛林里渡过的神奇的一天，他知说念他会遥远把此次冒险的挂牵记在心里。
回到家，蒂米把他的故事告诉了他的家东说念主，他们很好意思瞻念听到他在丛林里神奇的一天。他们齐以为提米的勇敢和善然的精神是一个真确的饱读吹，他们知说念他将连接有更多的奇妙的冒险在畴昔。
于是，带着一颗充满爱的心和一个充满欲望的头脑，蒂米迟缓地睡着了，渴慕发当前他想象的天下里有什么新的冒险在等着他。”
4、讲明一个梗图
给Grok上头这张梗图，它也能“秒懂”：
“这张图片是对初创公司和大公司的幽默比较。在左边标有‘初创公司’的方位，有一群东说念主在沿途造穴。他们齐在积极参与，这个洞一经很是深了。
在右边标有‘大公司’的方位，有一群东说念主站在一个洞周围。关联词，与创业方不同的是，践诺上只须一个东说念主在造穴，而其他东说念主则在不雅看或从事其他举止。
这幅图中的幽默来自于对初创公司和大公司之间各别的夸大。在创业公司，频繁有一种迫切感，每个东说念主齐被生机平直为手头的任务作念出孝敬。比较之下，大公司频繁被描绘为有更多的官僚方针，况兼每个样式中悉数团队成员的平直参与较少。”
5、将表格调遣成csv
用户不错条件Grok将这张表格调遣成csv。
Grok当场输出以纯文本式样裸露的CSV。
6、赞理清算船面上的烂木头
Grok也能用于处置生存平淡问题。当用户发送一张像片，磋议：“这些洞出当前我船面上的螺丝周围。它烂了吗？我应该换电路板吗？”
Grok汇报说：
“看来你船面上的木头一经启动腐臭了。螺丝周围有洞标明了这少许，这是木头腐臭的常见迹象。
为确保船面的安全和使用寿命，提议更换受影响的船面。这将有助于提神船面进一步受损，并保握其结构圆善性。
要是您不细目奈何连接更换板，参谋专科的船面建立商或承包商可能会有所匡助。他们将或者评估损坏的进度，并为您的船面提供最好步履决议的巨匠提议。”
7、处置代码问题
让Grok写Python代码处置上头的问题，Grok的输出如下：
xAI团队以为，鼓励其多模态领路和生成智商是构建或者领路天地的有意AGI的要害式样。在接下来的几个月里，xAI展望将在图像、音频、视频等各式模态上对这两种功能进行紧要改良。
同期，xAI还贴出招聘联结，邀请更多想象师、工程师、居品、数据、Infra、AI导师加入。
值得一提的是，LLaVA一作、好意思国威斯康星大学麦迪逊分校博士柳昊天本日文书加入xAI团队：“我很好意思瞻念和一个小而专注的团队沿途责任，望望咱们能有多快！这只是是个启动。”
