展会信息港展会大全

昆仑万维:天工通用大模型推理能力超过GPT-3.5和LLaMA2
来源:互联网   发布日期:2023-09-19 19:03:36   浏览:7994次  

导读:北京商报讯(记者 杨月涵)9月16日,昆仑万维发布消息称,在权威推理榜单Benchmark GSM8K 测试中,昆仑万维自研的通用基座大模型天工大模型以80%的正确率脱颖而出,大幅领先GPT-3.5(57.1%)和LLaMA2-70B(56.8%),标志着天工大模型的推理能力达到全球领先...

北京商报讯(记者 杨月涵)9月16日,昆仑万维发布消息称,在权威推理榜单Benchmark GSM8K 测试中,昆仑万维自研的通用基座大模型天工大模型以80%的正确率脱颖而出,大幅领先GPT-3.5(57.1%)和LLaMA2-70B(56.8%),“标志着天工大模型的推理能力达到全球领先,接近GPT-4”。

消息提到,天工大模型不仅在推理性能上有着强大的竞争力,在MMLU、C-EVAL、HumanEval等三项数据集测试中也同样表现出色。在MMLU数据集测试中,天工大模型以65%准确率超越了LLaMA-65B的63.4%;在C-EVAL数据集测试中,天工大模型以65%准确率超越了GPT3.5的54.4%。在HumanEval数据集测试中,天工大模型以37.2%的准确率超过了PaLM-540B(26.2%)、LLaMA-65B(23.7%)、LLaMa2 -70B(30.5%)。

赞助本站

相关内容
AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港