• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • [Industry News] 最强开源大模型 Llama 3 王者归来，直逼GPT-4
    deepin Talks 487 views · 6 replies ·
    Tofloor
    poster avatar
    流浪的加菲
    deepin
    2024-04-19 17:25
    Author

    image.png

  • Llama 3 8B：基本上与最大的 Llama 2 70B 一样强大。
  • Llama 3 70B: 第一档 AI 模型，媲美 Gemini 1.5 Pro、全面超越 Claude 大杯

    • image.png

    基准测试结果显示：

    • Llama 3 8B 在 MMLU、GPQA、HumanEval 等测试的得分远超 Google Gemma 7B 以及 Mistral 7B Instruct。
    • Llama 3 70B 则跻身于顶尖 AI 模型的行列，整体表现全面碾压 Claude 3 大杯，与 Gemini 1.5 Pro 相比则是互有胜负。
  • Llama 3 使用了一个具有 128K token 词汇表的 tokenizer，可以更有效地编码语言，从而显著提升模型性能。
  • 在 8B 和 70B 模型中都采用分组查询注意力（GQA），以提高 Llama 3 模型的推理效率。
  • 在 8192 个 token 的序列上训练模型，使用掩码来确保自注意力不会跨越文档边界。

    • Reply Favorite View the author
    All Replies
    Linux大宝
    deepin
    2024-04-19 17:33
    #1

    看来天朝各大科技公司又可以来一波创新

    Reply View the author
    流浪的加菲
    deepin
    2024-04-19 17:55
    #2
    Linux大宝：

    看来天朝各大科技公司又可以来一波创新

    互联网的事怎么能算抄，那叫“借鉴”tail

    Reply View the author
    字母N
    deepin
    2024-04-19 18:30
    #3
    Linux大宝：

    看来天朝各大科技公司又可以来一波创新

    别整天啥也不懂，就剩张口就来，除开阴阳怪气，就只剩嘴硬。喜欢国外的技术，无可厚非，爱用gpt就用，但没必要像抖音和贴吧阴阳怪一样，动不动马斯克颠覆世界，AI今夜见证历史。实际上连基本常识都不懂，就剩下在电脑前跪着拍视频。

    Reply View the author
    离
    deepin
    2024-04-19 19:46
    #4
    Linux大宝：

    看来天朝各大科技公司又可以来一波创新

    去过hugging face嘛？哪些开源哪些不开源都不知道。不开源的顶多做接口连过去，好辨别的很

    Reply View the author
    乾豫恒益
    deepin
    2024-04-20 09:06
    #5

    看新闻报道，目前的AI发展，已经把英文版目前已经电子化的书籍吃完了，不过没有意识产生。甚至哲学基本思路都还没出来。

    Reply View the author
    Lwh2008-Equinox
    deepin
    2024-04-20 15:27
    #6

    还有就是可以在WhatsApp号Facebook的聊天框里面使用

    Reply View the author