字节跳动创始人张一鸣明确反对模型蒸馏
字节跳动正在讨论训练一个参数规模超 5 万亿的模型,它超过阿里的 Qwen 3.8-Max 和月之暗面的K3,也是目前国内已知参数规模最大的模型。通常而言,模型规模越大,智能水平往往越高。不过该计划仍处于早期阶段,并不代表模型最终一定会发布。
两周前,字节跳动创始人张一鸣在员工会上还谈到了自己对模型蒸馏的看法。他反对蒸馏,认为蒸馏能在短期内改善模型表现,但本质上仍是在复制Claude已有的能力。沿着这条路走,最多只能不断逼近对方,很难真正实现超越。他也希望 Seed 可以从更底层的维度去构建自己在 AGI 上的壁垒。
—— 晚点LatePost
字节跳动正在讨论训练一个参数规模超 5 万亿的模型,它超过阿里的 Qwen 3.8-Max 和月之暗面的K3,也是目前国内已知参数规模最大的模型。通常而言,模型规模越大,智能水平往往越高。不过该计划仍处于早期阶段,并不代表模型最终一定会发布。
两周前,字节跳动创始人张一鸣在员工会上还谈到了自己对模型蒸馏的看法。他反对蒸馏,认为蒸馏能在短期内改善模型表现,但本质上仍是在复制Claude已有的能力。沿着这条路走,最多只能不断逼近对方,很难真正实现超越。他也希望 Seed 可以从更底层的维度去构建自己在 AGI 上的壁垒。
—— 晚点LatePost