C-Eval

C-Eval是什么

C-Eval是一个由上海交通大学、清华大学和爱丁堡大学联合推出的中文基础模型评估套件。它旨在全面评估大语言模型在中文环境下的高级知识和推理能力。C-Eval包含13948个多选题，覆盖52个不同学科和四个难度级别，适用于从中学到大学的多层级评估。该工具通过标准化的评测基准，帮助研究人员和开发者衡量模型的中文理解和生成能力。

C-Eval的主要功能

多学科覆盖：C-Eval涵盖了广泛的学科领域，包括STEM（科学、技术、工程和数学）、社会科学和人文科学。这种多样化的题目设计使其能够全面评估模型在不同领域的表现。
多层次评估：评估分为中学、高中、大学以及一个专门为高级推理设计的子集C-Eval Hard。这种分层设计有助于深入了解模型在不同难度下的表现。
标准化评测：C-Eval采用客观题评测方式，避免了主观判断的影响，确保评测结果的客观性和可靠性。它支持零样本（zero-shot）和少样本（few-shot）两种模式，为研究者提供了灵活的评估选项。
防止过拟合：C-Eval在构造题目时尽可能选择非公开来源的试题，并避免使用真题，以减少模型过拟合的风险。
社区互动：C-Eval提供了一个公开透明的排行榜，用户可以提交模型预测结果，系统会自动计算分数并更新排名。这种社区化的互动方式促进了模型的迭代和优化。

C-Eval的使用步骤

注册账户：访问C-Eval官网，注册一个用户账户。
获取数据集：C-Eval的数据集可以通过Hugging Face平台直接下载。用户也可以通过lm-evaluation-harness框架获取数据。
准备模型：将待评估的模型准备好，并确保其能够处理C-Eval提供的测试题目。

运行评估：使用lm-evaluation-harness框架运行评估。例如，可以通过以下命令行操作完成评估：

bash复制

lm_eval --model vllm \
    --model_args pretrained=/path/to/model,dtype=float16,max_model_len=2048 \
    --tasks ceval-valid \
    --batch_size 1 \
    --output_path c-eval-result \
    --log_samples

提交结果：将评估结果整理成指定的JSON格式，并通过C-Eval官网提交。
查看结果：提交后，系统会自动计算分数，用户可以在排行榜中查看模型的性能表现。

C-Eval的产品价格

C-Eval是一个开源项目，用户可以免费使用其评估题目和排行榜。因此，它不涉及任何价格或费用，适合广泛的用户群体，包括研究人员、开发者和学术机构。

C-Eval的使用场景

学术研究：研究人员可以利用C-Eval评估不同语言模型的性能，推动自然语言处理（NLP）领域的研究进展。
企业开发：企业在开发智能客服、内容生成等应用时，可以通过C-Eval选择最适合的语言模型，提高产品质量。
教育培训：教育机构可以使用C-Eval评估学生在语言理解和生成方面的能力，帮助制定个性化的学习计划。
技术评测：技术公司可以利用C-Eval对其开发的语言模型进行评测，确保其在市场中的竞争力。
社区互动：用户可以参与模型的提交和评估，分享评估经验，获取其他用户的反馈。

C-Eval的常见问题和回答

C-Eval支持哪些评估模式？
- 零样本（Zero-shot）：模型在没有任何额外上下文的情况下直接回答问题。
- 少样本（Few-shot）：模型在少量示例的辅助下回答问题。
如何提交评估结果？
- 用户需要将模型的预测结果整理成指定的JSON格式，并通过C-Eval官网提交。
C-Eval的评测结果如何呈现？
- 评测结果会根据模型的答题正确率进行排名和打分，并在排行榜中实时更新。
C-Eval是否支持多种语言模型？
- 是的，C-Eval支持多种语言模型，包括但不限于GPT-4、ChatGLM、MiniMax等。
C-Eval的题目来源是什么？
- C-Eval的题目主要来源于非公开的试题库，避免使用真题，以减少模型过拟合的风险。
C-Eval的评估结果是否公开透明？
- 是的，C-Eval提供了一个公开透明的排行榜，用户可以随时查看模型的性能表现。
C-Eval是否支持本地运行评估？
- 是的，用户可以通过lm-evaluation-harness框架在本地运行评估。