LocalScore

LocalScore 是一款开源基准测试工具，用于衡量大语言模型（LLM）在您特定硬件上的运行速度。它也是一个公开的基准测试结果数据库。
无论您想了解自己的电脑能否流畅运行一个80亿参数的模型，还是在为本地AI部署选择GPU而犹豫，LocalScore 都能提供您做出明智决策所需的数据。
这些基准测试结果应具有直接可比性，并能较好地反映您在实际硬件上可能获得的性能表现。尽管该基准测试套件无法涵盖所有可能场景（如推测性解码等），但仍可大致判断您的硬件性能水平。