注意：此文件为机器翻译版本。欢迎对翻译进行改进！
从 RAG 聊天机器人到代码助手，再到复杂的代理流水线等，构建高效、快速且低成本的 LLM 系统，具备追踪、评估和仪表板功能。
Opik 是一个开源平台，用于评估、测试和监控 LLM 应用程序。由 Comet 构建。
您可以在以下方面使用 Opik：
- 开发：
- 追踪： 在开发和生产过程中跟踪所有 LLM 调用和追踪 (快速入门、集成)
- 注释： 通过 Python SDK 或 UI 来记录反馈分数，对 LLM 调用进行注释。
- 沙盒： 在 提示沙盒 中试用不同的提示和模型。
- 评估：
Opik 可作为完全开源的本地安装版本获取，也可使用 Comet.com 提供的托管解决方案。最简单的入门方式是通过在 comet.com 创建一个免费的 Comet 账户。
如需自建 Opik，请克隆仓库并使用 Docker Compose 启动平台：
在 Linux 或 Mac 上运行：
# 克隆 Opik 仓库
git clone https://github.com/comet-ml/opik.git
# 进入仓库目录
cd opik
# 启动 Opik 平台
./opik.sh在 Windows 上运行：
# 克隆 Opik 仓库
git clone https://github.com/comet-ml/opik.git
# 进入仓库目录
cd opik
# 启动 Opik 平台
powershell -ExecutionPolicy ByPass -c ".\opik.ps1"使用 --help 或 --info 选项来排查问题。
启动后，您可以在浏览器中访问 localhost:5173！
更多安装选项，请参阅我们的部署指南：
| 安装方式 | 文档链接 |
|---|---|
| 本地部署 |  |
| Kubernetes |  |
首先安装 Python SDK：
pip install opik安装 SDK 后，运行 opik configure 进行配置：
opik configure您也可以在 Python 代码中调用 opik.configure(use_local=True) 来配置本地安装。
现在，您可以使用 Python SDK 开始记录追踪信息了。
最简单的入门方式是使用我们的集成方式。Opik 支持：
| 集成方式 | 描述 | 文档链接 | 在线试用 |
|---|---|---|---|
| OpenAI | 记录所有 OpenAI LLM 调用追踪信息 | 文档 | 在线试用 |
| LiteLLM | 使用 OpenAI 标准格式调用任意 LLM 模型 | 文档 | 在线试用 |
| LangChain | 记录所有 LangChain LLM 调用追踪信息 | 文档 | 在线试用 |
| ... | ... | ... | ... |
注意：如果您使用的框架不在上述列表中，请提交 问题反馈 或通过 PR 添加集成支持。
如果不使用上述框架，也可使用 track 装饰器记录追踪信息：
import opik
opik.configure(use_local=True) # 本地运行
@opik.track
def my_llm_function(user_question: str) -> str:
# 在此编写 LLM 代码
return "Hello"注意：
track装饰器既可与任何集成一起使用，也可用于嵌套函数调用的追踪记录。
Opik 的 Python SDK 包含多种 LLM 评价指标，帮助您评估 LLM 应用。详情请参阅 评价指标文档。
例如：
from opik.evaluation.metrics import Hallucination
metric = Hallucination()
score = metric.score(
input="法国的首都是哪里?",
output="巴黎",
context=["法国是位于欧洲的国家."]
)
print(score)Opik 还包括许多预构建的启发式指标，并且支持创建自定义指标。更多信息请参阅评价指标文档。
Opik 允许您在开发过程中通过数据集和实验评估您的 LLM 应用程序。
您还可以通过我们的 PyTest 集成在 CI/CD 流水线中运行评估。
如果你觉得 Opik 有用，请考虑给我们一个 Star (点赞/加星标)！你的支持有助于我们壮大社区并持续改进产品。
以下是为 Opik 贡献的方法：
- 提交 Bug 报告 和 功能请求
- 通过审查文档和提交 Pull Request 来改进文档
- 撰写和发布与 Opik 相关的文章 (联系我们)
- 通过支持受欢迎的功能请求来表达支持
有关详细的贡献方法，请参阅 贡献指南。