Neko流量统计数据层开发与排错
提供采集器查询、写入代码或统计异常,按项目数据约定检查事务、隔离与读写路由,给出修改方案。
功能与用途
用于修改 Neko Master 采集器的数据层,或排查流量重复计数、统计缺失、多后端数据混杂等问题。提供相关仓库代码、查询需求、异常现象及数据库配置后,可检查批量写入事务、时间聚合、规则名称、后端隔离和失败重试,并指导补齐 SQLite 与 ClickHouse 的对应查询。结果包括问题定位、代码修改建议或实现,以及需要验证的边界情况。使用时需能访问项目源码,并具备数据库与后端开发基础。
适用场景
- 排查流量重复计数:检查批次写入、事务边界和失败重试,定位部分提交后重试造成的重复统计。
- 新增时间范围统计查询:补齐 SQLite 与 ClickHouse 查询,统一时间口径、后端过滤和读路由。
- 修复多后端数据混杂:核对统计表、查询和缓存中的 backend_id,并检查删除后端时的数据清理范围。
- 检查刷盘失败后的数据保留:核对明细与聚合的持久化结果,修正实时缓存清理逻辑,避免未写入数据被清空。
适用人群
- Neko Master 项目维护者
- 采集器后端开发者
- 流量统计故障排查工程师
使用步骤
- 提供查询需求、异常现象或待修改的数据层代码。
- 补充相关数据库配置、日志和复现条件。
- 检查事务、时间键、后端隔离及读写路由。
- 按检查结果修改代码并验证失败重试等边界。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 专业
- 版本
- 752ddf9
- 最近更新
- 2026-11-06
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Data-layer invariants for the collector — SQLite patterns, transactions, time keys, backendId isolation, ClickHouse read/write topology. Use when writing queries, touching repositories, or debugging data drift.
使用前准备
- 能够提供或访问 Neko Master 项目源码,尤其是 apps/collector 数据层代码。
- 具备 SQL、数据库事务及后端代码阅读能力。
- 排查 ClickHouse 读写问题时,需提供相关环境配置及异常信息。
依赖与权限
- DB_PATH
- COOKIE_SECRET
- WS_EXTERNAL_PORT
- API_PORT
- API_URL
- NEKO_BACKEND_TOKEN
- NEKO_GATEWAY_URL
- WEB_EXTERNAL_PORT
- API_EXTERNAL_PORT
- WEB_PORT
- COLLECTOR_WS_PORT
- NEXT_PUBLIC_API_URL
- NEXT_PUBLIC_WS_URL
- NEXT_PUBLIC_WS_PORT
- GEOIP_ONLINE_API_URL
- WS_URL
- WS_PORT
- CH_HOST
- CH_PORT
- CH_EXTERNAL_HTTP_PORT