phuryn/ab-test-analysis

一个用于A/B测试数据分析的智能体技能,帮助用户评估实验效果。

安装使用

复制下面这段提示词发给你的 AI(Claude / Cursor / TRAE / Codex / WorkBuddy 等),它会自动帮你完成安装:

帮我安装这个 AI Skill:phuryn/ab-test-analysis。
它的用途是:一个用于A/B测试数据分析的智能体技能,帮助用户评估实验效果。
详细介绍见:https://321skill.com/skills/phuryn-ab-test-analysis/
请根据该页面的说明完成安装。

使用示例

“帮我分析一下A/B测试结果:对照组有5000次曝光,200次转化;实验组有5200次曝光,250次转化。”,它会自动计算两组的转化率、p值,并判断实验版本的效果提升是否具有统计显著性,给出决策建议。

介绍

这个Skill旨在解决A/B测试结果分析复杂、手动计算耗时且易出错的问题。它能够自动处理实验数据,计算关键指标如转化率、统计显著性(p值)和置信区间,并生成清晰的分析报告,帮助用户快速判断哪个实验版本更优。

使用时,用户只需将A/B测试的原始数据(如对照组和实验组的样本量、转化数等)提供给智能体,或描述实验目标,它便能执行分析并解读结果。该Skill封装了核心的统计计算逻辑,使分析过程标准化且可重复。

它非常适合产品经理、数据分析师和营销专员等需要频繁进行实验效果评估的角色。这些用户通常需要基于数据做出产品迭代或营销策略的决策,但可能缺乏深入的统计学知识或希望提升分析效率。

使用建议:确保输入的数据准确、完整,例如明确区分对照组和实验组的数据。对于复杂的实验设计(如多变量测试)或非标准的数据结构,可能需要结合更专业的统计工具进行深入分析。该Skill主要提供核心的显著性检验和效果评估。

核心特点

与通用数据分析Skill相比,它专门针对A/B测试场景,内置了统计显著性检验(如Z检验)和效果量计算,无需用户手动编写统计代码或公式。其输出直接聚焦于实验决策(如是否显著、推荐哪个版本),而非泛泛的数据描述。

注意事项

不适合处理非A/B测试类型的实验数据(如时间序列分析、多因素方差分析未专门优化)或需要复杂归因建模的场景。

常见问题

这个Skill能计算样本量吗?

目前主要专注于结果分析,样本量计算属于实验设计阶段,暂不支持。

支持哪些类型的A/B测试指标?

主要支持比例类指标(如转化率、点击率)的对比分析。