A股历史数据下载与清洗:量化研究第一步

做量化研究,策略灵感从来不稀缺,稀缺的是干净的数据。同一个动量因子,用规范复权的价格序列回测,和用带着除权跳空的原始收盘价回测,结果可能一个天上一个地下。很多人第一步就栽在这里:把下载好的表格直接丢进回测框架,跑出一条漂亮的净值曲线,一上实盘就迅速失效,回头排查半天,才发现错的是数据而不是策略。

在写下第一行策略代码之前,值得先弄清楚"a股历史数据"从哪里来、该选什么频率、要清洗些什么。下面按获取渠道、频率选择、清洗流程与常见偏差四个环节,把量化研究的这一步讲透。

数据从哪里来:三条主流渠道

• 交易所与授权信息商:沪深交易所通过持牌信息商发布行情,数据规范、质量稳定,但接入有资质与费用门槛,更适合机构团队;
• 商业数据API:付费服务商把日线、分钟线、财务与板块数据打包成接口,个人订阅即可使用,重点核对授权范围、历史深度与更新时点;
• 开源接口:akshare、tushhare、baostock等中文社区常用工具,足够支撑学习与研究型回测,若要用于生产环境,需自行评估稳定性与数据一致性。

日线、分钟线还是tick:先定研究频率

数据频率由策略类型决定,不是越细越好。中低频因子研究,日线加财务数据就能覆盖绝大多数场景;偏好"a股日内交易"的读者要先想清楚标的:股票端实行T+1,当日买入不能当日卖出,日内回转在股指期货、可转债与部分ETF上才有完整的用武之地。频率每提高一档,存储、清洗与回测成本都会成倍增加,先确认策略逻辑确实需要,再决定下载哪一档数据。

清洗五步:从原始表格到可用序列

1. 对齐交易日历:以交易所日历为准,剔除非交易日与重复记录;
2. 处理停牌与缺失:停牌区间是剔除还是填充,规则要写进代码并全程保持一致;
3. 复权处理:分红送转造成的价格跳空,必须用前复权或后复权抹平,否则动量、反转类因子会集体失真;
4. 异常值核查:价格为零、成交量为零却仍有价格变动的记录,要逐条追查来源;
5. 标记特殊样本:新股上市初期与风险警示类股票的涨跌幅规则不同,通常需要单独打标签处理。

两个最隐蔽的偏差:幸存者偏差与未来函数

幸存者偏差指数据集里只剩活到今天的公司,退市股被整体删除,回测因此系统性高估收益;未来函数则是无意中用了当时不可能知道的信息,比如拿公告日之前的财务数据打分,或用收盘后才确定的指标去指导下单。这两类错误不会报错,只会让曲线好得离谱,而离谱本身就是最好的报警器。

清洗规则必须全部落在代码里,任何手工"修正"过的单元格,都会在实盘变成无法复现的偏差。

历史数据是量化研究的地基,地基的平整程度决定了上层建筑的可靠程度。选对渠道、定准频率、把复权与偏差处理固化成可复现的流程,远比多跑十个因子模板更接近正收益。本文为信息参考,不构成投资建议。