开发¶
项目架构¶
FreqAI 的架构和功能被设计为通用化，以鼓励开发独特的特性、功能、模型等。
类结构及详细的算法概述如下图所示：
如图所示，FreqAI 由三个不同的对象组成：
- IFreqaiModel - 一个单一的持久化对象，包含收集、存储和处理数据、特征工程、训练以及推理模型所需的全部逻辑。
- FreqaiDataKitchen - 一个非持久化对象，为每个唯一的资产/模型单独创建。除了元数据外，它还包含多种数据处理工具。
- FreqaiDataDrawer - 一个单一的持久化对象，包含所有历史预测、模型以及保存/加载方法。
有多种内置的预测模型直接继承自 IFreqaiModel。这些模型均可完全访问 IFreqaiModel 中的所有方法，因此可以随意重写其中任何函数。然而，高级用户通常只会重写 fit()、train()、predict() 和 data_cleaning_train/predict() 方法。
数据处理¶
FreqAI 旨在以一种简化后处理并通过对自动数据重载增强抗崩溃能力的方式来组织模型文件、预测数据和元数据。这些数据保存在文件结构 user_data_dir/models/ 中，该目录包含与训练和回测相关的所有数据。FreqaiDataKitchen() 高度依赖此文件结构来进行正确的训练和推理，因此不应手动修改。
文件结构¶
文件结构根据配置中设置的模型 identifier 自动生成。以下结构展示了用于后期处理的数据存储位置：
| 结构 | 描述 |
|---|---|
config_*.json |
模型特定配置文件的副本。 |
historic_predictions.pkl |
一个文件，包含在 identifier 模型生命周期内实盘运行期间生成的所有历史预测。historic_predictions.pkl 用于在崩溃或配置更改后重新加载模型。始终保留一个备份文件，以防主文件损坏。FreqAI 自动检测损坏情况，并用备份文件替换损坏的文件。 |
pair_dictionary.json |
一个文件，包含训练队列以及最近一次训练模型的磁盘位置。 |
sub-train-*_TIMESTAMP |
一个文件夹，包含与单个模型相关联的所有文件，例如： |
*_metadata.json - 模型的元数据，例如归一化的最大/最小值、预期的训练特征列表等。 |
|
*_model.* - 保存到磁盘的模型文件，用于从崩溃中恢复。可能是 joblib（典型的提升类库）、zip（stable_baselines）、hd5（keras 类型）等格式。 |
|
*_pca_object.pkl - 主成分分析（PCA） 变换对象（如果配置中设置了 principal_component_analysis: True），用于转换未见过的预测特征。 |
|
*_svm_model.pkl - 支持向量机（SVM） 模型（如果配置中设置了 use_SVM_to_remove_outliers: True），用于检测未见过的预测特征中的异常值。 |
|
*_trained_df.pkl - 包含训练 identifier 模型所用全部训练特征的数据框。该文件用于计算差异性指数（DI），也可用于后续处理。 |
|
*_trained_dates.df.pkl - 与 trained_df.pkl 对应的日期信息，对后续处理很有帮助。 |
示例文件结构如下所示：
├── models
│ └── unique-id
│ ├── config_freqai.example.json
│ ├── historic_predictions.backup.pkl
│ ├── historic_predictions.pkl
│ ├── pair_dictionary.json
│ ├── sub-train-1INCH_1662821319
│ │ ├── cb_1inch_1662821319_metadata.json
│ │ ├── cb_1inch_1662821319_model.joblib
│ │ ├── cb_1inch_1662821319_pca_object.pkl
│ │ ├── cb_1inch_1662821319_svm_model.joblib
│ │ ├── cb_1inch_1662821319_trained_dates_df.pkl
│ │ └── cb_1inch_1662821319_trained_df.pkl
│ ├── sub-train-1INCH_1662821371
│ │ ├── cb_1inch_1662821371_metadata.json
│ │ ├── cb_1inch_1662821371_model.joblib
│ │ ├── cb_1inch_1662821371_pca_object.pkl
│ │ ├── cb_1inch_1662821371_svm_model.joblib
│ │ ├── cb_1inch_1662821371_trained_dates_df.pkl
│ │ └── cb_1inch_1662821371_trained_df.pkl
│ ├── sub-train-ADA_1662821344
│ │ ├── cb_ada_1662821344_metadata.json
│ │ ├── cb_ada_1662821344_model.joblib
│ │ ├── cb_ada_1662821344_pca_object.pkl
│ │ ├── cb_ada_1662821344_svm_model.joblib
│ │ ├── cb_ada_1662821344_trained_dates_df.pkl
│ │ └── cb_ada_1662821344_trained_df.pkl
│ └── sub-train-ADA_1662821399
│ ├── cb_ada_1662821399_metadata.json
│ ├── cb_ada_1662821399_model.joblib
│ ├── cb_ada_1662821399_pca_object.pkl
│ ├── cb_ada_1662821399_svm_model.joblib
│ ├── cb_ada_1662821399_trained_dates_df.pkl
│ └── cb_ada_1662821399_trained_df.pkl