随着人工智能(AI)和机器学习(ML)算法在复杂决策中的帮助越来越准确,金融交易领域也开始应用这些算法来提高效率和客观性。然而,由于算法是同时处理数据的结果,并且机器将每个对象单独处理,研究者指出算法决策的准确性往往会降低。最重要的是,将人类偏好和管理员偏好复制到算法代码中,可能会导致算法做出有偏见的决策。
在统计学中,偏见是指估计量的期望值与其估计值之间的差异。简而言之,导致结果偏离预期效果的影响被称为算法偏见。人类是偏见的原因,而不是AI算法。算法并不做决策;人类为算法提供处理数据,算法基于数据分析做出决策。例如,一个算法已经用管理员过去几年交易的历史数据进行了回测。现在,负责交易的人为特定交易创建了例外。假设,在十次中有五次卖得晚。回测后,算法无疑会注意到这种影响,在将来的交易中,它也会晚卖相同或类似的交易类型。这就是算法中偏见的产生方式。
偏见可以以多种方式发生在算法中,并且可以出现在AI处理的任何阶段。了解偏见的范围,即结果因偏好而偏离的程度,是至关重要的。偏见主要发生在特定群体或数据表示或代表性不足时,这主要发生在多个数据集合并使用时。在众多偏见类型中,将讨论一些标准偏见类型及其解决方案:
这种偏见发生在样本数据的误用上。在回测和挖掘数据时,将随机事件视为潜在机会并赋予其重要性,被称为数据挖掘偏见。这种事件可能在交易市场中偶然发生,或因不可预见的事件而发生。为了找到一个有益的模式,反复钻探同一数据会增加这种偏见。算法经常考虑类似的观点,期望重复类似的事件,并且在将来的事件中以相同的方式反应可能会导致负面结果。
可以进行样本外测试以确定数据挖掘偏见。如果结果与样本内测试不同,就知道偏见的曲线。但是,请确保两个样本都没有经济意义。否则,结果可能相似。同样,如果正在寻找更平滑、更高效的回测,那么可以使用MQL5 Cloud网络进行多线程测试、策略优化和使用不同的数据集和各种参数进行测试。
// Python代码示例
import pandas as pd
import urllib
url = 'https://raw.githubusercontent.com/leosmigel/... analyzingalpha/master/2019-10-09-look-ahead-bias/unemployment.csv'
with urllib.request.urlopen(url) as f:
unemployment = pd.read_csv(f, parse_dates=True, index_col='observation_date')
print(unemployment.head())
也称为窥视偏见,这是一种回测偏见,当模拟依赖于实际交易发生时不可用或未知的数据信息时发生。结果,偏见导致从回测中得到不准确的结果。从根本上说,这就像根据一天不太可能的收盘价执行日内交易。尽管回测经常提供接近实际结果的结果,但不是实际结果。此外,在回测算法时,前瞻性偏见不太可能被检测到。
对开发的模型和策略的有效性进行全面审查是避免前瞻性偏见的最有效方法。此外,还可以使用双时态建模,它以两个不同的时间线记录数据。
优化偏见包括定期调整和引入稳定参数,直到回测使数据集变得有吸引力。然而,当实施时,策略的性能可能会非常不同。
由于算法策略中用于保持入场/出场、回溯/平均周期或测量波动率的不同参数,因此很难消除。然而,保持参数最小化并增加数据集的数量可以最小化偏见。运行敏感性分析以探索性能表面是明智的。如果它是平滑的,很好,如果是跳跃的,需要重新调整参数。
如果用于训练模型的数据是不同样本大小的,结果就会倾斜。这是一种典型的选择偏见,通常在回测大量股票的投资策略时发生。假设用十年的股票数据测试算法。现在,可以想象一些股票在不久后停止交易或离开市场。因此,数据集没有十年的完整信息,造成缺口。此外,如果移除短期股票,只计算十年信息的交易,偏见缺口仍然存在。大多数交易指数都面临生存者算法,因为它在基金下跌时停止向指数报告性能和分析。
解决生存者偏见的直接解决方案是找到包括退市股票实体的数据集。然而,它们可能昂贵,并且可能由大型金融公司收集和使用。然而,倾向于使用最近的数据可以帮助缓解生存者数据。如果想避免交易算法中的生存者偏见,可以操作MetaTrader 5平台,用于外汇和交易所市场。它具有引人注目的算法交易功能,允许创建自己的算法,回测它,并进行无偏见的交易。
俗话说,预防胜于治疗。因此,遵循一些程序以获得微不足道的偏见损害,而不是在交易市场中与偏见算法苦苦挣扎,并绝望地寻找解决方案,这是明智的。让讨论一些避免交易AI算法偏见的实用提示:
避免偏见的首要和最重要的规则是为交易算法使用简单和公正的数据集。如果使用足够管理和分组的干净数据,AI的学习将是整洁和无偏见的。此外,如果对特定类别或组的数据不足,请确保平衡数据;否则,可能会导致排除偏见。