コーパススイープで生き残ったもの — 4,595 件のうち 2 件

Alpha Desk が公開しているのは自分たちで書いた 20 本のスクリプトで、これには当然の反論がある。選んだのは自分たちだ、というものだ。だからもう一つの試みがある。性質はまったく別で、見つけられる限りの公開 Pine script を収集し、母集団ごと計測して、除外件数を結果の隣に並べて公開する。デスクは 18 の市場×時間軸セルにまたがる合成スコアでスクリプトを採点する。以下のスイープは日足で市場ごとに個別に走らせ、4 つのガードにかける。問いが違い、ルールブックも違う。一つの数字を二通りに見たものではない。

スナップショットには 12,424 本のスクリプトが入っている。AST パスがそれを実際の挙動で仕分ける。3,797 本は strategy() を宣言するか strategy.* で注文を出す。4,058 本は alertcondition、alert()、あるいは plot のマーカーで離散的なシグナルを出す。2,787 本は系列を plot するだけ。1,470 本は視覚化ないしユーティリティのツールで、312 本は library だ。こちらが勝手に作った売買ルールで包まずにバックテストできるのは最初のグループだけであり、本稿が扱うのはそのグループである。ほかのトラックは別の方法で計測しており、結果は /corpus にある。

3,797 本はそれぞれ、日足で 6 市場 — BTCUSD, ETHUSD, SPX500, QQQ, GOLD, EURUSD — に対して走った。スクリプト×市場で 22,782 件の計測になる。この単位は重要で、以下はすべてこの単位で数える。あるスクリプトがある市場では対象外でも、別の市場では問題なく計測できる。スクリプト単位で数えれば、データが支えていない判断を押しつけることになる。

適格性の判定で母集団の大半が落ちる。22,782 件のうち、ガードが読める結果になるのは 5,478 件。残る 17,304 件がどのバケットに落ちたかは /corpus に全件公開してある。さらに、ほぼ同一のアップロードをリターン相関 0.99 以上でまとめると、母集団は 4,595 件になる。公開コーパスでは重複が常態であり、残したままにすれば以降の数字はすべて水増しされる。

残った分に 4 つのガードをかける。いずれも実行前に固定してある。履歴の末尾 30%、つまり作者がフィットさせていない期間で Sharpe が正であること — 4,595 件のうち 3,030 件が残る。損益分岐コストが 20 bp 以上、現実的な往復コストのおよそ 2 倍であること — 1,990 件が残る。同一期間で buy-and-hold を上回ること — 626 件が残る。deflated Sharpe が 0.95 以上、すなわちその結果が単に多数の試行のうち最良のものにすぎないのではないかを問うガード — 4 件が残る。

4 つ同時に通ったのは 2 件、どちらも ETHUSD だ。ただし約定が検証済みとタグされているものはない。約定の順序は、日足では確認できないバー内の値動きに依存する。だからその 2 件もラベルであって、発見ではない。市場ごとのランキングは 50 位まで公開している。そのうち 2 つ以上のリストに現れるスクリプトが 63 本、4 つ以上に現れるものが 4 本。市場をまたぐ結果として、このスイープが出せるのはここまでだ。

以上は公開 Pine が無価値だという話ではない。deflated Sharpe のテスト、コスト下限、out-of-sample 分割、buy-and-hold ベンチマークを同時に通ること — その組み合わせがそれだけ稀だという話だ。個々のスクリプトについての正しい事前確率は「通らない」である。デスクのカタログを逆方向から読んでも同じものが出てくる。監査済み 20 本、Verified は 0 本、Conditional が 16 本、No alpha が 4 本、alpha スコアは 23 から 49 の間、20 本のうち 17 本が buy-and-hold に負けている。