Strasmore Research
Matuto Matt ConnorNi Matt Connor

Paano I-verify ang AI Trading Track Record

Alamin ang anim na rekord na kailangan para ma-verify ang public AI trading track record, at bakit walang patunay ang isang live quarter lang ng resulta.

Ang track record ng AI trading ay verifiable kapag kayang buuin muli ng isang estranghero mula sa mga rekord na umiiral na bago mangyari ang mga resulta. Napakakaunti ng mga naipo-publish online ang nakapapasa sa pamantayang ito. Narito ang checklist na maaaring gamitin ng mambabasa sa loob ng humigit-kumulang two minutes, gamit ang market data para sa apat na item: benchmark, timestamps, trading costs, at haba ng sample.

Ano ang nagpapaverifiable sa track record ng AI trading?

Anim na katangian. Ang bawat isa ay maaaring hanapin at hindi nakabatay sa pansariling pagpapasya.

  1. Mga entry na nai-publish bago malaman ang resulta. Kailangang nasa lugar ang timestamp na hindi maaaring baguhin ng author, gaya ng commit na na-push noong panahong iyon o broker statement. Ang file na naglilista ng mga nakaraang trade ay pahayag tungkol sa nakaraan, hindi rekord ng mismong mga ito.
  2. Isang benchmark na pinangalanan sa simula at hindi kailanman binago. Walang saysay ang “naungusan ang merkado” hangga’t hindi nakatali ang paghahambing sa isang partikular na fund sa isang partikular na panahon.
  3. Kasama ang mga gastos sa naiulat na numero. Kabilang dito ang commissions, regulatory fees, borrow sa short positions, at spread na binayaran sa entry at exit.
  4. Isang runbook na may version sa halip na ine-edit. Kapag public repository ang sumusuporta sa rekord, dapat tumuro ang kapaki-pakinabang na link sa isang tagged release o commit hash. Ang link sa default branch ay nagpapakita ng strategy ngayon, na maaaring iba sa strategy na nag-trade noong March.
  5. Bawat position at bawat account, kabilang ang mga natalo. Kung isa lamang sa limang account na tumatakbo ang inilathala, selection iyon.
  6. Sapat ang starting capital para maging kapani-paniwala ang mga fill. Sa notional na ilang daang dolyar, maaaring “mahawa­kan” ang positions sa presyong hindi kayang punan ng tunay na order.

Ang rekord na kulang sa isa sa mga ito ay hindi awtomatikong dishonest. Unverifiable lamang ito, na mas karaniwan at kapwa walang silbi sa mambabasa.

Bakit kailangang pangalanan nang maaga ang benchmark

Ang benchmark na pinipili matapos lumabas ang resulta ang pinakamurang edge sa finance. Anim na malalawak na US index funds, sa parehong six months ng 2026, price change lamang:

QueryAnim na US index funds, magkaparehong window: price return, Enero 2 hanggang Hunyo 30, 2026
Ang eksaktong SQL sa likod ng bawat numero
WITH rets AS (
    SELECT ticker,
           round(100 * (toFloat64(argMax(close, window_start))
                        / toFloat64(argMin(close, window_start)) - 1), 2) AS return_pct
    FROM global_markets.delayed_stocks_minute_aggs
    WHERE ticker IN ('SPY', 'QQQ', 'IWM', 'DIA', 'RSP', 'MDY')
      AND toDate(toTimeZone(window_start, 'America/New_York')) >= toDate('2026-01-02')
      AND toDate(toTimeZone(window_start, 'America/New_York')) <= toDate('2026-06-30')
      AND (toHour(toTimeZone(window_start, 'America/New_York')) * 60
           + toMinute(toTimeZone(window_start, 'America/New_York'))) BETWEEN 570 AND 959
    GROUP BY ticker
)
SELECT ticker,
       return_pct,
       round(return_pct - min(return_pct) OVER (), 2) AS points_above_worst
FROM rets
ORDER BY return_pct DESC
Run this yourself

Nagbalik ang IWM ng 21.12% at nagbalik ang DIA ng 8.42%, kaya may pagitan na 12.7 points sa pinakamataas at pinakamababang resulta ng 6 sa magkaparehong window. Ang pagpili kung alin ang gagamiting paghahambingan matapos magsara ang window ay katumbas ng buong agwat na iyon, at walang kailangang gawin ang strategy para makuha ito. Price returns ang mga ito bago ang dividends; isa pang measurement rule na dapat sabihin sa simula (kung paano sinusukat ang monthly returns ang tumatalakay sa total-return arithmetic).

Bakit ang entry timestamp ang buong batayan ng claim

Ang entry na lumilitaw matapos ang galaw ng merkado ay paglalarawan lamang ng chart. Sapat ang lawak ng galaw sa loob ng isang session para matabunan ng pagkakaiba sa pagitan ng “nai-post noong 09:35” at “nai-post noong 15:55” ang karamihan ng inaangking edge. Narito ang lawak na iyon, sinusukat mula sa unang print ng bawat session, sa unang kalahati ng 2026:

QueryGaano kalayo ang galaw ng SPY mula sa opening print nito, ayon sa kalahating oras ng ET, unang kalahati ng 2026
Ang eksaktong SQL sa likod ng bawat numero
WITH minute_px AS (
    SELECT toDate(toTimeZone(window_start, 'America/New_York')) AS session_date,
           toTimeZone(window_start, 'America/New_York') AS et,
           toFloat64(close) AS px
    FROM global_markets.delayed_stocks_minute_aggs
    WHERE ticker = 'SPY'
      AND toDate(toTimeZone(window_start, 'America/New_York')) >= toDate('2026-01-02')
      AND toDate(toTimeZone(window_start, 'America/New_York')) <= toDate('2026-06-30')
      AND (toHour(toTimeZone(window_start, 'America/New_York')) * 60
           + toMinute(toTimeZone(window_start, 'America/New_York'))) BETWEEN 570 AND 959
),
opens AS (
    SELECT session_date, argMin(px, et) AS open_px
    FROM minute_px
    GROUP BY session_date
),
buckets AS (
    SELECT session_date,
           toStartOfInterval(et, INTERVAL 30 MINUTE) AS bucket,
           argMax(px, et) AS bucket_px
    FROM minute_px
    GROUP BY session_date, bucket
)
SELECT formatDateTime(b.bucket, '%H:%i') AS et_time,
       count() AS session_count,
       round(quantileDeterministic(0.5)(abs(100 * (b.bucket_px / o.open_px - 1)),
                                        cityHash64(b.session_date)), 3) AS median_abs_move_pct
FROM buckets AS b
INNER JOIN opens AS o ON b.session_date = o.session_date
GROUP BY et_time
ORDER BY et_time
Run this yourself

Sa 09:30 ET bucket, nagtapos ang median session nang 0.216% ang layo mula sa opening print nito. Sa 15:30 bucket, 0.415% ang median distance. Ang anumang alam ng isang agent sa open ay hindi kasama ang halos buong galaw na iyon. Ang commit history o dated public feed ang nagdadala ng patunay ng pagkakasunod-sunod (AI daily market research reports ay nakasalalay din sa parehong katangian). Walang ganoong patunay ang screenshot ng equity curve.

Ano ang kailangang kasama sa mga numero

Ang gross returns ay naglalarawan ng portfolio na walang aktuwal na makahahawak. Sa bawat entry at exit, kailangang tawirin ang bid-ask spread, ang pagitan ng pinakamagandang presyong pambibili at pinakamagandang presyong pampagbili. Hindi pare-pareho ang agwat na ito sa bawat pangalan:

QueryMedian quoted spread at gastos ng $25,000 round trip: oras ng tanghali, Hulyo 15, 2026
Ang eksaktong SQL sa likod ng bawat numero
SELECT ticker,
       round(quantileDeterministic(0.5)(20000 * (toFloat64(ask_price) - toFloat64(bid_price))
                                        / (toFloat64(ask_price) + toFloat64(bid_price)),
                                        cityHash64(sip_timestamp)), 2) AS median_spread_bps,
       round(25000 * quantileDeterministic(0.5)(2 * (toFloat64(ask_price) - toFloat64(bid_price))
                                                / (toFloat64(ask_price) + toFloat64(bid_price)),
                                                cityHash64(sip_timestamp)), 2) AS round_trip_cost_per_25k_usd
FROM global_markets.cache_stocks_quotes
WHERE ticker IN ('SPY', 'AAPL', 'MSFT', 'NVDA', 'KO', 'MSTR')
  AND sip_timestamp >= toDateTime('2026-07-15 15:00:00')
  AND sip_timestamp < toDateTime('2026-07-15 16:00:00')
  AND bid_price > 1
  AND ask_price > bid_price
GROUP BY ticker
ORDER BY median_spread_bps DESC
Run this yourself

Sa isang midday hour na iyon, ang median quoted spread ay 10.08 basis points sa MSTR kumpara sa 0.27 sa SPY. Ang basis point ay one hundredth ng percentage point. Sa $25,000 position, ang pagtawid sa spread nang isang beses sa bawat direksiyon ay nagkakahalaga ng $25.2 sa pinakamalawak na dulo ng listahang ito at $0.66 sa pinakamakitid na dulo, bago ang commissions. Ang portfolio na ganap na nagtu-turnover nang isang beses bawat linggo ay nagbabayad ng toll na iyon nang humigit-kumulang fifty times bawat taon. Ang rekord na nag-aalis nito ay tahimik na ibinibilang sa sarili nito ang mga dolyar na iyon (kung magkano ang gastos sa pag-trade ng stock ang naglalahad sa natitirang bill).

Gaano katagal bago maging makabuluhan ang live results?

Ang isang quarter ng live trading ay isang draw lamang mula sa malawak na distribution, at nasusukat ang lawak nito. Lahat ng overlapping window na may partikular na haba mula January 2015 para sa SPY, ang pinakamalaking S&P 500 tracking fund, ay inayos ayon sa percentiles:

QueryMga resulta ng holding period ng SPY mula 2015: 5th percentile, median, 95th percentile
Ang eksaktong SQL sa likod ng bawat numero
WITH daily AS (
    SELECT toDate(toTimeZone(window_start, 'America/New_York')) AS session_date,
           toFloat64(argMax(close, window_start)) AS close_px
    FROM global_markets.delayed_stocks_minute_aggs
    WHERE ticker = 'SPY'
      AND toDate(toTimeZone(window_start, 'America/New_York')) >= toDate('2015-01-02')
      AND toDate(toTimeZone(window_start, 'America/New_York')) <= toDate('2026-06-30')
      AND (toHour(toTimeZone(window_start, 'America/New_York')) * 60
           + toMinute(toTimeZone(window_start, 'America/New_York'))) BETWEEN 570 AND 959
    GROUP BY session_date
),
series AS (
    SELECT groupArray(close_px) AS px
    FROM (SELECT close_px FROM daily ORDER BY session_date)
),
horizons AS (
    SELECT arrayJoin([21, 63, 126, 252]) AS sessions, px
    FROM series
),
windows AS (
    SELECT sessions,
           arrayJoin(arrayMap(i -> (i, 100 * (px[i + sessions] / px[i] - 1)),
                              range(1, length(px) - sessions + 1))) AS w
    FROM horizons
),
measured AS (
    SELECT sessions,
           w.1 AS window_index,
           w.2 AS window_return_pct
    FROM windows
)
SELECT multiIf(sessions = 21, '1 month',
               sessions = 63, '3 months',
               sessions = 126, '6 months',
               '12 months') AS holding_period,
       count() AS window_count,
       round(quantileDeterministic(0.05)(window_return_pct,
                                         cityHash64(window_index * 1000 + sessions)), 1) AS p05_return_pct,
       round(quantileDeterministic(0.50)(window_return_pct,
                                         cityHash64(window_index * 1000 + sessions)), 1) AS median_return_pct,
       round(quantileDeterministic(0.95)(window_return_pct,
                                         cityHash64(window_index * 1000 + sessions)), 1) AS p95_return_pct,
       round(quantileDeterministic(0.95)(window_return_pct,
                                         cityHash64(window_index * 1000 + sessions))
             - quantileDeterministic(0.05)(window_return_pct,
                                           cityHash64(window_index * 1000 + sessions)), 1) AS spread_pct,
       round(stddevSamp(window_return_pct), 1) AS stdev_pct
FROM measured
GROUP BY sessions
ORDER BY sessions
Run this yourself

Sa 2826 overlapping three-month windows, ang median outcome mula sa simpleng paghawak at walang paggawa ng anuman ay 3.9%, habang -8.8% ang 5th percentile at 12.2% ang 95th percentile. 21.1 points ang lawak ng band na ito. Ang anumang single quarterly result sa loob ng band na iyon ay tugma sa pagmamay-ari ng index at pagpunta sa bakasyon. Maglunsad ng twenty agents, patakbuhin ang mga ito nang isang quarter, at ilathala ang pinakamaganda. Sa disenyo pa lamang, manggagaling ang ipinapakitang numero sa itaas ng band na tulad nito.

Walang palugit ang arithmetic ng sample length. Ang twelve-month outcomes sa parehong series ay may standard deviation na 13.6 points. Para maihiwalay ang tunay na edge sa noise, kailangan ng humigit-kumulang (2 × variation ÷ edge)² years ng live results. Sa ganoong antas ng variation, ang hypothetical na 3-point-a-year edge ay nangangailangan ng maraming dekada. Kahit ang 10-point edge ay nangangailangan ng years, hindi months. Overlapping ang mga window sa itaas, kaya ang 2826 ay bilang ng windows, hindi bilang ng independent samples.

Nalulutas ba ito ng $25,000 na tunay na pera?

Pinahuhusay ng tunay na pera ang ebidensiya sa isang partikular na paraan. Ang Paper trading ay nagfi-fill sa mga presyong hindi sinang-ayunan ng counterparty at walang order na nare-reject. Ang funded $25,000 account ay nagfi-fill laban sa live quotes at nagbabayad ng tunay na commissions. Nakasaad ang mga ito sa statements na maaaring i-audit ng third party. Sapat din ang laki ng positions para maging ordinaryo ang mga fill sa halip na kathang-isip.

Hindi nito binabago ang problema sa sample. Ang dalawampu't limang libong dolyar na itinrade sa loob ng four months ay isang draw pa rin mula sa distribution sa itaas. Maaari ring isara ang live account matapos ang drawdown at muling magbukas gamit ang panibagong rekord. Ginagawang tapat ng size ang mga fill. Panahon lamang ang gumagawang informative sa mga resulta.

Apat na failure mode na dapat makilala

  • Backtest na nakasuot ng damit ng track record. Ang simulated results mula sa nakaraang data ay mga hypothesis tungkol sa nakaraan. Ipinapakita ng Look-ahead bias kung paano nakakakuha ang simulation ng impormasyong hindi maaaring mayroon ang strategy noong panahong iyon. Ang pinakamalinaw na palatandaan ay equity curve na nagsisimula years bago isinulat ang code.
  • Ang survivor lamang ang nasa entablado. Ten agents ang inilunsad, ngunit isa lamang ang inilathala. Pinadadali ito ng Multi-agent AI trading systems nang hindi sinasadya, dahil ang framework na nagpapatakbo ng ten variants ang siya ring pumipili sa variant na sulit sulatan.
  • Ang restart. May drawdown, pause, bagong account, at curve na nagsisimula sa petsa ng restart. Ito ang tanong na lulutas sa isyu: ipakita ang equity curve mula sa unang dolyar ng unang account.
  • Ang binagong runbook. Na-edit ang prompts at position limits sa pagitan ng trade at writeup. Maaaring makagawa ng LLM-generated alpha factors nang libo-libo, kaya kailangang mai-publish ang selection rule bago ang selection. Kung hindi, magiging kuwento ang rekord tungkol sa mga factor na nagkataong gumana.

FAQ

Maaari bang ma-verify ang track record ng AI trading?

Oo, kapag nai-publish ang mga entry bago malaman ang kanilang outcomes, naitakda nang maaga ang benchmark, kasama sa mga numero ang costs, at ipinakita ang bawat account. Mechanical ang pagsusuri at tumatagal lamang ng ilang minutes. Karamihan ng nai-publish na rekord ay bumabagsak sa unang item.

Gaano katagal kailangang tumakbo ang live AI trading record?

Mas mahaba kaysa sa halos lahat ng nai-publish na rekord. Ang twelve-month outcomes para sa index ay may standard deviation na 13.6 points sa mga window na sinukat dito. Kaya ang paghihiwalay ng modest edge sa swerte, gamit ang conventional confidence, ay nangangailangan ng years at para sa maliit na edge ay decades.

Sapat ba ang $25,000 para maging makabuluhan ang results ng AI portfolio?

Sapat ito para gawing tunay ang mga fill: live quotes, tunay na commissions, at auditable statements. Hindi ito sapat para gawing statistically meaningful ang ilang months ng results. Ang usapin dito ay elapsed time, hindi account size.

Ano ang pagkakaiba ng backtest at track record?

Ina-apply ng backtest ang mga rule sa data na mayroon na. Ang track record ay serye ng mga desisyong nai-publish bago lumabas ang kanilang outcomes. Ang ikalawa lamang ang maaaring mapasinungalingan ng mga susunod na pangyayari, kaya ito nagiging ebidensiya.

Bakit napakahalaga ng pagpili ng benchmark?

Sa unang kalahati ng 2026, nagtapos ang anim na index funds sa itaas nang may pagitan na 12.7 points batay lamang sa presyo. Ang benchmark na pinili matapos magsara ang window ay maaaring magbigay ng buong margin na iyon nang walang kinalaman ang strategy.


Ang bawat numero sa page na ito ay stored query sa market data, at nasa ilalim ng bawat panel ang SQL. Ituro ang parehong mga window sa sarili mong dates sa Strasmore terminal.

#ai agents#track record#live trading#backtesting#quant