Brier Score: అంచనాకు గ్రేడ్ ఎలా ఇవ్వాలి

Brier score ఒక probability forecastను వాస్తవంగా ఏమి జరిగిందో దానితో పోల్చి అంచనా వేస్తుంది. మీరు పేర్కొన్న probability నుంచి outcomeను తీసివేయాలి. ఈ outcomeలో సంఘటన జరిగితే 1, జరగకపోతే 0గా తీసుకోవాలి. వచ్చిన తేడాను square చేసి, మీరు చేసిన అన్ని forecastsలోని ఆ squares సగటును లెక్కించాలి. స్కోర్ తక్కువగా ఉంటే మంచిది. 0 అంటే పరిపూర్ణ రికార్డు. ప్రతిదానికీ “50%” అని చెప్పినప్పుడు వచ్చే స్కోర్ 0.25.

Brier score అంటే ఏమిటి?

అంచనా అనేది ఒక సంభావ్యతకు సంబంధించిన ప్రకటన. ఒక్క సంభావ్యతను మాత్రమే చూసి అది సరైనదో తప్పో చెప్పలేం. మీరు ఏదో సంఘటన జరిగే అవకాశం 30% అని చెప్పారు, అది జరిగిపోయింది. మీరు తప్పు చెప్పారా? ఇంకా చెప్పలేం. 1950లో వాతావరణ అంచనాదారుల కోసం రాస్తూ Glenn Brier ఈ సమస్యను పరిష్కరించడానికి ప్రతి ఒక్క అంచనాకు విడిగా మార్కులు వేయడాన్ని నిరాకరించారు. మొత్తం అంచనాల రికార్డును ఒకేసారి స్కోర్ చేయాలి.

ఇక్కడ పది అంచనాలతో రూపొందించిన ఒక ఉదాహరణ రికార్డు ఉంది. ఈ సంఖ్యలు ఏ మార్కెట్‌ నుంచీ తీసుకున్నవి కావు. లెక్కింపు ఎలా జరుగుతుందో చూపించడానికి ఇవి కల్పించబడ్డాయి.

• 90% అని అంచనా వేశారు, సంఘటన జరిగింది. చదరపు తేడా 0.01.
• 80% అని అంచనా వేశారు, సంఘటన జరిగింది. 0.04.
• 70% అని అంచనా వేశారు, సంఘటన జరగలేదు. 0.49.
• 60% అని అంచనా వేశారు, సంఘటన జరిగింది. 0.16.
• 50% అని అంచనా వేశారు, సంఘటన జరగలేదు. 0.25.
• 40% అని అంచనా వేశారు, సంఘటన జరగలేదు. 0.16.
• 30% అని అంచనా వేశారు, సంఘటన జరిగింది. 0.49.
• 20% అని అంచనా వేశారు, సంఘటన జరగలేదు. 0.04.
• 10% అని అంచనా వేశారు, సంఘటన జరగలేదు. 0.01.
• 95% అని అంచనా వేశారు, సంఘటన జరిగింది. 0.0025.

పది చదరపు తేడాల మొత్తం 1.6525. దాన్ని పదితో భాగిస్తే Brier score 0.165 వస్తుంది. ఇదే మొత్తం లెక్కింపు. ఏ Mac లేదా Linux మెషీన్‌లోనైనా ముందుగానే ఉన్న python3లో ఇది నడుస్తుంది. ఏదీ ఇన్‌స్టాల్ చేయాల్సిన అవసరం లేదు; లైబ్రరీలు కూడా అవసరం లేదు.

• rows = [(0.90, 1), (0.80, 1), (0.70, 0), (0.60, 1), (0.50, 0), (0.40, 0), (0.30, 1), (0.20, 0), (0.10, 0), (0.95, 1)]
• brier = sum((p - o) * (p - o) for p, o in rows) / len(rows)
• flat = sum((0.5 - o) * (0.5 - o) for _, o in rows) / len(rows)
• print(round(brier, 3), round(flat, 3)) prints 0.165 0.25

0.25ను అధిగమించాల్సిన సంఖ్యగా ఎందుకు పరిగణించాలి

ప్రతి విషయంపై 50% అని చెప్పండి. అప్పుడు ఫలితం ఏదైనా, ప్రతి squared miss విలువ 0.25గానే ఉంటుంది. అవును లేదా కాదు అనే ప్రశ్నల ఏ సమూహానికైనా ఈ స్థిరమైన 0.25 సమాచార రహిత benchmark. Skill score దీన్ని ఒకే సంఖ్యగా మారుస్తుంది: 1 నుంచి, మీ scoreను benchmark scoreతో భాగించిన ఫలితాన్ని తీసివేయాలి. ఊహాజనిత logలోని 0.165 విలువకు skill score 0.34 వస్తుంది.

ఒక ముఖ్యమైన మినహాయింపు తప్పు scorekeepingను చాలావరకు బయటపెడుతుంది. మీరు అంచనా వేస్తున్న సంఘటనలు కేవలం 10% సందర్భాల్లోనే జరుగుతుంటే, ప్రతిసారీ స్థిరంగా 10% అని చెప్పినా score 0.09 వస్తుంది. అయినా వ్యక్తిగత ప్రశ్నల గురించి మీకు ఎలాంటి సమాచారం ఉండకపోవచ్చు. అసమతుల్యమైన ప్రశ్నల సమూహంలో 0.25 కంటే తక్కువ score రావడం skillకు సాక్ష్యం కాదు. మీరు వాస్తవంగా సమాధానమిచ్చిన ప్రశ్నల base rateనే నిజాయితీగల benchmarkగా ఉపయోగించాలి.

సరైన అంచనా మరియు నమ్మక స్థాయిని కలిపే కొలత

మీరు 70% సంభావ్యత ఉందని చెప్పిన అంశాల్లో దాదాపు 70% నిజంగా జరిగితే, దాన్ని సరైన అంచనా అంటారు. గణాంక శాస్త్రవేత్తలు resolution అని పిలిచే నమ్మక స్థాయి అంటే, ఏదైనా విషయం తెలిసినప్పుడు మీరు ప్రాథమిక రేటు నుంచి ఎంత దూరం వెళ్లడానికి సిద్ధంగా ఉన్నారనేది. ప్రతి ప్రశ్నకు 50% అని చెప్పే అంచనాదారు పూర్తిగా సరైన అంచనా వేయవచ్చు. కానీ అతని అంచనాలు పూర్తిగా పనికిరావు. Brier score ఈ రెండు లక్షణాలకు ఒకేసారి విలువ కేటాయిస్తుంది: సరైన అంచనా లేకపోతే score పెరుగుతుంది, సముచితమైన నమ్మక స్థాయి ఉంటే score తగ్గుతుంది.

తయారు చేసిన లాగ్‌ను పేర్కొన్న సంభావ్యత ఆధారంగా వర్గాలుగా విభజిస్తే, calibration check ఎలా ఉంటుందో చూడవచ్చు. Pythonలో ప్రతి వర్గానికి ఒక లైన్ ఉంటుంది, hits = [o for p, o in rows if p >= 0.8], ఆ తర్వాత hits సగటును లెక్కించాలి.

• 10% నుంచి 30% వరకు పేర్కొన్న అంచనాలు, సగటు 20%: 3లో 1 జరిగింది, 33%.
• 40% నుంచి 50% వరకు పేర్కొన్న అంచనాలు, సగటు 45%: 2లో ఏదీ జరగలేదు, 0%.
• 60% నుంచి 70% వరకు పేర్కొన్న అంచనాలు, సగటు 65%: 2లో 1 జరిగింది, 50%.
• 80% నుంచి 95% వరకు పేర్కొన్న అంచనాలు, సగటు 88%: 3లో 3 జరిగాయి, 100%.

ఆ వర్గాల ఆధారంగా ఏదైనా నిర్ధారించడానికి పది అంచనాలు సరిపోవు. ప్రతి వర్గానికి వందల కొద్దీ తుది ఫలితాలు తెలిసిన ప్రశ్నలు అవసరం. ఈ పేజీలో మిగిలిన భాగం లక్షలాది అంచనాలు ఉన్న లాగ్‌ను ఉపయోగిస్తుంది.

మార్కెట్ స్వంత అంచనాకు గ్రేడ్ ఇవ్వడం

లిస్టెడ్ ప్రతి optionలో ప్రకటించిన probabilityలా పనిచేసే ఒక సంఖ్య ఉంటుంది. Underlying షేరు ధర ఒక డాలర్ మారినప్పుడు option ధర ఎంత మారుతుందో Delta కొలుస్తుంది. గడువు ముగిసే సమయానికి in the moneyగా ముగిసే (అంటే కొంత విలువ ఉండే) లేదా పూర్తిగా విలువ కోల్పోయే contractకు, Delta absolute value సాధారణంగా అది in the moneyగా ముగిసే మార్కెట్ implied probabilityకు దగ్గరగా ఉంటుంది. ఇది AAPL implied volatilityను నిర్ణయించే అదే volatility surface నుంచి వస్తుంది. ప్రతి contract గడువు ముగుస్తుంది. అందువల్ల ఈ అంచనాలన్నింటికీ ఫలితాల ఆధారంగా గ్రేడ్ లభిస్తుంది.

క్రింది ప్యానెల్‌లో, జనవరి 2025 నుంచి మే 2026 వరకు గడువు ముగియడానికి సుమారు ఒక నెల ముందు గమనించిన ప్రతి SPY optionను, ప్రకటించిన Delta ఆధారంగా సమూహాలుగా విభజించారు. ఆ తర్వాత ప్రతి contract ఎంత తరచుగా in the moneyగా ముగిసిందో లెక్కించారు.

WITH settle AS
(
    SELECT
        date                             AS settle_date,
        any(toFloat64(underlying_close)) AS settle_px
    FROM global_markets.options_greeks
    WHERE underlying_symbol = 'SPY'
      AND date >= '2025-01-01'
      AND date <  '2026-08-01'
    GROUP BY date
),
scored AS
(
    SELECT
        toUInt8(floor(abs(toFloat64(g.delta)) * 10))    AS bucket,
        abs(toFloat64(g.delta))                         AS stated,
        startsWith(lower(toString(g.option_type)), 'c') AS is_call,
        if(is_call,
           s.settle_px > toFloat64(g.strike_price),
           s.settle_px < toFloat64(g.strike_price))     AS finished_itm
    FROM global_markets.options_greeks AS g
    INNER JOIN settle AS s ON s.settle_date = g.expiration_date
    WHERE g.underlying_symbol = 'SPY'
      AND g.date >= '2025-01-01'
      AND g.date <  '2026-06-01'
      AND g.expiration_date <= '2026-07-31'
      AND g.days_to_expiry BETWEEN 28 AND 35
      AND g.iv_converged = 1
      AND g.volume > 0
      AND abs(g.delta) > 0.02
      AND abs(g.delta) < 0.98
)
SELECT
    concat(toString(bucket * 10), ' to ', toString(bucket * 10 + 10), '%') AS stated_bucket,
    round(avg(stated) * 100, 1)       AS stated_pct,
    round(avg(finished_itm) * 100, 1) AS finished_itm_pct,
    count()                           AS sample_size
FROM scored
GROUP BY bucket
ORDER BY bucket

రెండు శ్రేణులను పరస్పరం పోల్చి చూడండి. అతి తక్కువ సమూహంలో మార్కెట్ సగటున 5.2% probabilityను సూచించింది. ఆ contracts 3.7% సందర్భాల్లో in the moneyగా ముగిశాయి. అత్యధిక సమూహంలో సూచించిన probability 94%గా ఉండగా, 96.5% contracts in the moneyగా ముగిశాయి. మొత్తం 10 సమూహాల్లో వాస్తవంగా నమోదైన frequency, ప్రకటించిన probabilityకి సమీప స్థాయిలోనే ఉంది. Calibration table ఉద్దేశం ఇదే: forecaster చెప్పినదానికి, వాస్తవంగా జరిగినదానికి మధ్య ఉన్న తేడాను ఒకే సగటులో దాచకుండా, ప్రతి సమూహం వారీగా చూపించడం.

మార్కెట్ నాణెం విసరడాన్ని మించుతుందా?

ఇప్పుడు అసలు స్కోర్‌ను చూద్దాం. నిర్మాణం అదే. పలువురు సుపరిచిత పేర్లకు సంబంధించిన ప్రతి పేరు యొక్క Brier scoreను, అదే contractsపై లెక్కించిన స్థిరమైన 50% baseline పక్కన ఉంచాం.

WITH settle AS
(
    SELECT
        underlying_symbol                AS sym,
        date                             AS settle_date,
        any(toFloat64(underlying_close)) AS settle_px
    FROM global_markets.options_greeks
    WHERE underlying_symbol IN ('SPY', 'AAPL', 'MSFT', 'NVDA', 'KO', 'TSLA')
      AND date >= '2025-01-01'
      AND date <  '2026-08-01'
    GROUP BY sym, settle_date
),
scored AS
(
    SELECT
        g.underlying_symbol                             AS symbol,
        abs(toFloat64(g.delta))                         AS stated,
        startsWith(lower(toString(g.option_type)), 'c') AS is_call,
        if(is_call,
           s.settle_px > toFloat64(g.strike_price),
           s.settle_px < toFloat64(g.strike_price))     AS finished_itm
    FROM global_markets.options_greeks AS g
    INNER JOIN settle AS s
        ON s.sym = g.underlying_symbol AND s.settle_date = g.expiration_date
    WHERE g.underlying_symbol IN ('SPY', 'AAPL', 'MSFT', 'NVDA', 'KO', 'TSLA')
      AND g.date >= '2025-01-01'
      AND g.date <  '2026-06-01'
      AND g.expiration_date <= '2026-07-31'
      AND g.days_to_expiry BETWEEN 28 AND 35
      AND g.iv_converged = 1
      AND g.volume > 0
      AND abs(g.delta) > 0.02
      AND abs(g.delta) < 0.98
)
SELECT
    symbol,
    round(avg((stated - finished_itm) * (stated - finished_itm)), 4) AS market_brier,
    round(avg((0.5 - finished_itm) * (0.5 - finished_itm)), 4)       AS coin_flip_brier,
    formatReadableQuantity(count())                                  AS graded_contracts
FROM scored
GROUP BY symbol
ORDER BY market_brier

ఒకే contracts సమూహంపై, 28.54 thousand graded contractsలో NVDA score 0.1122 సాధించింది. అదే సమూహంలో flat baseline score 0.25. 6 పేర్లలో బలహీనమైనదైన SPY కూడా 0.1375 వద్ద నిలిచింది. ఇక్కడ options ఏదో మాయ చేయడం లేదు. Deep out-of-the-money contractsకు deltaలు 0.02కు సమీపంగా ఉంటాయి. అవి ఎక్కువగా worthlessగానే expire అవుతాయి. కాబట్టి ఈ అంచనా వేయడం సులభం. ఆ సులభత కూడా స్కోర్‌లో ప్రతిబింబిస్తుంది. Brier scoreను ఒంటరిగా ఉటంకిస్తే దాని అర్థం దాదాపు ఏమీ ఉండకపోవడానికి ఇదే ప్రధాన కారణం.

ఒకే అంచనాదారు వేర్వేరు ప్రశ్నలపై వేర్వేరు స్కోర్లు సాధిస్తారు

ఒకే పద్ధతిని, ప్రశ్నకు సమాధానం ఎంత కాలం తర్వాత తేలుతుందో దాని ఆధారంగా విభజిస్తే, ఆ పద్ధతి కింద స్కోరు మారుతూ ఉంటుంది.

WITH settle AS
(
    SELECT
        date                             AS settle_date,
        any(toFloat64(underlying_close)) AS settle_px
    FROM global_markets.options_greeks
    WHERE underlying_symbol = 'SPY'
      AND date >= '2025-01-01'
      AND date <  '2026-08-01'
    GROUP BY date
),
scored AS
(
    SELECT
        multiIf(g.days_to_expiry <=   7, 1,
                g.days_to_expiry <=  14, 2,
                g.days_to_expiry <=  30, 3,
                g.days_to_expiry <=  60, 4,
                g.days_to_expiry <= 120, 5,
                6)                                      AS horizon_rank,
        abs(toFloat64(g.delta))                         AS stated,
        startsWith(lower(toString(g.option_type)), 'c') AS is_call,
        if(is_call,
           s.settle_px > toFloat64(g.strike_price),
           s.settle_px < toFloat64(g.strike_price))     AS finished_itm
    FROM global_markets.options_greeks AS g
    INNER JOIN settle AS s ON s.settle_date = g.expiration_date
    WHERE g.underlying_symbol = 'SPY'
      AND g.date >= '2025-01-01'
      AND g.date <  '2026-06-01'
      AND g.expiration_date <= '2026-07-31'
      AND g.days_to_expiry BETWEEN 1 AND 250
      AND g.iv_converged = 1
      AND g.volume > 0
      AND abs(g.delta) > 0.02
      AND abs(g.delta) < 0.98
)
SELECT
    multiIf(horizon_rank = 1, '1 to 7 days',
            horizon_rank = 2, '8 to 14 days',
            horizon_rank = 3, '15 to 30 days',
            horizon_rank = 4, '31 to 60 days',
            horizon_rank = 5, '61 to 120 days',
            '121 to 250 days')                                       AS horizon,
    round(avg((stated - finished_itm) * (stated - finished_itm)), 4) AS market_brier,
    round(avg((0.5 - finished_itm) * (0.5 - finished_itm)), 4)       AS coin_flip_brier,
    count()                                                          AS sample_size
FROM scored
GROUP BY horizon_rank
ORDER BY horizon_rank

1 to 7 days వ్యవధి మిగిలి ఉన్న కాంట్రాక్టులపై మార్కెట్ delta 0.1084 స్కోర్ సాధించింది. 121 to 250 days వ్యవధి మిగిలి ఉన్న కాంట్రాక్టులపై అది 0.1218 స్కోర్ సాధించింది. అంచనాదారు ఒకరే, పద్ధతి అదే, కానీ ప్రశ్నల సమూహాలు రెండు వేరు. స్థిరమైన 50% ప్రాథమిక ప్రమాణం మొదటి వరుసలో 0.25 వద్ద, చివరి వరుసలో 0.25 వద్ద ఉంది. అందువల్ల ప్రతి కాలపరిమితిలోనూ మారని ఏకైక సూచన ఇదే. ఇద్దరు అంచనాదారులను పోల్చాలంటే, ఒకే కాలవ్యవధిలో ఒకే ప్రశ్నలపై వారి పనితీరును కొలవాలి. లేకపోతే నైపుణ్యాన్ని కాకుండా ప్రశ్నల క్లిష్టతను పోల్చినట్టవుతుంది.

సరైన స్కోరింగ్ నియమాలు ఎందుకు ముఖ్యమైనవి

Mean absolute error అంటే, మీరు ఇచ్చిన probabilityకి మరియు వాస్తవ ఫలితానికి మధ్య ఉన్న సాధారణ దూరం యొక్క సగటు. ఇది సహేతుకమైన ప్రత్యామ్నాయంగా కనిపించినా, అంచనాలను తప్పుగా ప్రోత్సహిస్తుంది. ఒక సంఘటన జరిగే అవకాశం 70% అని మీరు నిజంగా నమ్ముతున్నారని అనుకుందాం. 70% అని పేర్కొంటే, మీ expected absolute error 0.7 x 0.3 + 0.3 x 0.7 = 0.42 అవుతుంది. బదులుగా 100% అని పేర్కొంటే, అది 0.7 x 0 + 0.3 x 1 = 0.30కి తగ్గుతుంది. Absolute error ప్రకారం నిజాయితీగా ఇచ్చిన సంఖ్య మీకు నష్టమే. విశ్వాసాన్ని అతిగా చూపించినందుకు ప్రయోజనం కల్పించే metric, forecastingను సరిగ్గా కొలవదు.

Brier scoreలో ఇలాంటి లోపం లేదు. అవకాశం 70% అని నమ్మి, 70% అని పేర్కొంటే, మీ expected score 0.7 x 0.09 + 0.3 x 0.49 = 0.21 అవుతుంది. 100% అని పేర్కొంటే అది 0.30కి పెరుగుతుంది. 60% అని పేర్కొంటే 0.22కి పెరుగుతుంది. కనిష్ఠ స్కోరు మీరు నమ్ముతున్న సంఖ్యపైనే ఖచ్చితంగా ఉంటుంది. ఈ లక్షణం ఉన్న నియమాన్ని proper అంటారు. అందుకే forecasting tournamentsలో Brier score ప్రామాణికంగా మారింది.

Log score మరో సాధారణ proper rule. మీరు పేర్కొన్న probabilityలో, వాస్తవంగా జరిగిన outcomeకు సంబంధించిన probability యొక్క natural log తీసుకుని, దాని signను మార్చాలి. వాస్తవంగా జరిగే సంఘటనకు 1% అని పేర్కొంటే 4.6 ఖర్చవుతుంది. 0% అని పేర్కొంటే ఖర్చు infinity అవుతుంది. కల్పిత పది అంచనాల log scoreలో ఇది flat baselineకు చెందిన 0.693తో పోలిస్తే 0.483గా వస్తుంది. Brier score 0 నుంచి 1 మధ్యే ఉంటుంది. అందువల్ల అది scorecardగా మరింత సహజంగా కనిపిస్తుంది. Log scoreకు పై పరిమితి లేదు. అంచనాల అంచుల్లోనే ప్రమాదం ఎక్కువగా ఉండే gradingకు ఇది అనుకూలంగా ఉంటుంది.

ఈవెంట్ కాంట్రాక్టులకు దీని అర్థం

ఏదైనా సంఘటన జరిగితే $1, జరగకపోతే $0 చెల్లించే ఈవెంట్ కాంట్రాక్ట్, ఇప్పటికే ఒక సంభావ్యతను సూచించే ధర వద్ద ట్రేడవుతుంది. అరవై రెండు సెంట్లు అంటే spread, ఫీజులను తీసివేయకముందు 62% అంచనా. ఈవెంట్ కాంట్రాక్ట్ ధరలను సంభావ్యతలుగా ఎలా చూడాలి అనే మా గైడ్ ఈ మార్పిడిని వివరిస్తుంది. ఈవెంట్ కాంట్రాక్టులు ఎలా సెటిల్ అవుతాయి అనే గైడ్, కాంట్రాక్ట్ స్వంత పదజాలంలో “అది జరిగింది” అంటే ఏమిటో వివరిస్తుంది.

ఆ ధరకు బహిరంగంగా నమోదైన పనితీరు చరిత్ర, settlement date ఉంటాయి. అందువల్ల మీ స్వంత లాగ్ అధిగమించాల్సిన ప్రమాణం అదే. అదే ప్రశ్నలపై, అదే కాలవ్యవధిలో మీ అంచనాలను స్కోర్ చేయండి. ఒక ట్రేడర్‌ యొక్క Brier score, ఆ ధరకు సంబంధించిన Brier score కంటే ఎక్కువగా ఉంటే, ఆ ప్రశ్నల సమూహంలో అతనికి కొలవగల edge లేదని అర్థం. ట్రేడ్‌కు జత చేసిన కథనం ఎంత బలంగా ఉన్నా ఫలితం మారదు. బెట్టింగ్ odds నుంచి vigను తొలగించిన తర్వాత ఇదే పరీక్ష క్రీడా oddsకూ వర్తిస్తుంది. రేటు మార్కెట్లలో కూడా ఇదే వర్తిస్తుంది. అక్కడ Fed rate odds తెలిసిన resolution day ఉన్న ప్రశ్నకు తేదీతో కూడిన సంభావ్యతను అందిస్తాయి.

తరచుగా అడిగే ప్రశ్నలు

తక్కువ Brier score మెరుగైనదేనా?

అవును. Brier score అనేది తప్పిదాన్ని కొలిచే ప్రమాణం. అందువల్ల 0 అంటే పరిపూర్ణ రికార్డు. జరగని ప్రతి విషయానికి 100% అని చెప్పినప్పుడు లభించే 1 అత్యంత చెత్త ఫలితం. ప్రతి ప్రశ్నకు 50% అని సమాధానం ఇస్తే వచ్చే score కంటే 0.25 కంటే తక్కువ score మెరుగైనది.

మంచి Brier score ఎంత ఉండాలి?

అందరికీ వర్తించే ఒకే మంచి సంఖ్య లేదు. ఎందుకంటే score ప్రశ్నలు ఎంత కఠినంగా ఉన్నాయో దానిపై ఆధారపడి ఉంటుంది. రేపు వర్షం పడుతుందా అనే ప్రశ్నలపై 0.10 score సాధించిన వాతావరణ అంచనాదారుడిని, హోరాహోరీ ఎన్నికలపై 0.18 score సాధించిన రాజకీయ అంచనాదారుడితో నేరుగా పోల్చలేం. ఒకే సమయంలో ఒకే ప్రశ్నలకు సమాధానమిచ్చిన అంచనాదారుల scoresను మాత్రమే పోల్చాలి.

0.25 Brier score అంటే ఏమిటి?

ప్రతి ప్రశ్నకు 50% అని చెప్పే అంచనాదారుడి score ఇదే. ఫలితం ఏదైనా, ప్రతి squared miss విలువ 0.25గానే ఉంటుంది. అవును లేదా కాదు అనే ప్రశ్నల సమూహానికి ఇది సాధారణంగా సమాచారంలేని benchmark. అయితే ప్రశ్నల సమూహంలో ఒక ఫలితానికి సహజంగా ఎక్కువ అవకాశం ఉంటే, దాని base rateను benchmarkగా ఉపయోగించాలి.

Brier score, log scoreల మధ్య తేడా ఏమిటి?

రెండూ proper scoring rules. అంటే మీరు నిజంగా నమ్మే probabilityని ప్రకటించినప్పుడు వాటి score కనిష్ఠంగా ఉంటుంది. Brier score తప్పిదాన్ని square చేస్తుంది, అలాగే 0 నుంచి 1 మధ్యే ఉంటుంది. Log score మాత్రం అధిక నమ్మకంతో చేసిన తప్పిదాలకు చాలా ఎక్కువ శిక్ష విధిస్తుంది. జరిగే సంఘటనకు 0% అని ప్రకటిస్తే దాని ఖర్చు infinity అవుతుంది.

Option deltaను probabilityగా చదవచ్చా?

Delta యొక్క absolute value, option in the moneyగా ముగిసే అవకాశం గురించి మార్కెట్ సూచించే implied probabilityకి దగ్గరగా ఉంటుంది. ఇది వాస్తవ ప్రపంచ probability కాదు; risk-neutral probability. పై panelsలో దీన్ని forecastగా అంచనా వేస్తారు: ఒక అక్షంపై ప్రకటించిన delta, మరో అక్షంపై నిజంగా in the moneyగా ముగిసిన contracts శాతం ఉంటాయి.

ఇక్కడి ప్రతి panelకు దాని కింద ఖచ్చితమైన SQL ఇవ్వబడుతుంది. అందువల్ల gradingను ప్రతి వరుసలో audit చేయవచ్చు. అదే ప్రశ్నలపై మార్కెట్ forecastతో మీ స్వంత forecast logను score చేయాలంటే, Strasmore terminalలో plain Englishలో సంఖ్యలను అడగండి.