Brier Score என்றால் என்ன? முன்னறிவிப்பை மதிப்பிடும் முறை

Brier score-ன் விளக்கம்

Brier score என்பது ஒரு நிகழ்தகவு முன்னறிவிப்பை (probability forecast), உண்மையில் நடந்த நிகழ்வோடு ஒப்பிட்டு மதிப்பிடுகிறது. நீங்கள் குறிப்பிட்ட நிகழ்தகவிலிருந்து, நிகழ்வின் முடிவைக் கழிக்க வேண்டும் (நிகழ்வு நடந்தால் 1, நடக்கவில்லை என்றால் 0). அந்த வித்தியாசத்தை வர்க்கப்படுத்தி (square), நீங்கள் செய்த அனைத்து முன்னறிவிப்புகளின் வர்க்கங்களின் சராசரியைக் கணக்கிட வேண்டும். இதில் குறைந்த மதிப்பெண் பெறுவதே சிறந்தது: 0 என்பது மிகச்சரியான முன்னறிவிப்பைக் குறிக்கிறது, மேலும் அனைத்து நிகழ்வுகளுக்கும் "50%" என்று கூறுவதன் மூலம் 0.25 என்ற மதிப்பெண் கிடைக்கும்.

Brier score என்றால் என்ன?

முன்கணிப்பு என்பது நிகழ்தகவு குறித்த ஒரு கூற்றாகும். ஒரு தனிப்பட்ட நிகழ்தகவு மட்டும் தானாகவே சரியோ அல்லது தவறோ ஆக முடியாது. ஒரு நிகழ்விற்கு முப்பது சதவீத வாய்ப்பு இருப்பதாக நீங்கள் கூறினீர்கள், அது நிகழ்ந்துவிட்டது. நீங்கள் சொன்னது தவறா? இன்னும் சொல்ல முடியாது. வானிலை ஆய்வாளர்களுக்காக ஆயிரத்து தொள்ளாயிரத்து ஐம்பதில் எழுதிய கிளென் பிரையர் (Glenn Brier), எந்தவொரு தனிப்பட்ட முன்கணிப்பையும் மதிப்பிட மறுப்பதன் மூலம் இந்த சிக்கலைத் தவிர்த்தார். இந்த ஸ்கோர், முன்கணிப்புகளின் முழுப் பட்டியலையும் ஒரே நேரத்தில் மதிப்பிடுகிறது.

பத்து முன்கணிப்புகளைக் கொண்ட ஒரு கற்பனைப் பட்டியல் இதோ. இந்த எண்கள் சந்தையிலிருந்து பெறப்பட்டவை அல்ல; கணக்கீட்டு முறையை விளக்க உருவாக்கப்பட்டவை.

• தொண்ணூறு சதவீதம் எனக் கூறப்பட்டது, நிகழ்வு நடந்தது. வர்க்கப்படுத்தப்பட்ட தவறு (Squared miss) 0.01.
• எண்பது சதவீதம் எனக் கூறப்பட்டது, நடந்தது. 0.04.
• எழுபது சதவீதம் எனக் கூறப்பட்டது, நடக்கவில்லை. 0.49.
• அறுபது சதவீதம் எனக் கூறப்பட்டது, நடந்தது. 0.16.
• ஐம்பது சதவீதம் எனக் கூறப்பட்டது, நடக்கவில்லை. 0.25.
• நாற்பது சதவீதம் எனக் கூறப்பட்டது, நடக்கவில்லை. 0.16.
• முப்பது சதவீதம் எனக் கூறப்பட்டது, நடந்தது. 0.49.
• இருபது சதவீதம் எனக் கூறப்பட்டது, நடக்கவில்லை. 0.04.
• பத்து சதவீதம் எனக் கூறப்பட்டது, நடக்கவில்லை. 0.01.
• தொண்ணூற்று ஐந்து சதவீதம் எனக் கூறப்பட்டது, நடந்தது. 0.0025.

இந்த பத்து வர்க்கப்படுத்தப்பட்ட தவறுகளின் கூடுதல் 1.6525 ஆகும். இதை பத்தால் வகுத்தால் Brier score 0.165 ஆகும். இதுவே முழுமையான கணக்கீடு. இது எந்தவொரு Mac அல்லது Linux கணினியிலும் ஏற்கனவே உள்ள python3-ல் இயங்கும். எதையும் நிறுவத் தேவையில்லை, கூடுதல் libraries தேவையில்லை.

• rows = [(0.90, 1), (0.80, 1), (0.70, 0), (0.60, 1), (0.50, 0), (0.40, 0), (0.30, 1), (0.20, 0), (0.10, 0), (0.95, 1)]
• brier = sum((p - o) * (p - o) for p, o in rows) / len(rows)
• flat = sum((0.5 - o) * (0.5 - o) for _, o in rows) / len(rows)
• print(round(brier, 3), round(flat, 3)) prints 0.165 0.25

0.25 ஏன் முக்கியமான இலக்காக உள்ளது

எல்லாவற்றிற்கும் ஐம்பது சதவீதம் என்று கணிப்பதாக வைத்துக்கொள்வோம்; என்ன நடந்தாலும், ஒவ்வொரு தவறான கணிப்பிற்கும் வர்க்க மதிப்பு (squared miss) 0.25 ஆக இருக்கும். ஆம் அல்லது இல்லை என்ற எந்தவொரு கேள்விகளுக்கும், இந்த நிலையான 0.25 என்பது தகவலற்ற ஒரு அளவுகோலாகும் (no-information benchmark). ஒரு திறமை மதிப்பெண் (skill score) இதை ஒரே எண்ணாக மாற்றுகிறது: அதாவது, உங்கள் மதிப்பெண்ணை இந்த அளவுகோலால் வகுத்து, அதை ஒன்றிலிருந்து கழிக்க வேண்டும். 0.165 என்ற கற்பனையான log மதிப்பு 0.34 என்ற திறமை மதிப்பெண்ணைத் தருகிறது.

ஒரு எச்சரிக்கை, தவறான மதிப்பெண் கணக்கீடுகளைத் தவிர்க்க உதவுகிறது. நீங்கள் மதிப்பிடும் நிகழ்வுகள் பத்து சதவீதம் மட்டுமே நிகழ்கின்றன என்றால், ஒவ்வொரு முறையும் பத்து சதவீதம் என்று கூறுவது 0.09 என்ற மதிப்பெண்ணைத் தரும்; இது தனிப்பட்ட கேள்விகளைப் பற்றி எதுவுமே தெரியாமல் செய்யப்படும் கணிப்பாகும். சமநிலையற்ற கேள்விக் தொகுப்பில், 0.25-க்குக் குறைவான மதிப்பெண் என்பது திறமைக்கான சான்றல்ல. நீங்கள் உண்மையில் பதிலளித்த கேள்விகளின் அடிப்படை விகிதமே (base rate) உண்மையான அளவுகோலாகும்.

அளவீடு (Calibration) மற்றும் நம்பிக்கை (Confidence) ஆகியவை ஒன்றாக மதிப்பிடப்படுகின்றன

அளவீடு என்பது, நீங்கள் 70% என்று கணித்தவற்றில், ஏறக்குறைய 70% நிகழ்வுகள் உண்மையாக நடப்பதைக் குறிக்கிறது. புள்ளிவிவர வல்லுநர்கள் 'resolution' என்று அழைக்கும் நம்பிக்கை என்பது, ஒரு விஷயத்தைப் பற்றி உங்களுக்குத் தெரியும்போது, அடிப்படை விகிதத்திலிருந்து (base rate) நீங்கள் எவ்வளவு தூரம் விலகிச் செல்லத் தயாராக இருக்கிறீர்கள் என்பதாகும். ஒவ்வொரு கேள்விக்கும் 50% என்று பதிலளிக்கும் ஒரு கணிப்பாளர், மிகச்சரியான அளவீட்டைக் கொண்டிருந்தாலும், எந்தப் பயனும் இல்லாதவராகிறார். Brier score இந்த இரண்டு பண்புகளையும் ஒரே நேரத்தில் கணக்கிடுகிறது: தவறான அளவீடு மதிப்பை உயர்த்துகிறது, அதேசமயம் சரியான நம்பிக்கை மதிப்பை குறைக்கிறது.

குறிப்பிடப்பட்ட நிகழ்தகவின் அடிப்படையில் கணிப்புகளை வகைப்படுத்துவது, ஒரு அளவீட்டுச் சரிபார்ப்பு எவ்வாறு அமையும் என்பதைக் காட்டுகிறது. Python-இல் இது ஒவ்வொரு வகைக்கும் ஒரு வரியாக அமையும், hits = [o for p, o in rows if p >= 0.8], அதன் பிறகு hits-இன் சராசரி.

• 10% முதல் 30% வரை குறிப்பிடப்பட்டது, சராசரி 20%: மூன்றில் ஒன்று நிகழ்ந்தது, 33%.
• 40% முதல் 50% வரை குறிப்பிடப்பட்டது, சராசரி 45%: இரண்டில் எதுவும் நிகழவில்லை, 0%.
• 60% முதல் 70% வரை குறிப்பிடப்பட்டது, சராசரி 65%: இரண்டில் ஒன்று நிகழ்ந்தது, 50%.
• 80% முதல் 95% வரை குறிப்பிடப்பட்டது, சராசரி 88%: மூன்றில் மூன்று நிகழ்ந்தன, 100%.

பத்து கணிப்புகள் மட்டுமே இருப்பது, அந்த வகைகளிலிருந்து எதையும் புரிந்துகொள்ள போதுமானதல்ல. அளவீடு செய்வதற்கு ஒவ்வொரு வகையிலும் நூற்றுக்கணக்கான தீர்க்கப்பட்ட கேள்விகள் தேவைப்படுகின்றன. இந்தப் பக்கத்தின் மீதமுள்ள பகுதி, லட்சக்கணக்கான கணிப்புகளைக் கொண்ட ஒரு பதிவைப் பயன்படுத்துகிறது.

சந்தையின் சொந்த முன்னறிவிப்பை மதிப்பிடுதல்

ஒவ்வொரு பட்டியலிடப்பட்ட option-ம் ஒரு குறிப்பிட்ட நிகழ்தகவை (probability) வெளிப்படுத்தும் எண்ணைக் கொண்டுள்ளது. அடிப்படைப் பங்கின் விலை ஒரு டாலர் மாறும்போது, அந்த option-ன் விலை எவ்வளவு மாறுகிறது என்பதை Delta அளவிடுகிறது. ஒரு ஒப்பந்தம் காலாவதியாகும் போது லாபத்தில் (in the money) முடிவடையுமா அல்லது மதிப்பற்றதாகிவிடுமா என்பதைப் பொறுத்து, அதன் Delta-வின் முழுமையான மதிப்பு, அந்த ஒப்பந்தம் லாபத்தில் முடிவடைவதற்கான சந்தையின் மறைமுக நிகழ்தகவுக்கு நெருக்கமாக அமைகிறது. இது AAPL implied volatility-ஐத் தீர்மானிக்கும் அதே தளத்திலிருந்து பெறப்படுகிறது. ஒவ்வொரு ஒப்பந்தமும் காலாவதியாவதால், அந்த முன்னறிவிப்புகள் ஒவ்வொன்றும் மதிப்பீடு செய்யப்படுகின்றன.

கீழே உள்ள அட்டவணை, ஜனவரி 2025 முதல் மே 2026 வரை, காலாவதியாவதற்கு சுமார் ஒரு மாதத்திற்கு முன்பு கவனிக்கப்பட்ட அனைத்து SPY option-களையும் எடுத்துக்கொள்கிறது. அவற்றை அவற்றின் Delta மதிப்பின் அடிப்படையில் வகைப்படுத்தி, எத்தனை முறை அந்த ஒப்பந்தங்கள் லாபத்தில் (in the money) முடிவடைந்தன என்பதைக் கணக்கிடுகிறது.

WITH settle AS
(
    SELECT
        date                             AS settle_date,
        any(toFloat64(underlying_close)) AS settle_px
    FROM global_markets.options_greeks
    WHERE underlying_symbol = 'SPY'
      AND date >= '2025-01-01'
      AND date <  '2026-08-01'
    GROUP BY date
),
scored AS
(
    SELECT
        toUInt8(floor(abs(toFloat64(g.delta)) * 10))    AS bucket,
        abs(toFloat64(g.delta))                         AS stated,
        startsWith(lower(toString(g.option_type)), 'c') AS is_call,
        if(is_call,
           s.settle_px > toFloat64(g.strike_price),
           s.settle_px < toFloat64(g.strike_price))     AS finished_itm
    FROM global_markets.options_greeks AS g
    INNER JOIN settle AS s ON s.settle_date = g.expiration_date
    WHERE g.underlying_symbol = 'SPY'
      AND g.date >= '2025-01-01'
      AND g.date <  '2026-06-01'
      AND g.expiration_date <= '2026-07-31'
      AND g.days_to_expiry BETWEEN 28 AND 35
      AND g.iv_converged = 1
      AND g.volume > 0
      AND abs(g.delta) > 0.02
      AND abs(g.delta) < 0.98
)
SELECT
    concat(toString(bucket * 10), ' to ', toString(bucket * 10 + 10), '%') AS stated_bucket,
    round(avg(stated) * 100, 1)       AS stated_pct,
    round(avg(finished_itm) * 100, 1) AS finished_itm_pct,
    count()                           AS sample_size
FROM scored
GROUP BY bucket
ORDER BY bucket

இந்த இரண்டு தொடர்களையும் ஒப்பிட்டுப் பார்க்கவும். மிகக் குறைந்த பிரிவில், சந்தை சராசரியாக 5.2% நிகழ்தகவைக் குறிப்பிட்டது, அந்த ஒப்பந்தங்கள் 3.7% முறை லாபத்தில் முடிவடைந்தன. மிக உயர்ந்த பிரிவில், 94% எனத் தெரிவிக்கப்பட்ட நிலையில், 96.5% ஒப்பந்தங்கள் லாபத்தில் முடிவடைந்தன. அனைத்து 10 பிரிவுகளிலும், உணரப்பட்ட நிகழ்வெண் (realized frequency) சந்தை குறிப்பிட்ட நிகழ்தகவுக்கு அருகிலேயே உள்ளது. இதுவே ஒரு அளவுத்திருத்த அட்டவணையின் (calibration table) முக்கிய பணியாகும்: இது ஒரு முன்னறிவிப்பாளர் கூறுவதற்கும், உண்மையில் நடப்பதற்கும் இடையிலான இடைவெளியை, ஒட்டுமொத்த சராசரிக்குள் மறைக்காமல், ஒவ்வொரு பிரிவாகத் தெளிவாகக் காட்டுகிறது.

சந்தை நாணயச் சுழற்சியை விடச் சிறப்பாகச் செயல்படுகிறதா?

இப்போது மதிப்பெண்களைப் பார்ப்போம். ஒரே மாதிரியான கட்டமைப்பு, நன்கு அறியப்பட்ட பல நிறுவனங்கள், ஒவ்வொன்றின் Brier score-ம் அதே ஒப்பந்தங்களின் அடிப்படையில் கணக்கிடப்பட்ட ஐம்பது சதவீத அடிப்படை மதிப்பீட்டுடன் (flat 50% baseline) ஒப்பிடப்பட்டுள்ளது.

WITH settle AS
(
    SELECT
        underlying_symbol                AS sym,
        date                             AS settle_date,
        any(toFloat64(underlying_close)) AS settle_px
    FROM global_markets.options_greeks
    WHERE underlying_symbol IN ('SPY', 'AAPL', 'MSFT', 'NVDA', 'KO', 'TSLA')
      AND date >= '2025-01-01'
      AND date <  '2026-08-01'
    GROUP BY sym, settle_date
),
scored AS
(
    SELECT
        g.underlying_symbol                             AS symbol,
        abs(toFloat64(g.delta))                         AS stated,
        startsWith(lower(toString(g.option_type)), 'c') AS is_call,
        if(is_call,
           s.settle_px > toFloat64(g.strike_price),
           s.settle_px < toFloat64(g.strike_price))     AS finished_itm
    FROM global_markets.options_greeks AS g
    INNER JOIN settle AS s
        ON s.sym = g.underlying_symbol AND s.settle_date = g.expiration_date
    WHERE g.underlying_symbol IN ('SPY', 'AAPL', 'MSFT', 'NVDA', 'KO', 'TSLA')
      AND g.date >= '2025-01-01'
      AND g.date <  '2026-06-01'
      AND g.expiration_date <= '2026-07-31'
      AND g.days_to_expiry BETWEEN 28 AND 35
      AND g.iv_converged = 1
      AND g.volume > 0
      AND abs(g.delta) > 0.02
      AND abs(g.delta) < 0.98
)
SELECT
    symbol,
    round(avg((stated - finished_itm) * (stated - finished_itm)), 4) AS market_brier,
    round(avg((0.5 - finished_itm) * (0.5 - finished_itm)), 4)       AS coin_flip_brier,
    formatReadableQuantity(count())                                  AS graded_contracts
FROM scored
GROUP BY symbol
ORDER BY market_brier

NVDA மதிப்பெண்கள் 28.54 thousand ஒப்பந்தங்களில் 0.1122 ஆக உள்ளன, அதே தொகுப்பில் அடிப்படை மதிப்பீடு 0.25 ஆக உள்ளது. 6 நிறுவனங்களில் பலவீனமான நிறுவனமான SPY, 0.1375 என்ற மதிப்பெண்ணைப் பெற்றுள்ளது. இதில் options மந்திரம் ஏதுமில்லை. Deep out of the money ஒப்பந்தங்கள் 0.02-க்கு அருகிலுள்ள deltas-ஐக் கொண்டுள்ளன, இவை பெரும்பாலும் மதிப்பு இழந்து காலாவதியாகின்றன. இதைச் சரியாகக் கணிப்பது எளிது, அந்த எளிமை இந்த எண்ணில் அடங்கியுள்ளது. ஒரு Brier score-ஐ மட்டும் தனியாகப் பார்க்கும்போது அது எதையும் உணர்த்துவதில்லை என்பதற்கு இதுவே முக்கிய காரணம்.

ஒரே முன்கணிப்பாளர் வெவ்வேறு கேள்விகளுக்கு வெவ்வேறு மதிப்பெண்களைப் பெறுகிறார்

ஒரே மாதிரியான முறையைப் பயன்படுத்தினாலும், கேள்வி முடிவடையும் கால அளவைப் பொறுத்து மதிப்பெண் மாறுபடுவதை ஆராயுங்கள்.

WITH settle AS
(
    SELECT
        date                             AS settle_date,
        any(toFloat64(underlying_close)) AS settle_px
    FROM global_markets.options_greeks
    WHERE underlying_symbol = 'SPY'
      AND date >= '2025-01-01'
      AND date <  '2026-08-01'
    GROUP BY date
),
scored AS
(
    SELECT
        multiIf(g.days_to_expiry <=   7, 1,
                g.days_to_expiry <=  14, 2,
                g.days_to_expiry <=  30, 3,
                g.days_to_expiry <=  60, 4,
                g.days_to_expiry <= 120, 5,
                6)                                      AS horizon_rank,
        abs(toFloat64(g.delta))                         AS stated,
        startsWith(lower(toString(g.option_type)), 'c') AS is_call,
        if(is_call,
           s.settle_px > toFloat64(g.strike_price),
           s.settle_px < toFloat64(g.strike_price))     AS finished_itm
    FROM global_markets.options_greeks AS g
    INNER JOIN settle AS s ON s.settle_date = g.expiration_date
    WHERE g.underlying_symbol = 'SPY'
      AND g.date >= '2025-01-01'
      AND g.date <  '2026-06-01'
      AND g.expiration_date <= '2026-07-31'
      AND g.days_to_expiry BETWEEN 1 AND 250
      AND g.iv_converged = 1
      AND g.volume > 0
      AND abs(g.delta) > 0.02
      AND abs(g.delta) < 0.98
)
SELECT
    multiIf(horizon_rank = 1, '1 to 7 days',
            horizon_rank = 2, '8 to 14 days',
            horizon_rank = 3, '15 to 30 days',
            horizon_rank = 4, '31 to 60 days',
            horizon_rank = 5, '61 to 120 days',
            '121 to 250 days')                                       AS horizon,
    round(avg((stated - finished_itm) * (stated - finished_itm)), 4) AS market_brier,
    round(avg((0.5 - finished_itm) * (0.5 - finished_itm)), 4)       AS coin_flip_brier,
    count()                                                          AS sample_size
FROM scored
GROUP BY horizon_rank
ORDER BY horizon_rank

சந்தையின் delta, 1 to 7 days கால அவகாசம் கொண்ட ஒப்பந்தங்களுக்கு 0.1084 மதிப்பெண்ணையும், 121 to 250 days கால அவகாசம் கொண்ட ஒப்பந்தங்களுக்கு 0.1218 மதிப்பெண்ணையும் பெற்றுள்ளது. ஒரே முன்கணிப்பாளர், ஒரே முறை, ஆனால் இரண்டு வெவ்வேறு கேள்விகள். முதல் வரிசையில் 0.25 ஆகவும், கடைசி வரிசையில் 0.25 ஆகவும் இருக்கும் 50% அடிப்படை அளவு (baseline), அனைத்து கால அளவுகளுக்கும் பொதுவான ஒரு நிலையான குறிப்பு புள்ளியாக அமைகிறது. இரண்டு முன்கணிப்பாளர்களை ஒப்பிடும்போது, ஒரே கால இடைவெளியில் ஒரே கேள்விகளைப் பயன்படுத்தி மட்டுமே ஒப்பிட வேண்டும்; இல்லையெனில், அது திறனை ஒப்பிடுவதற்குப் பதிலாக கேள்வியின் கடினத்தன்மையை ஒப்பிடுவதாகவே அமையும்.

முறையான ஸ்கோரிங் விதிகள் ஏன் முக்கியமானவை

Mean absolute error, அதாவது உங்கள் நிகழ்தகவுக்கும் (probability) விளைவுக்கும் இடையிலான தூரத்தின் சராசரி, ஒரு நியாயமான மாற்றாகத் தோன்றினாலும், அது தவறான மதிப்பீட்டையே வழங்குகிறது. ஒரு நிகழ்வு எழுபது சதவீதம் நிகழ வாய்ப்புள்ளதாக நீங்கள் உண்மையாக நம்புகிறீர்கள் என்று வைத்துக்கொள்வோம். நீங்கள் எழுபது சதவீதம் என்று கூறினால், உங்கள் எதிர்பார்க்கப்படும் absolute error என்பது 0.7 x 0.3 + 0.3 x 0.7 = 0.42 ஆகும். அதற்குப் பதிலாக நூறு சதவீதம் என்று கூறினால், அது 0.30 ஆகக் குறைகிறது. Absolute error முறையின் கீழ், உண்மையைச் சொல்வது உங்களுக்கு இழப்பை ஏற்படுத்துகிறது; எனவே, அதிகப்படியான நம்பிக்கையை வெளிப்படுத்த ஊக்குவிக்கும் ஒரு அளவீடு, முன்கணிப்பைச் சரியாக அளவிடாது.

Brier score-ல் இத்தகைய குறைபாடு இல்லை. எழுபது சதவீதம் என்று நம்பி, எழுபது சதவீதம் என்றே கூறினால், உங்கள் எதிர்பார்க்கப்படும் ஸ்கோர் 0.7 x 0.09 + 0.3 x 0.49 = 0.21 ஆகும். நூறு சதவீதம் என்று கூறினால் அது 0.30 ஆக உயர்கிறது. அறுபது சதவீதம் என்று கூறினால் அது 0.22 ஆக உயர்கிறது. நீங்கள் நம்பும் எண்ணிலேயே அதன் குறைந்தபட்ச மதிப்பு அமைகிறது. இத்தகைய பண்பைக் கொண்ட ஒரு விதி 'முறையானது' (proper) என்று அழைக்கப்படுகிறது; இதனால்தான் முன்கணிப்புப் போட்டிகளில் Brier score இயல்பான தேர்வாக மாறியது.

Log score என்பது பொதுவாகப் பயன்படுத்தப்படும் மற்றொரு முறையான விதியாகும்: நிகழ்ந்த விளைவுக்கு நீங்கள் ஒதுக்கிய நிகழ்தகவின் natural log-ஐ எடுத்து, அதன் குறியீட்டை மாற்ற வேண்டும். நிகழ்ந்த ஒரு விஷயத்திற்கு ஒன்று சதவீதம் என்று கூறுவது 4.6 என்ற செலவை ஏற்படுத்துகிறது, பூஜ்ஜியம் சதவீதம் என்று கூறுவது முடிவிலி (infinity) செலவை ஏற்படுத்துகிறது. பத்து முன்கணிப்புகள் கொண்ட கற்பனைச் சூழலில், இது 0.483 ஆக வருகிறது, அதே சமயம் flat baseline-க்கு இது 0.693 ஆக உள்ளது. Brier score பூஜ்ஜியம் முதல் ஒன்றுக்குள் இருப்பதால், அது ஸ்கோர்கார்டாகப் படிக்க எளிதாக உள்ளது. Log score-க்கு வரம்பு இல்லை, இது தீவிரமான அபாயங்கள் (tails) உள்ள மதிப்பீடுகளுக்குப் பொருத்தமானது.

Event contract-களுக்கு இது எதைக் குறிக்கிறது

ஒரு நிகழ்வு ஒப்பந்தம் (event contract), ஒரு குறிப்பிட்ட நிகழ்வு நடந்தால் $1-ஐயும், நடக்கவில்லை எனில் $0-ஐயும் வழங்குகிறது. இந்த ஒப்பந்தம் வர்த்தகமாகும் விலை, ஏற்கனவே ஒரு நிகழ்தகவை (probability) உணர்த்துகிறது. Spread மற்றும் கட்டணங்களைக் கழிப்பதற்கு முன்பாக, அறுபத்தி இரண்டு சென்ட் (62 cents) என்பது 62% கணிப்பைக் குறிக்கிறது. நிகழ்தகவுகளாக event contract விலைகள் குறித்த எங்களது வழிகாட்டி இந்த மாற்றத்தை விளக்குகிறது, மேலும் event contract-கள் எவ்வாறு தீர்வு காணப்படுகின்றன என்பது ஒப்பந்தத்தின் விதிகளின்படி "நிகழ்வு நடந்தது" என்பதன் அர்த்தத்தை விளக்குகிறது.

அந்த விலை என்பது பொதுவெளியில் பதிவு செய்யப்பட்ட ஒரு கணிப்பு மற்றும் தீர்வு தேதியைக் கொண்டது. எனவே, உங்கள் சொந்த வர்த்தகப் பதிவேடு (log) தாண்ட வேண்டிய அளவுகோலாக இது அமைகிறது. ஒரே காலக்கட்டத்தில், ஒரே கேள்விகளுக்கு உங்கள் கணிப்புகளை மதிப்பிடுங்கள். ஒரு வர்த்தகரின் Brier score, சந்தை விலையை விட அதிகமாக இருந்தால், அந்த வர்த்தகர் அந்த குறிப்பிட்ட கேள்வித் தொகுப்பில் எந்தவிதமான கூடுதல் பலனையும் (edge) கொண்டிருக்கவில்லை என்று அர்த்தம்; வர்த்தகத்தின் பின்னணியில் சொல்லப்படும் கதைகள் எவ்வளவு வலுவானதாக இருந்தாலும் இதுவே உண்மை. இதே சோதனை, பந்தய முரண்பாடுகளிலிருந்து (betting odds) vig-ஐ நீக்கிய பிறகு விளையாட்டு பந்தயங்களுக்கும், Fed rate odds மூலம் அறியப்படும் வட்டி விகிதச் சந்தைகளுக்கும் பொருந்தும்; அங்கு ஒரு குறிப்பிட்ட தீர்வு நாள் கொண்ட கேள்விக்கான நிகழ்தகவு உங்களுக்குக் கிடைக்கிறது.

அடிக்கடி கேட்கப்படும் கேள்விகள் (FAQ)

குறைந்த Brier score சிறந்ததுதானா?

ஆம். Brier score என்பது பிழையை அளவிடும் முறையாகும். எனவே, 0 என்பது மிகச்சரியான கணிப்பைக் குறிக்கும்; 1 என்பது மிக மோசமான கணிப்பைக் குறிக்கும் (நடக்காத நிகழ்வுகளுக்கு நூறு சதவீதம் வாய்ப்பு என்று கூறுவது). ஒவ்வொரு கேள்விக்கும் ஐம்பது சதவீதம் என்று பதிலளிப்பதன் மூலம் கிடைக்கும் மதிப்பெண்ணை விட, 0.25-க்கும் குறைவான எந்தவொரு மதிப்பெண்ணும் சிறந்ததாகக் கருதப்படுகிறது.

நல்ல Brier score என்பது எது?

இதற்கு உலகளாவிய பொதுவான எண் என்று எதுவும் இல்லை, ஏனெனில் கேள்விகளின் கடினத்தன்மையைப் பொறுத்தே மதிப்பெண் அமையும். நாளைய மழை குறித்து 0.10 மதிப்பெண் பெறும் வானிலை ஆய்வாளரையும், நெருக்கமான தேர்தல் முடிவுகள் குறித்து 0.18 மதிப்பெண் பெறும் அரசியல் கணிப்பாளரையும் ஒப்பிட முடியாது. ஒரே காலக்கட்டத்தில், ஒரே கேள்விகளுக்குப் பதிலளிக்கும் கணிப்பாளர்களை மட்டுமே ஒப்பிட்டுப் பார்க்க வேண்டும்.

0.25 Brier score எதைக் குறிக்கிறது?

இது அனைத்து கேள்விகளுக்கும் ஐம்பது சதவீதம் என்று பதிலளிக்கும் ஒருவரின் மதிப்பெண் ஆகும். ஏனெனில், முடிவு எதுவாக இருந்தாலும், வர்க்கப்படுத்தப்பட்ட பிழை (squared miss) 0.25 ஆக இருக்கும். ஆம் அல்லது இல்லை என்ற கேள்விகளுக்கு இது ஒரு தரப்படுத்தப்பட்ட 'தகவல் இல்லாத' (no-information) அளவுகோலாகும். இருப்பினும், ஒருதலைப்பட்சமான கேள்விகளுக்கு அந்தந்த அடிப்படை விகிதமே (base rate) அளவுகோலாக இருக்க வேண்டும்.

Brier score-க்கும் log score-க்கும் என்ன வித்தியாசம்?

இரண்டுமே முறையான ஸ்கோரிங் விதிகள் (proper scoring rules) ஆகும். அதாவது, நீங்கள் உண்மையில் நம்பும் நிகழ்தகவை வெளிப்படுத்தும்போதுதான் இவை இரண்டிலும் குறைந்தபட்ச மதிப்பெண் கிடைக்கும். Brier பிழையை வர்க்கப்படுத்துகிறது மற்றும் 0 முதல் 1 வரை மதிப்பெண்களைக் கொண்டுள்ளது. Log score, உறுதியான தவறான கணிப்புகளை மிகக் கடுமையாகத் தண்டிக்கிறது; நடக்கும் ஒரு நிகழ்விற்கு 0 சதவீதம் என்று கூறினால், அது முடிவிலி (infinity) வரை தண்டனை மதிப்பெண்ணைக் கொடுக்கும்.

Option delta-வை நிகழ்தகவாகக் கருதலாமா?

Delta-வின் முழுமையான மதிப்பு (absolute value), அந்த option 'in the money'-ல் முடிவடைவதற்கான சந்தையின் மறைமுக நிகழ்தகவுக்கு (implied probability) நெருக்கமாக இருக்கும். இது நிஜ உலக நிகழ்தகவு அல்ல, மாறாக இடர்-நடுநிலை (risk-neutral) நிகழ்தகவு ஆகும். மேலே உள்ள பேனல்கள் இதை ஒரு கணிப்பாக மதிப்பிடுகின்றன: ஒரு அச்சில் குறிப்பிடப்பட்ட delta, மற்றொரு அச்சில் உண்மையில் 'in the money'-ல் முடிந்த ஒப்பந்தங்களின் பங்கு.

இங்குள்ள ஒவ்வொரு பேனலும் அதற்கான துல்லியமான SQL குறியீட்டுடன் வருகிறது, எனவே மதிப்பீட்டை வரி வரியாகச் சரிபார்க்க முடியும். அதே கேள்விகளுக்கு சந்தையின் கணிப்புடன் உங்கள் கணிப்புப் பதிவை ஒப்பிட, Strasmore டெர்மினலில் எளிய ஆங்கிலத்தில் எண்களைக் கேட்கவும்.