data/dft_weights/pythia-1b_dft.json

{
  "model": "pythia-1b",
  "theta": 10000,
  "d_head": 256,
  "n_layers": 16,
  "n_heads": 8,
  "k_dead_boundary": 90,
  "n_active_pairs": 90,
  "n_dead_pairs": 38,
  "band_energy": {
    "E_per_pair": [
      0.0002662035290086351,
      0.0002688799099246353,
      0.00031759004264131363,
      0.00037761209546260943,
      0.00035918128207867994,
      0.00038677351824389916,
      0.00042666972694860306,
      0.00048753907117315975,
      0.0005085242449922589,
      0.0004965749164966837,
      0.0005545755848288536,
      0.0005931611761980093,
      0.0005960240380318282,
      0.0006345204928948078,
      0.0006286775500257136,
      0.0006277127301927976,
      0.0002656349985841189,
      0.0002683774811202966,
      0.0003210860713238617,
      0.0003464054821051832,
      0.0003534690650894845,
      0.0004207136572631498,
      0.0004632393226984277,
      0.0004883742133188207,
      0.0005168734796825447,
      0.0005657666342813172,
      0.000558554221470331,
      0.0006576271672429357,
      0.0006024149341783414,
      0.0006239133485905768,
      0.0006202086052553568,
      0.0006361773474736765,
      0.0006365176500366942,
      0.0006398633170192625,
      0.000636505303418744,
      0.0006276373280797998,
      0.0006291215947840101,
      0.0006391749400336266,
      0.0006320350581745515,
      0.0006364864932493219,
      0.0006340065924632654,
      0.0006380719673870772,
      0.000629806070264749,
      0.0006319283555740185,
      0.0006316360097571305,
      0.0006293077789223389,
      0.0006396738783678302,
      0.0006334340464491106,
      0.0006329104006681519,
      0.0006278635996750381,
      0.0006311798036904293,
      0.0006328442325411743,
      0.0006348571866965358,
      0.0006334225231512391,
      0.0006362194060329784,
      0.0006349930179112562,
      0.0006353335843414243,
      0.0006344274594312083,
      0.0006325475580979401,
      0.0006353618809953332,
      0.0006317681898053706,
      0.0006386199697772099,
      0.0006293945923516731,
      0.0006316489914297563,
      0.0006387587649214765,
      0.0006380424426879472,
      0.0006298458075661983,
      0.0006346435577597731,
      0.0006331320334993507,
      0.000639350555047713,
      0.0006419114926075054,
      0.0006398456629312932,
      0.0006358273949444992,
      0.0006263793330845147,
      0.0006356573642278818,
      0.0006382802121152054,
      0.0006302046256223548,
      0.000636135206605104,
      0.0006213326073520875,
      0.0006376369885856548,
      0.0006409413616665915,
      0.0006319565372905345,
      0.0006424207499549084,
      0.0006411887322883558,
      0.0006335101818422118,
      0.0006260790618171086,
      0.0006332447452450651,
      0.0006330170441515293,
      0.0006340915614373444,
      0.0006389569446128007,
      0.0006376424473728548,
      0.0006332403313535906,
      0.0006369829081904754,
      0.0006410580604097049,
      0.0006361083010233415,
      0.0006389413447323022,
      0.0006371255724388902,
      0.0006378392172337044,
      0.0006386277519823125,
      0.0006393495067413824,
      0.0006323519314719306,
      0.0006370026744662027,
      0.0006338470095670345,
      0.0006304903785121496,
      0.0006374731979121862,
      0.0006313238932307286,
      0.0006372643139229694,
      0.0006364899797972612,
      0.0006364324498235874,
      0.0006384530478271699,
      0.0006345538554342056,
      0.000631931921816431,
      0.0006298544249148108,
      0.0006388854621945939,
      0.0006236617937247502,
      0.0006359592782700929,
      0.0006353463745654153,
      0.0006320260915799736,
      0.0006383923484918341,
      0.0006359760359373468,
      0.000631259185752242,
      0.0006381875986107843,
      0.0006352826064812689,
      0.0006337700044696248,
      0.0006376574293653903,
      0.0006331568342829996,
      0.000631784545021219,
      0.0006354958067049665
    ],
    "E_dead_mean": 0.0005781116187696019,
    "E_alive_mean": 0.0006352954188323087,
    "snr_alive_dead": 1.098914806599972,
    "note": "dead=pairs 0..k_dead-1 (high RoPE freq, alias early); alive=k_dead..d_head/2-1"
  },
  "dft_spectrum": {
    "P_Q": [
      0.14531712601163851,
      0.14559681446067646,
      0.14646645694368995,
      0.1463145024299945,
      0.14558252897574808,
      0.14390172418606628,
      0.1451889822716827,
      0.1454678156623636,
      0.14551633695042318,
      0.14631252126566852,
      0.14658481923312122,
      0.14726373575420318,
      0.1456463214708481,
      0.14541322070667878,
      0.14649395578611746,
      0.14719421885160536,
      0.14525229640532533,
      0.14616442921207728,
      0.1479197004002997,
      0.1466003190135848,
      0.14560799726746074,
      0.144418500561758,
      0.14667330700850698,
      0.14589698528543096,
      0.1449982627976646,
      0.1459746870686337,
      0.14570077179764057,
      0.14645300863164545,
      0.14472969171273584,
      0.14615296276667641,
      0.14686599441449194,
      0.14651179553199822,
      0.1480220950491709,
      0.1474227337396873,
      0.145174031910865,
      0.14803371751552583,
      0.14676910112763952,
      0.1465458990585078,
      0.1470198832829111,
      0.14827683035790457,
      0.14735687945047998,
      0.14808196226520057,
      0.14657230791310588,
      0.1447272988433252,
      0.14711335381638657,
      0.1453991384930435,
      0.14526475745965814,
      0.14586859824118087,
      0.14758384997988722,
      0.1469716733989527,
      0.1463820388777532,
      0.14688214625154294,
      0.14652883183284,
      0.14570150477834587,
      0.1473172666258702,
      0.14737273412489968,
      0.14716470108131158,
      0.14693905924006112,
      0.14564652680333082,
      0.14600142768552365,
      0.14610510320288306,
      0.1458434697043151,
      0.14622312929919917,
      0.14877889278180634,
      0.14574368709167262,
      0.14614083075410222,
      0.14517480920039316,
      0.1449507005996301,
      0.14663968506352404,
      0.14722164662837373,
      0.14651014290015557,
      0.1471402744068547,
      0.14780423883151236,
      0.14663525687240425,
      0.14498043263406687,
      0.1461524763321965,
      0.14517319343627327,
      0.14597074916626906,
      0.14663387344964418,
      0.1466988461237172,
      0.14642955058161136,
      0.1470993489313116,
      0.1449936740830339,
      0.14643904781639738,
      0.14559035187934155,
      0.14429079604565725,
      0.14536637486856882,
      0.14624272506077046,
      0.14471705251939437,
      0.14567474959677848,
      0.14552911279096586,
      0.14813967768900754,
      0.14472857553986057,
      0.14704985342428195,
      0.14596846098797164,
      0.14535816648410357,
      0.14588705492701182,
      0.14665471355732895,
      0.14739649485940004,
      0.1464505472060551,
      0.14695123668237953,
      0.1466458692863667,
      0.14561921823499122,
      0.14816174498447288,
      0.14651908371198796,
      0.14682149323934626,
      0.1475995552099748,
      0.1451801467220718,
      0.14522535181591886,
      0.14533411266047272,
      0.14530705500853286,
      0.14674347272473698,
      0.14577305520199707,
      0.14806786349849727,
      0.14528683593099095,
      0.1451423849483936,
      0.14659941336220617,
      0.14577107189644187,
      0.14610175631218708,
      0.1459674759175672,
      0.14810195426699016,
      0.14655503924884186,
      0.1458024620290366,
      0.14665913884423543,
      0.1474209937660474,
      0.1446865754547964,
      0.1463033495959687,
      0.14691965928934247,
      0.14476954097850503
    ],
    "P_K": [
      0.14939435297637665,
      0.14758600725182233,
      0.14639177324006347,
      0.14760337666892806,
      0.14895810161719664,
      0.1476855507525895,
      0.14869638606215874,
      0.1480180603127046,
      0.148008900668536,
      0.1475190639710286,
      0.14760260557211582,
      0.14789550809914973,
      0.14689051455598517,
      0.14863620627785773,
      0.14906720570639045,
      0.14831266321653008,
      0.14781969091282335,
      0.14770266848680288,
      0.1483638603194859,
      0.15000251641658885,
      0.14833935614007837,
      0.14961302407659685,
      0.14742042252646761,
      0.14855750145211533,
      0.149567977079548,
      0.1499942316451513,
      0.14862602719891033,
      0.14733765921014358,
      0.14776529722314694,
      0.14803087668589007,
      0.14876406199949868,
      0.14798948898877157,
      0.1471898544539652,
      0.1492717766758136,
      0.15028055507347624,
      0.14714762542283247,
      0.14861928925746254,
      0.1476990874381594,
      0.14768729225006455,
      0.1455062973711232,
      0.14777349185257826,
      0.14822116822644277,
      0.14748604136487628,
      0.14861507666461773,
      0.14897227415217476,
      0.14728181422305264,
      0.1467695438884458,
      0.1471034376741243,
      0.14767183432046657,
      0.14912448016813645,
      0.1474844144997965,
      0.14766051852665027,
      0.1480043379128055,
      0.14886288078759283,
      0.14728413323702938,
      0.1465102450555884,
      0.14809220829706793,
      0.1494426745374135,
      0.14869134327122496,
      0.14848802761692978,
      0.1484356551637274,
      0.1474196522894141,
      0.14890649733633057,
      0.14698891170536255,
      0.14800317729670748,
      0.14679755595490834,
      0.1470315303403847,
      0.1465194978877543,
      0.1470659008803511,
      0.1461386519308877,
      0.14661628076034383,
      0.14715627340103496,
      0.14808726058342192,
      0.14749716892463993,
      0.1464238965758078,
      0.147665951671268,
      0.14921720026854893,
      0.14839762138471357,
      0.14834595761141833,
      0.14751155440654004,
      0.14867695496589395,
      0.14895390814826462,
      0.14713778576182565,
      0.1485369839516481,
      0.1484377558579365,
      0.14774346754244533,
      0.14890231525015157,
      0.1492957335920888,
      0.14858643654455383,
      0.14859858928217323,
      0.14828458782276405,
      0.1478033190019271,
      0.14719671404592133,
      0.14813818956912836,
      0.14864336301161893,
      0.14847478392798596,
      0.14909793619323303,
      0.14757219454067036,
      0.14749491712353355,
      0.14908245391824107,
      0.15005995892833993,
      0.14890722613685511,
      0.148733019434291,
      0.1482268354254344,
      0.14868330850591907,
      0.14872979267789413,
      0.14883849809409552,
      0.1477564605831683,
      0.1479973992938898,
      0.14763258466456075,
      0.14896137440179474,
      0.14918448117273453,
      0.14780015787385659,
      0.14699871128883485,
      0.1466214695391534,
      0.1482415504111948,
      0.14874597292108932,
      0.14786502935017032,
      0.14767567954203029,
      0.1481039150242517,
      0.14821490561837694,
      0.1502824662746978,
      0.1490364093031466,
      0.1484160851140081,
      0.14875398265911882,
      0.14934862635418267,
      0.1478971181885654,
      0.14873223277246433,
      0.1473340098900525
    ],
    "frac_Q_alive": 0.3023922082782471,
    "frac_K_alive": 0.3027861847564636,
    "null_fraction": 0.3023255813953488
  },
  "elapsed_s": 5.9
}