gradient_magnitudes_epochs.json

{
  "linear": {
    "1": [
      0.0004009805852547288,
      0.00040036847349256277,
      0.00036985811311751604,
      0.000359987752744928,
      0.0003289323067292571,
      0.00030929772765375674,
      0.000437420851085335,
      0.000557888182811439,
      0.0006172899156808853,
      0.0007439448963850737
    ],
    "100": [
      3.099600871792063e-05,
      2.736817259574309e-05,
      2.4635010049678385e-05,
      2.6975096261594445e-05,
      2.780846261885017e-05,
      2.742374454101082e-05,
      2.5327310140710324e-05,
      2.6527004592935555e-05,
      2.71628796326695e-05,
      3.5740846215048805e-05
    ],
    "200": [
      1.123022244087224e-07,
      9.744558582269747e-08,
      9.419865421023133e-08,
      9.77038112637274e-08,
      9.99017188973994e-08,
      9.876626450022741e-08,
      8.952362406944303e-08,
      9.728739058800784e-08,
      9.556856639392208e-08,
      1.2140776561864186e-07
    ]
  },
  "sigmoid": {
    "1": [
      1.6582196726844245e-10,
      8.183660415994609e-10,
      5.867596630793059e-09,
      3.754411892487042e-08,
      2.397275977727986e-07,
      1.497530092819943e-06,
      1.265296850760933e-05,
      7.97040993347764e-05,
      0.0005029253661632538,
      0.0036848573945462704
    ],
    "100": [
      1.0378958803514138e-10,
      8.804028339692849e-11,
      7.505261689910725e-11,
      8.217171387769895e-11,
      3.2428393303973735e-10,
      1.8205583707242567e-09,
      1.527315696137066e-08,
      1.0708858866337323e-07,
      6.686989877380256e-07,
      4.7664311750850175e-06
    ],
    "200": [
      1.3188213021653183e-10,
      1.074098310294147e-10,
      9.739110906625825e-11,
      1.0973708053363396e-10,
      1.237602798020987e-10,
      1.2455078635120742e-10,
      1.9574396270538585e-10,
      7.501254062347584e-10,
      4.528399877301581e-09,
      3.233401812963166e-08
    ]
  },
  "relu": {
    "1": [
      1.2022654118482023e-05,
      9.013649105327204e-06,
      7.954162356327288e-06,
      6.0182464949321e-06,
      6.1193031797301956e-06,
      7.427526725223288e-06,
      1.2612316822924186e-05,
      1.5091778550413437e-05,
      2.7222169592278078e-05,
      3.230436777812429e-05
    ],
    "100": [
      0.0020424742251634598,
      0.0022222320549190044,
      0.0016562372911721468,
      0.0015791802434250712,
      0.0012765470892190933,
      0.0010596271604299545,
      0.0008962957072071731,
      0.0006760160904377699,
      0.0005982405855320394,
      0.00048431713366881013
    ],
    "200": [
      0.00012704881373792887,
      0.00013947300612926483,
      0.00010375848796684295,
      9.27611836232245e-05,
      7.492543227272108e-05,
      6.03889930061996e-05,
      5.1509738113963977e-05,
      3.705257404362783e-05,
      2.8892874979646876e-05,
      1.9146278646076098e-05
    ]
  },
  "leaky_relu": {
    "1": [
      2.784265234367922e-06,
      2.4898686206142884e-06,
      2.8182541882415535e-06,
      2.0921370378346182e-06,
      5.041565600549802e-06,
      7.597795047331601e-06,
      1.537061507406179e-05,
      3.3493703085696325e-05,
      0.00011857690697070211,
      0.0003166203387081623
    ],
    "100": [
      0.0012950863456353545,
      0.001056871609762311,
      0.0008204175974242389,
      0.0005373304593376815,
      0.00042928551556542516,
      0.0003193736483808607,
      0.0002826519776135683,
      0.00023377551406156272,
      0.00027470116037875414,
      0.000337461126036942
    ],
    "200": [
      0.0008976995013654232,
      0.0009603990474715829,
      0.0010412049014121294,
      0.0008971075294539332,
      0.0008287349482998252,
      0.0007339102448895574,
      0.0004858870233874768,
      0.00039588200161233544,
      0.00027544741169549525,
      0.00017856046906672418
    ]
  },
  "gelu": {
    "1": [
      4.0977013782139693e-07,
      4.266817086318042e-07,
      4.2514167830631777e-07,
      4.776728701472166e-07,
      7.016578251750616e-07,
      1.13078033336933e-06,
      4.0528016143071e-06,
      1.2373106073937379e-05,
      5.07820732309483e-05,
      0.00014970538904890418
    ],
    "100": [
      0.0002656090946402401,
      0.00020605267491191626,
      0.00020594210946001112,
      0.0001672756188781932,
      0.0001540634548291564,
      0.00014035039930604398,
      0.00013114974717609584,
      0.00011073260975535959,
      0.00019500542839523405,
      0.0002567707560956478
    ],
    "200": [
      0.00048717265599407256,
      0.00047547786380164325,
      0.0003849182394333184,
      0.0002883608976844698,
      0.0002207847428508103,
      0.00018863045261241496,
      0.00017721010954119265,
      0.00013324597966857255,
      0.00016725595924071968,
      0.00016326078912243247
    ]
  }
}