Поведение в п.3 действительно странно. Остальное вроде правильно там же по формуле:
rawValue / accuracy * sensitivity и это в простых mode
В high res mode 2 там половина диапазона:
0.5 * rawValue / accuracy * sensitivity
Я понимаю, что вы очень умный, но иногда смотреть чужой код совсем не...