NotSecret.ru - секретов нет

Вы когда-нибудь пользовались логарифмической линейкой? Для тех, кто не пользовался: в эпоху, когда ещё не было компьютеров и калькулятор, люди умножали и делили числа с помощью таких линеек (или специальных книг с логарифмами). Операции умножения/деления при помощи таких книг сводились к простейшим операциям сложения и вычитания.

Некий господин Саймон Ньюкомб (Simon Newcomb), постоянно работая с книгой логарифмов, заметил, что первые страницы книги намного более потрепаны, нежели конечные. Ему показалось это странным и он подумал: а нет ли здесь какой-либо закономерности? То есть, почему люди чаще умножают/делят числа, у которых первая цифра от 1 до 4, нежели от 5 до 9?

Френк Бенфорд (Frank Benford) в 1938 году (почти 60 лет спустя) решил проверить это предположение на разнообразных наборах данных и подтвердил, что предположение Нькомба верно. В статистике рождаемости, смертности, номерах домов – везде соблюдалась закономерность: первая цифра числа большинства реальных данных чаще оказывалась от 1 до 4.

Точнее даже, вероятность распределения следующая:

1 - 30.1%
2 - 17.6%
3 - 12.5%
4 - 9.7%
5 - 7.9%
6 - 6.7%
7 - 5.8%
8 - 5.1%
9 - 4.6%

Причём эта закономерность сохранялась и в других системах (не только в десятичной). Разумеется, этому есть своё математическое объяснение, но нам интересно другое: как это применить?

Хэл Вэриан (да, да, тот самый Chief Economist of Google) в 1972 году решил проверить эту закономерность для обнаружения возможных искажений социо-экономических данных, а Марк Нигрини (Mark Nigrini) применил её для выверки бухгалтерских и финансовых данных. Кстати, во многих штатах несоответствие данных закону Бенфорда (так назвали эту закономерность) является формальной уликой для судебных органов.

Итак, что нужно чтобы распознать фальшивые данные? Просто возьмите эти данные и подсчитайте частоту первых цифр чисел, а затем сравните результаты с таблицей распределения вероятностей выше. И, если данные сильно разнятся, то данные скорей всего не верные.