Перспективных искажений быть не должно, дырка то не меняется,

Дырка нет. А расстояние от дырки до матрици в центер меньше чем до краёв. И чем ближи ваш пинхол к матрице, тем силнее кратность этой разницы расстояний. В пределе - "рыбий глаз".
Кстити, из-за этого, в Агфе сделана кривизна пололзьев для плёнки - что бы как-то скомпенсировать дистросию на зажатых диафрагмах.