なんとなく考えると、ＰがＯＡに対して無限遠方にあるときに∠ＡＰＢは最大になるような気がしますが、ちゃんとやってみると違いますね。
以下、あってるかどうか知らんけど。。。

文字を設定します。
∠ＡＰＢ＝θ、∠ＯＡＰ＝α、∠ＯＰＢ＝β
まず、
tan(α)=a/2・・・�@
tan(β)=1/a・・・�A
α = 90-β-θ・・・�B
です。
�@から
a = 2tan(α）
これと�Bから
a = 2tan(90-β-θ) = 2tan((90-θ)-β)
tanの加法定理から
a/2 = ( tan(90-θ)-tanβ ) / ( 1-tan(90-θ)tanβ )
を得、�Aを適用すると
a/2 = ( a*tan(90-θ)-1 ) / ( a-tan(90-θ) )
これを整理すると
tan(90-θ) = (a^2 + 2 ) / (3a)
となります。
θが最大値となるとき、tan(90-θ)は最小値を取るから、右辺=f(a)を最小にするaが求めるものとなります。
f'(a) = ( a^2 - 2 ) / ( 3*a^2 )
a>0としてよいから、
f'(a) = 0 となる a は √2。
答えは √2。

どう？

Bonnさんと同じ答えになってしまいましたが、tan(90-θ)（私の場合はtan(α)）が少し違うみたいです。

∠ＢＰＡ＝α、∠ＯＰＢ＝β
とすると
tan(β) = 1/a
tan(α+β) = 2/a
ここで、tan(α+β)をtan(α)とaで表すと
2/a = tan(α+β)
= (tan(α)+tan(β))/(1-tan(α)tan(β))
= (tan(α)+1/a)/(1-tan(α)/a)
上式をtan(α)についてまとめると
tan(α) = a/(a^2 + 2)
となります。
このまま極値を求めると面倒なので、
tan(90-α) = a + 2/a
とします。こうするとαが大きいときtan(90-α)の値は小さくなるので、tan(90-α)の最小値を見つけます。

ここで極値を求めるためにtan(90-α)を微分します。
tan'(90-α) = 1 - 2/a^2
となり、a>0とすると√2かが極値となります。
さらに、√2が極大値か極小値であるか調べるために
更に微分をします。
tan''(90-α) = 6/a^3
a = √2 を代入すると正の数になるので、極少値ということが分かり、∠ＡＰＢを最大するようなaは√2であることが分かります。

そうゆうことか
有難うございました

お恥ずかしい限りです。
tanの加法定理を間違えてました。
そこを修正すると
tan( 90-θ ) = ( a^2+2 )/a
が得られますね。
結果的にこれをゼロとして分母aで割っちゃいますからイフさんと同じ結果になりますね。
失礼しました。

最小値は相加平均・相乗平均の関係性が吉。

てか、もうロックでよくね？