１−１／１６＋１／１６＾２＋・・・＋（−１／１６）＾ｎ＋・・・＝１６／１７

この問題を見て「回転行列を扱った問題である」という考えから離れられなくなると、
膨大な計算量に押しつぶされ、計算不能に陥ります。ここは発想の転換が必要です。

「解答」
まず点P1からｘ軸に垂線を下ろし、その足をHとします。そしてP1Hをb0、P0Hをa0と
します。実は、Pn（ｘ、ｙ）のｘ、ｙはこのaｎ、bnを単位として増減しているのです。
ここでP0が１８０°回転した時点でのｘ、ｙの増減値、p、qを求めます。なぜかというと、
一定の割合(1/2)で扇形が縮小していくのですから、増減の基本単位を求めれば、
あとは簡単な無限級数で表現可能になります。
an=1/(2^n)-bn
bn=1/(2^n)/(√2)
に注意して、
p=−a0-b1-b2-a3=(3√2-18)/16
q=b0+a1-a2-b3=(5√2+4)/16

従って、
x=1 + p(1 - 1/16 + 1/16^2 - 1/16^3 + ... + (-1/16)^n + ...)
=1+p*16/17 = (3√2-1)/17
y=q(1 - 1/16 + 1/16^2 - 1/16^3 + ... + (-1/16)^n + ...)
=q*16/17=(5√2+4)/17

従って、x= (3√2-1)/17、ｙ=(5√2+4)/17に収束します。
数値計算で求めると(0.1907435698,0.6512392831)に収束します。

この問題は難問でも奇問でもありません。ストレートな問題です。
しかし一般項を求めてから極限値の計算という手順に固執すると、難しい問題になってしまいます。必ずしも一般項は必要ではないのです。

いやぁ一般項求めようと思いましたね〜頭が凝り固まっていますね
柔軟な発想を持てるようにしたいものです。