水槽Aに20立方cmの石を沈めると水位Mcm分の水が溢れる。
溢れた水の量は石の体積と等しい。
そこからさらに水位Mcm分水が溢れるということは，さらに20立方cmの水が溢れたということ。
よって，2回目に沈めた石の体積Pは，20+20で40立方cm。

次に，各辺の長さが10cmの水槽に，水槽Aの水を移す。
深さ5分の1のところまで水があったのだから，深さは2cm。10×10×2=200。よって水の量は200立方cm。
ここで，水槽Aからは40立方cmの水が溢れていたため，水槽Aの容積は200+40で，240立方cm。
水槽Aは立方体なので，各辺はそれぞれ240^(1/3)cm。
水槽Aで水位がMcm下がると20立方cmになるから，
240^(1/3)^2×M=20
M=20/(240^(1/3)^2)=5/(30^(2/3))=(30^(1/3))/6

という感じでいいのでしょうか･･･？
Mの方は三乗根とか出てきてよくわからなくなっています。不安です(^^;