Please say hi to me if you see me studying in the library.
「～する私」は目的語の「me + 動名詞」というパターンとなります。
例) me studying
「図書館で勉強している私を見たら声をかけてください」
Please say hi to me if you see me studying in the library.
「声をかけてください」は言い換えとしてsay hi to me（私に挨拶して・hiを言って）にしました。
if you see me studyingは「もし勉強している私を見かけたら」という意味となります。
when you see meを使うと「私を見た時に必ず」というニュアンスがありますので、「もし私を見かけたら」というニュアンスのif you see meのほうがベターだと思います。
Please come say hello when you find me studying in the library.
良い質問ですね(^^) I ではないな、と質問者さんは思ったのですね！Good job!
かっこの中に入る単語の答えは、
me
ですよ。
でも、そのあとに、
me studying というふうに、勉強しているという部分を付け足す必要があります。
Please come say hello で、
（近寄ってきてハローという→声をかける＿）という意味です。
（図書館で勉強している私を見たら声をかけてください。）は、
Please come say hello when you find me studying in the library.
（図書館で勉強している私をみつけたら、ハローっていいに来て下さい）です。
これで完璧ですね。
日本語で、声をかけてね。というのが決まった言い回しであるのと同様に、
英語でも、Please come say hello は決まった言い回しです。
このままの形で覚えてしまって、使えるようになって下さいね(^^)
「○○する私」は英語で me ○○ing になります。例えば「勉強している私」は me studying になります。
Please speak to me when you notice me studying at the library は文法的に合っていますが、最もネイティブな言い方は Please say hi to me if you see me studying at the library だと思います。
ご参考になれば幸いです。
アメリカ合衆国 
日本 
