上の子に手いっぱいで、下の子には何もしてあげられていないのですが、大丈夫でしょうか?(下の子に手がかかる場合も含む)

「学ぶ」の語源は「真似ぶ」です。直接的な取り組みが難しい場合には、上のお子さんの取り組みの様子を、間近で見せてあげることで真似ようとして色々なことを学ぶ機会となります。
逆に下のお子さんに付きっきりとなってしまう場合には、上のお子さんにはお兄さん(お姉さん)の自覚を持たせてあげることが大切です。その際に「お兄ちゃんなんだから、やりなさい(できて当たり前)」と言う言い方はNGです。

下の子はまだ自分一人ではできないこと、そこにどうしてもお母さんの助けが必要なことを伝えた上で、兄(姉)として一人前であると認めていて、お母さんが頼りにしている存在であることを、言葉で伝えてあげましょう。また、下の子がぐっすり眠った後に、上の子がたっぷりとお母さんに甘えられる時間を作ってあげるといいと思います。