Причем тут внуки?

Если 5/8 завещаны дочери и сыну, и сын умер до открытия наследства — все наследует дочь. Что «повисло» совершенно непонятно…

Значит все наследует дочь.

Вопрос в долях. Важно знать, чем владела мать до смерти. И о чем идет спор. Почему она завещала именно 1/2 и 1/8?

1/8 — собственность дочери, если в завещание не был подназначен (ны) наследник (наследники) — внуки.

То есть, к моменту смерти матери она была единоличной собственницей дома, который завещан дочери и сыну? Или нет? Или она была собственницей 5/8 в праве на дом?

Так кто и за кем наследует? Речь идет только о наследстве после смерти матери, или Вас интересует весь путь, начиная со смерти отца?

Да, теперь ему нужно обращаться в суд.

Вы не написали главного — после смерти отца, кто стал собственником его имущества (кто его унаследовал)? Было завещание на мать? Или наследники наследовали его имущество по закону?

Да, может. Трехлетний срок, который у многих на словах и в мыслях, к моменту расторжения брака не имеет никакого отношения.