От своих двух жен Ольгерд имел большое потомство: по разным источникам, насчитывается двенадцать сыновей и пять дочерей. Наиболее известные его сыновья от Марии Витебской: Андрей-Вингольд Полоцкий, Владимир Киевский, Димитрий-Корибут Брянский и Димитрий Трубчевский; от Юлиании Тверской: Яков-Ягелло, Симеон-Лугвень, Коригелло, Скиргелло и Свидригелло (или Свидригайло). В Литовском великом княжении пока в полной силе господствовала та же система, как и в Древней Руси. Но порядок в наследовании великим столом, очевидно, еще не успел получить определенный вид. Как после Гедимина, так и теперь после Ольгерда мы видим вопрос о старшинстве спорным. Старшим в целом роде Гедиминовичей оставался Кейстут; но, уступая желанию своего брата Ольгерда, волю которого он привык уважать в течение столь долгого времени, престарелый литовский герой признал над собою старшинство племянника, то есть одного из Ольгердовичей, и остался по-прежнему удельным князем Трокским. Выбор Ольгерда пал не на самого старшего из своих сыновей, Андрея Полоцкого, а на старшего сына от второго брака, на Ягелло (Ягайла). На этот выбор, несомненно, повлияла мать сего последнего Юлиания, которая употребила все усилия, чтобы доставить великий виленский стол своему любимцу Ягеллу. Но так же, как и по смерти Гедимина, согласие в княжеской семье скоро нарушилось.
Не только самое достоинство великого князя служило предметом соперничества и распрей, но и лицо, захватившее это достоинство в свои руки, обыкновенно старается обуздать самостоятельные действия удельных князей, уменьшить их силу и вполне подчинить их своей верховной власти. Стремление это, конечно, имело государственный характер, и на его стороне находился естественный, обычный ход истории. Нигде победа верховной власти и государственного единства над удельным порядком не совершалась без борьбы, более или менее упорной, и без кровопролития. Таков общий смысл событий, последовавших в Литве и Западной Руси за смертью Ольгерда.
Княжение Ягайла началось междоусобием с его старшим братом Андреем Полоцким: последний не захотел уступить своего старшинства младшему брату. Не имея достаточно сил бороться с Ягайлом, которого поддерживал дядя Кейстут, Андрей удалился в соседний Псков, где он был князем еще в своем детстве и где его теперь также приняли на княжение. Затем он отдался под покровительство великого московского князя Димитрия Ивановича и вместе с его воеводами ходил на Северскую украйну в 1379 году. Москвитяне, как мы видели выше, воспользовались распрями в семье Ольгерда и отняли у Литвы некоторые города, в том числе Стародуб и Трубчевск; причем князь Трубчевский Димитрий Ольгердович, подобно брату Андрею, сделался московским подручником и получил удел в Суздальской области. В следующем 1380 году Андрей и другой его брат Димитрий-Корибут Брянский со своими дружинами принимали славное участие в Куликовской победе; между тем как соперник их великий князь Литовский Ягайло явился союзником Мамая и бесславно воротился из похода, услыхав о поражении татар. Чтобы наказать Андрея, Ягелло объявил его лишенным Полоцкого удела и передал этот удел своему единоутробному брату Скиргеллу. Когда сей последний прибыл в Полоцк, граждане, издавна имевшие славу строптивых вечников, вместо того чтобы посадить его на своем столе, посадили на старую клячу и с ругательствами выгнали из города. Тогда Ягелло послал для наказания их русско-литовское войско под начальством того же Скиргелла. Но во время осады пришла весть о княжении Кейстута на виленском столе; осаждавшее войско покинуло Скиргелла и ушло к Кейстуту.