Менее чувствительные аристократы открыто ненавидели его и завидовали тем, кто считался его другом. Все же они не стеснялись пользоваться его слабостями, когда речь шла о бессовестных нарушениях закона. Яков всегда был готов простить виновного за солидную сумму в звонкой монете, что помогало оплачивать его расточительные пристрастия.
Шотландию одолевали голод и нищета, но король ничего не хотел видеть. Он собирал изысканные драгоценности и древние манускрипты. Приобрел чудесный алтарь, написанный художником Гуго ван дер Гесом, изображавший молящихся Якова и Маргариту.
Король поддерживал деньгами группу поэтов и приказывал чеканить новые монеты со своим изображением. Его любимый архитектор Роберт Кокрейн выстроил парадный зал в замке Стерлинг. И поскольку Яков очень заботился о королевском престиже, столь грандиозное добавление к замку весьма его порадовало. Когда работы были закончены, он часто принимал там гостей.
Но для шотландской знати все это значило очень мало. Король, увлекавшийся модной одеждой и украшениями, монарх, прекрасно говоривший по-французски, но не знавший гэльского, был для них хуже сатаны.
И все же сильной стороной Якова была дипломатия. Он много сделал для того, чтобы в 1478 году устроить брак между своей сестрой, принцессой Маргаритой, и шурином английского короля Эдуарда IV, лордом Риверсом. К сожалению, союз так и не был заключен, поскольку принцесса, увлекшаяся лордом Крайтоном, ухитрилась забеременеть. После этого страна начала медленно сползать в хаос.
Убежденный, что младшие братья плетут против него заговоры, король приказал их арестовать. Старший, герцог Олбани, сумел сбежать в отличие от младшего, графа Мара, умершего при подозрительных обстоятельствах. Их сторонники, естественно, были весьма разгневаны. Олбани отправился в Англию, где нашел поддержку у Эдуарда IV, который объявил его королем Александром IV. Стычки на границе, обычно весьма нерегулярные, сейчас превратились в настоящую войну, когда Ричард, герцог Глостер, вместе с Олбани ввел войска в Шотландию.
Яков попытался дать отпор брату, но его же бароны восстали против своего короля, убили его фаворитов и отвезли в Эдинбург как пленника. Но тут, к полному недоумению Глостера, Александр, герцог Олбани, превратился в лучшего советника и друга старшего брата. Глостер вернулся в Англию, присоединив к владениям английского короля город Бервик.
Однако любовь Олбани к брату длилась недолго.
