Події фільму «Літні кишені» розгортаються на тихому, віддаленому острові Торісіродзіма, розташованому у внутрішньому морі Сето, де проживає близько 2 000 мешканців. Історія розповідає про Хайрі Такахару, молодого чоловіка, що виріс у місті, який вирушає на острів під приводом управління маєтком своєї покійної бабусі, щоб втекти від нещодавніх життєвих негараздів.
Вживаючись в острівне життя, Хайрі знайомиться з чотирма унікальними дівчатами, які формують його літо: Широха Нарусе, тиха дівчина, яка втратила свої спогади про літо; Ао Соракадо, жвава дівчина, яка переслідує місцеві легенди; Камоме Кушіма, багата мрійниця, яка шукає піратський корабель; і Цумуґі Вендерс, допитлива дівчина, яка подорожує у пошуках самопізнання.