Summer Pockets is set on an isolated, rural, and peaceful island on the Seto Inland Sea called Torishirojima, which has a population of about 2,000 people. The protagonist is Hairi Takahara, a young man not native to the island. Hairi grew up in an urban setting, but after an unpleasant incident, he uses the recent death of his grandmother as an excuse to come to the island to take care of her estate sale. Once there, he gets to know four girls who are the focus of the story. They include Shiroha Naruse, who forgot her summer vacation; Ao Sorakado, who is pursuing the legends of the island; Kamome Kushima, a high-class girl looking for a pirate ship; and Tsumugi Wenders, a younger girl trying to find herself.
Pour surmonter le récent décès de sa grand-mère, Takahara Hairi décide de passer ses vacances d'été sur une île nommée Torishirojima. En arrivant, il remarque qu'une fille seule se trouve sur le quai. Une fille regardant au loin alors que ses longs cheveux voltigent au gré du vent. Alors qu'il la regardait avec stupéfaction, elle disparaît mystérieusement.
Peu de temps après, Hairi commence doucement à s'habituer à la vie sur l'île, entouré par une nature bien plus luxuriante que tout ce qu'il a pu rencontrer en ville.
Alors que le temps semble s'écouler doucement, des souvenirs de quelque chose de nostalgique lui reviennent sans cesse. Des souvenirs qu'il avait oublié depuis longtemps...