春、夏、秋、冬、賀、別、物名、雑(上・下)、神楽歌、恋(五巻)、雑春、雑秋、雑賀、雑恋、哀傷の二十巻、約1350首からなる。雑春・雑恋といった部類を持つ構成はかなり独創的なものである。
「拾遺」の名義は前代の勅撰集に漏れた秀歌を拾い集める意で、その名の通り、この集では
紀貫之(107首)をはじめとする古今歌人が引き続き多数入集する一方、
柿本人麿(104首)ら
万葉歌人が再評価され、
大中臣能宣(59首)・
清原元輔(48首)・
平兼盛(39首)ら後撰集時代の歌人の作が新たに補われた。また、
斎宮女御・
藤原道綱母・藤原公任などの当代歌人も登場する。物名部において、卑官の
藤原輔相が37首も採られているのも興味深い。