持統天皇9（695）年、備中国下道郡出身で右衛士少尉（うえじのしようじよう）（中央政府警備兵下級指揮官）の下道朝臣圀勝の子として、藤原京内かその周辺で生まれたであろうと推察されている。23歳の養老元（717）年、遣唐留学生として阿倍仲麻呂らとともに唐へ渡り、五経・三史をはじめ、法律・算術・天文・兵法・暦法などの学問を学び、41歳の天平7（735）年に帰国した。帰国後、書籍（儀式・暦・音楽関係）・測量器具・楽器・武器などを朝廷に献上。以後、数々の官職を歴任して出世を果たした。
　天平18（746）年、吉備朝臣の姓を賜る。その後筑前守・肥前守に左遷されたこともあったが、天平勝宝3（751）年、57歳で遣唐副使となり、翌年に再び渡唐した。聖武天皇の命を受け、唐政府の許可を得ぬまま秘密裏に鑑真（唐の僧侶、日本の律宗の開祖）を伴って天平勝宝5（753）年に帰国している。その成果にも関わらず、帰国後は九州の地に留め置かれたが、天平宝字8（764）年、70歳のときに造東大寺長官に任命されて平城京へ帰る。同年の恵美押勝の乱で功績を挙げ、天平神護2（766）年に右大臣となる。称徳天皇崩御後、後継をめぐる政争に敗れて辞職・隠居。宝亀6（775）年81歳で没。