文久2年(1863)福井藩士岡倉覚右衛門の二男として横浜に生まれる。本名覚三。
明治13年(1880)東京大学文学部卒業。
明治23年(1890)より東京美術学校校長。
明治31年(1898)東京美術学校校長を非職となる。橋本雅邦らと日本美術院を設立。
明治37年(1904)渡米してボストン美術館の仕事に携わり、以後日本、中国、インドの美術作品購入と、整理保存に尽力。同美術館顧問および中国日本美術部長として、中国日本美術部の中にインド部門を加える必要を説いた。
明治38年(1905)二年前に購入した五浦の土地に邸宅と六角堂を建てる。
明治39年(1906)日本美術院の絵画部を五浦に移転。
大正2年(1913)9月2日、赤倉にて没。享年50歳。
主著に『東洋の理想』(1903)、『日本の覚醒』(1904)、『茶の本』(1906)。
この写真は、ボストン美術館に於いて撮影したものである。