В 1811 г. Оленин стал первым директором Императорской Публичной библиотеки. Тогда в ней работали преимущественно люди, знающие польский или французский языки. Оленин набирает в штат новых людей, которые, по его мнению, способны сформировать и обслуживать национальную библиотеку России. Это поэт и переводчик Н.И. Гнедич, баснописец И.А. Крылов, лингвист А.Х. Востоков и другие ведущие деятели культуры того времени.
