Батько його татарин з білоруським корінням, був учителем історії й географії, а мати походила з відомого польсько-литовського роду, тож Агатангел Юхимович не раз підкреслював своє цілковите неукраїнське походження, а проте він казав: «Я родився і виріс на Вкраїні та й українозувався, став українофілом»
В юності він закохався в Лесю Українку, але без взаємності. Про це, на думку дослідників, свідчать їхнє листування і рядки вірша Павла Тичини на 60-ти ліття А. Ю. Кримського, в якому прямо говориться про «вічну мрійну Лесю Українку». Вчений цілком присв’ятив себе науці, так і не захопившись жодною жінкою. Лише після арешту, Миколи Левченка, він одружився із його вагітною дружиною, щоб дати дитині своє прізвище.
В Москві Агатангел навчається у Лазерівському інституті східних мов. Закінчивши інститут він отримує дворічну стипендію для поїздки до Лівану та Сирії. Там А. Кримський отримав ґрунтовий вишкіл орієнталіста, основними дисциплінами для нього стали арабська філологія, іслам та арабська література.
Під час гетьманату Скоропадському 1918 року Кримський повертається до Києва та отримує посаду вченого секретаря новостроєної Української академії наук. Очолює кабінет арабсько-іранської філології та історико-філологічний відділ. Під його керівництвом працюють правописна й діалектологічна комісії, словника живої мови, історії мови.
1921 рік Агатангел стає директором Інституту української наукової мови. На той час він майже осліп через читання, тож його секретарем і постійним помічником стає Микола Левченко якого він пізніше усиновив. У 1929 році Миколу заарештовують у справі СВУ. Після чого протягом 5 років – заслання, а після повернення самогубство. Ці події стали для Кримського страшним ударом.
Лазар Каганович запропонував укласти «Російсько-український словник», але Кримський рішуче відмовився: «Не хочу рискувати своїм чесним ім’ям перед галичанами, що досі твердо вірили в мою непідкупну чесність і рішуче усуваюся від участи в словникові, де безбашно гарцюють усякі мовокалічники та мовозасмітники». 1941 року в Києві урочисто – з нагородою орденом Леніна – відзначать 70-річчя Кримського. Але вже за кілька місяців все зміниться. Війна застала його з прийомним сином Василем у Ялті. Не гаючи часу, вони рушили до Звенигородки, аби врятувати тамтешні й київські рукописи. На той момент Академію наук уже евакуювали до Уфи. За кілька днів за Кримським приїдять працівники НКВС з постановою від 20 липня 1941 року, де його називають "ідеологом українського буржуазного націоналізму, який роками очолював націоналістичне підпілля".
Кримського разом з багатьма іншими представниками інтелігенції у холодних вагонах, відправляють до Казахстану. Є кілька версій його смерті. За однією з них, Агатангел Юхимович помер у кустанайській лікарні, що "славилася" своїм суворим режимом. Проте є сумніви стосовно його факту, адже досі невідоме місце його поховання. Можливо, професор так і не доїхав до Кустанаю й загинув у дорозі, як Л. Старицька-Черняхівська, О. Стешенко, І. Черкаський. Офіційна дата смерті Кримського – 25 січня 1942 року. 1957 року його було реабілітовано. Заслання і смерть.