Служба в Севастополе
В декабре 1782 года Юхарин прибыл в Ахтиарскую (ныне Севастопольскую) бухту на кораблях Азовской флотилии «Осторожный» и «Храбрый», пришедших сюда на зимовку с целью определения возможности базирования кораблей будущего Черноморского флота. В Килен-бухте, под его руководством был сооружён киленбанок- пристань для осмотра и ремонта подводной части кораблей. Своё название бухта получила именно от способа очистки дна кораблей. Корабли килевали, то есть кренили набок так, чтобы днище выходило из воды на сушу. А потом его очищали от ила и ракушек.
С началом строительства нового города, названного 10 (21) февраля 1784 года Екатериной II Севастополем, Юхарин возглавил работы по созданию адмиралтейства.
В 1786 году корабельный подмастерье Юханин был членом комиссии по защите судов Черноморского флота от червоядия. Он предложил несколько из находившихся в Севастополе судов выкренгелевать, сделать вторую обшивку, поставить около берега в том месте, где наиболее проявляется активность древоточцев, и через год провести освидетельствование судов. Предложение было одобрено и в июне 1786 года Г. А. Потёмкин издал распоряжение Черноморскому адмиралтейскому о проведении эксперимента, который впоследствии дал свои положительные результаты.
Корабельного подмастерья Юханина высоко ценил адмирал Ф. Ф. Ушаков. В рапорте Потемкину от 10 июля 1791 года по поводу окончания ремонта корабля «Иоанн Предтеча» Ушаков писал:
«…особо же замечен мною господин корабельный подмастерье секунд-майорского чина Юхарин, неусыпным прилежанием и старанием заслуживает благоволения и милости вашей светлости, о которой сим и представить честь имею…»
Юхарин за руководство ремонтом кораблей, находящихся в Севастопольском порту, был награждён орденом и имел приставку к званию «кавалер». В конце 90-х годов Юхарину присвоили звание корабельного мастера. Когда Ф. Ф. Ушаков добился разрешения на строительство в Севастополе военных кораблей, то в качестве ближайшего помощника и руководителя строительством кораблей он пригласил Юхарина.
«Захарий и Елизавета»
В мае 1798 году Юхарин участвовал в испытании нового корабля 74-пушечного линейного корабля «Святой Захарий и Елизавета», строителем которого был его первый учитель А. С. Катасанов. Корабль вместе с другим кораблём новой конструкции «Святой Пётр» и тремя кораблями старой конструкции принял участие в испытаниях, проводимых по указанию Павла I.
30 декабря 1798 года Юхарин вместе с 36-ю мастеровыми, по просьбе адмирала Ушакова и распоряжению Черноморского адмиралтейского правления, прибыл на остров Корфу, где в гавани Гуви организовал ремонтную базу для ремонта кораблей Черноморского флота, принимавших участие в войне с Францией.
Несмотря на то, что адмирал Ушаков ценил корабельного мастера и доверял ему ответственные работы, между Юхниным и адмиралом были разногласия. В один из выходов кораблей в море Ушаков приказал занести в вахтенный журнал, что
«господин корабельный мастер Юхарин неоднократныя ему, адмиралу, быть в каюте, оказал грубости, да и на шханцах, когда велено было сойти вниз, против сего был ослушен».
После возвращения кораблей Черноморского флота из Средиземного моря Юхарин продолжал заведовать судоремонтом в Севастопольском адмиралтействе. В апреле 1805 года в Севастополь из Санкт-Петербурга прибыл корабельный мастер О. П. Амосов, которому было поручено организовать в адмиралтействе судостроение. Но Амосов пробыл в Севастополе недолго, и работу по созданию судостроения в адмиралтействе продолжил Юхарин. Под его руководством был сооружён стапель, на котором 15 (27) декабря 1808 года был заложен первый корабль — корвет «Крым», до этого кораблей данного класса Черноморский флот не имел. Закончить строительство корвета Юхарин не успел, достраивал корабль корабельный мастер А. И. Мелихов. В 1809 году по болезни Иван Иванович Юхарин ушёл в отставку и вскоре умер.
Память
На южной стороне Севастополя близ Камышовой бухты расположена Юхарина балка, которая своим названием обязана семейству Юхариных — а именно корабельному мастеру И. И. Юхарину и его брату Фёдору Ивановичу — генерал-майору, цейхмейстеру — управлявшему частями морской артиллерии Черноморского флота, Георгиевскому кавалеру. Братья поселились в Севастополе в районе этой балки сразу же после основания города.