Pertevniyal Valide Sultan Akif Bey’i Nigarmik’le evlendirir. İrade-i seniyye ile 40 altın maaşla saraydaki görevinden gönderilir. Taşlık’taki konağı satar, Zincirlikuyu’da bir çiftlik alır. 1876 yılına kadar Şura-yı Devlet’te kâtiplik ve Beykoz’da Maliye Müdürlüğü görevlerinde bulunur. Emeklilik günlerini ilerleyen yaşında Zincirlikuyu’daki çiftlikte geçirmeye başlar. Eski şaşaalı yaşamına göre münzevi bir hayattır bu. Bu süre zarfında besteler yapar, bestelerini Sultan Abdülaziz’e sunar. Bu bestelerden büyük bahşişler alır. Sadece o kadardır ama. Son derece eli açık yaşamaya alışmış biri için çok yeterli gelmez geliri. Fakat bu dönemde yaptığı besteleri sayesinde ünü imparatorluk sınırlarında her köşeye yayılır. Her musiki meclisinde zevkle okunur. Her gittiği yerde büyük itibar görür. Yetiştirdiği pek çok talebesi vardır ve bir ekol olmuştur. Onun ekolünü takip eden bir güruh oluşur. 19. yüzyıl saray müziğine damgasını vuran büyük bir bestekâr olduğu bugün bile kabul gören bir savdır.
İmparatorluk zor zamanlardan geçmektedir. Sadece cephede değil masada kaybedilen savaşlar, Batının ilmine, tıbbına eğitim ve fennine yetişemeyen ama batı hayranı olan onun gibi yaşamaya gayret eden gençler, ekonomik sıkıntılar, her türlü rüşvet ve yolsuzluğun alıp yürümesi derken sarsıntılar bitmez. İmparatorluk her alanda kan kaybetmektedir. Sarayda hızlı değişimler, taht mücadelesi… Sultan Abdülaziz’den sonra tahta VI. Murat, ondan hemen üç ay sonra da II. Abdülhamit geçer. Bunlar o dönem gündemine damga vuradursun yaşı kemale eren Arif Bey iki ara bir derede hacca gider gelir. Geri döndükten sonra Hacı Arif Bey olarak anılmaya başlar. Döndüğünde tahtta Abdülhamit vardır ve sultan her alanda çok sıkı bir tasarruf politikası uygulamaya başlar. Her türlü harcama kısıtlanır, her kalem harcama tetkik edilir hale gelir. Artık hiç kimseye bol keseden ihsan dağıtılmıyordur. Üstelik Sultan Abdülhamit batılı tarzda yetişmiş modern bir padişahtır ve klasik Türk müziği yerine Batı musikisine aşinadır. Bu tür müziğe daha düşkündür. Çocukluğundan beri tanıdığı Hacı Arif Bey’in biraz gönülperest belki de biraz havai biri olduğunu düşünmektedir. Ama yine de bunca yetenekli bir bestekârın saray dışında kalmasına gönlü razı gelmez. Öte yandan tüm gençliği helecan ve lüks içinde sarayda geçen Arif Bey son derece eli açık öyle emekli maaşıyla, kıt kanaat geçinecek mizaçta biri değildir. Alıştığı saray rahatını, özel yaşamında sürdürmek ister ama suyun kaynağı çok kuvvetli değildir. Son derece cömert hatta hesapsız denecek derecede harcama yapabilen Hacı Arif Bey çok fazla para sıkıntısı çekmektedir son yaşlarında.
Zaman zaman düzenlenen meşklere müzikseverlerin organize ettiği toplantılara katılıp müzik icra ettiği de oluyordu. Yine İran Büyükelçiliğinde düzenlenen böyle bir toplantı da bestelerini paylaştığında tüm dinleyicilerden özellikle İran büyükelçisi Mareşal Muhsin Han’dan çok büyük iltifat alır ve hayranlık uyandırır. Büyükelçi Muhsin Han o mesut anların evsafı mucibince ona pek çok hediyeler verir. Hacı Arif Bey o eski yıldızlı şatafatlı günlerini gençliğini yaşar.
İran Şahı Şah Kaçar’da 1871 ve 1873’te İstanbul’a geldiğinde Beylerbeyi Sarayı’nda Hacı Arif Bey’i dinlemiştir. Saray defterlerinde tarihçilerin, vak‘anüvislerin bahsettiğine göre özellikle Hafız’ın gazelinin bestesini çok beğenmiştir, Farsça okuduğu bir gazeli unutamamıştır. Bu durum Sultan Abdülaziz’i son derece gururlandırıp göğsünü kabartır. Şah Tahran’a dönünce memnuniyetini ifade etmek için Hacı Arif Bey’e bir nişan ve sayısız çok değerli hediyeler gönderir. Daha sonraki bir ziyaretinde İran büyükelçisi Muhsin Han Sultan Abdülhamit’e Şah Kaçar’ın Haci Arif Bey’e olan hayranlığından ve eğer izin verir ise onu Tahran sarayına davetinden bahis açar. Ama bu isteği Sultan Abdülhamit çok makul karşılamaz. Onun gibi değerli bir müzik insanının başka devletlerin himayesinde olmasının uygun olmadığını düşünerek Hacı Arif Bey’in aslında sarayda Mızıka-yı Hümayunda önemli bir görevinin olduğunu beyan eder. Ancak onun sarayda hocalığa devam edip etmediğinden bile haberdar değildir. Hatta büyükelçiye onun yerinin doldurulamayacak kadar kıymetli olduğunu söyleyerek bu teklifi nazikçe reddeder. Ziyaretin ertesinde Hacı Arif Bey hemen sarayda düşük bir maaşla Mızıka-i Hümayunda alt bir göreve tayin edilir. Hacı Ârif Bey’in, kolağası rütbesiyle yeniden Muzıka-yi Hümâyun’a dördüncü kez alındığı bu devresinde öncekiler kadar ilgi gördüğü söylenemez. Bestekârla II. Abdülhamid arasında evvelki padişahlarla olduğu gibi samimiyet kurulamadığı anlaşılmaktadır. Hayatını incelediğim süre içinde şunu da gördüm ki bir defasında padişah birkaç yeni şarkısını bizzat Ârif Bey’den dinlemek istemiş, fakat bestekâr hastalığını ileri sürerek özür dilemiş. Padişahın bestekârı tekrar çağırtması üzerine de mâbeyinciye, “Sanatta irâde-i hümâyun olmaz” dedikten sonra II. Abdülhamid’in babasından ve amcasından daha fazla rağbet gördüğünü söylemiştir. Bunun üzerine padişah bestekârın Muzıka-yi Hümâyun’daki odasında hapsedilmesini emreder. Elli gün odasından çıkamayan Hacı Ârif Bey yeni bestelediği, “Ahteri düşkün garîb ü âşık-ı âvâreyim” mısraı ile başlayan nihâvend şarkısını hükümdarın huzurunda okuması için arkadaşı sermüezzin Rifat Bey’den ricada bulunur. Bunun üzerine cezası affedilen Ârif Bey miralay rütbesine yükseltilir.
Ahter’i düşkün garib-i âşık-ı âvâreyim
Gün gibi deryâ-yı aşkında gezer bîçâreyim
Sana kul oldum kapında gayrı kande varayım
Şivekârım sen dururken ben kime yalvarayım
İran şahında gıyaben aldığı davetin reddedilmesi, sarayda yaşadığı eski aradığı itibar ve taltifi bulamayışı ve bunun gibi başka mevzular onu iyice moral olarak çökertir. Tüm bu yaşadıkları ve olanlar onda hayal kırıklığı ve üzüntü yaratır. Kırgın ve mahzundur. Saraydaki görevini, derslerini ihmal eder. Tekrar çiftliğindeki sade hayatına döner.
Vefatından bir yıl önce kalp hastalığına yakalandığını yazıyor kaynaklar. Kürdili-hicazkâr makamında
‘Gurûb etti güneş dünyâ karardı
Gül-i bağ-ı emel soldu sarardı
Felek de böyle mâtemler arardı
Gül-i bağ-ı emel soldu sarardı’ şarkısını besteledikten kısa bir süre sonra 28 Haziran 1885 tarihinde hayata gözlerini yumar. Beşiktaş’ta Yahya Efendi Dergâhı’nın haziresine defnedilir.