Hadoop DataNode Hatası Ve Çözümü
Hadoop’u incelemeye başladıysanız ve benim gibi daha çok Windows/.Net ekseninde hayatınız geçmişse, tüm örneklere rağmen ilk günler oldukça yorucu ve can sıkıcı geçebiliyor. Örneklerini adım adım yapmanıza rağmen istediğiniz sonucu elde edemeyebiliyorsunuz.
Beni birkaç gündür uğraştıran bir hatanın çözümünü bulunca, başkalarının da birkaç günü heba olmasın diye paylaşmak istedim.
İlk denemelerinizi yaparken az sonra açıklayacağım sorun nedeniyle aşağıdakine benzer bir hata alabilirsiniz.
“There are 0 datanode(s) running and no node(s) are excluded in this operation.”
Aslında hataya bakınca datanode’ların başlatılamadığını düşünüp, tekrar tekrar restart edebilirsiniz. Ama bu çözüm olmayacaktır. Hadoop datanode loglarına baktığımızda asıl sorunu daha net görebiliriz.
Incompatible clusterIDs
Gördüğümüz gibi datanode’lar ile namenode’umuzun clusterID’leri birbirini tutmuyor. Bunun sebebi ise namenode’u sonradan tekrar formatlamanız. Namenode tekrar formatlandığında ClusterId’si değişiyor ancak DataNode’ların değişmiyor. Bu sebeple de DataNode’lar başlatılamıyor.
Çözümü is gayet basit. home/hadoop/dfs/data (sizin bilgisayarınızda home/hadoop kısmı farklı olabilir.) klasörünü silmek ve daemons’ları restart etmek.
Umarım bu paylaşım birkaç kişinin zamanının heba olmasına engel olur. Benim de insanlığa böyle bir faydam olmuş olur 🙂