разработчики должны быть ориентированы на качество. а лучшая литература для разработчика, ориентированного на качество — это что? правильно, стандарты.
поэтому встречаем:
ISO/IEC 9945: Information technology -- Portable Operating System Interface
искать
в торрентах редакцию 2003 года (части 1-4), или купить на iso.org
текущую рабочую версию.
хорошим дополнением (не только по операционным системам, а по программированию вообще) будет изучение стандарта языка C (
ISO/IEC 9899) и классический труд
The Art of Unix Programming.
дерзайте, и гореть вам в аду, как биллу гейтсу, если вы создадите свою операционню систему, не ознакомившись с вышеприведенными ссылками.