कोविंद १९९१ साली भाजपा मध्ये प्रवेश करून सक्रीय राजकारणात उतरले. १९९८-२००२ च्या काळात त्यांनी भाजपाच्या ‘दलित मोर्चा’चे अध्यक्ष पद भूषविले. ते ‘अखिल भारतीय कोळी समाजा’ चे अध्यक्ष व पक्षाचे राष्ट्रीय प्रवक्ता देखील होते. या काळात त्यांनी विधानसभेवर जाण्यासाठी दोनदा निवडणुका लढविल्या पण दोन्हीही वेळेस त्यांना अपयश स्वीकारावे लागले. कोविंद, १९९४ ते २००६ अशी सलग बारा वर्षे (२ टर्म) उत्तर प्रदेशातून राज्यसभेवर खासदार म्हणून निवडून गेले होते. खासदार असतांना संसदेच्या अनेक महत्वाच्या समितींचे ते सदस्य राहिले आहेत. याशिवाय त्यांचा, डॉ. बी. आर. आंबेडकर युनिवर्सिटी, लखनौ च्या ‘व्यवस्थापक मंडळात’ समावेश होता. आयआयएम, कलकत्त्याच्या ‘प्रशासक मंडळात’ देखील ते होते. त्यांनी संयुक्त राष्ट्रात भारताचे प्रतिनिधित्व केले असून ऑक्टोबर, २००२ मध्ये संयुक्त राष्ट्र महासभेला संबोधित देखील केले आहे.