指南针指向南方有两个原因。首先，古代中国人用北极星代替指南针。北极星指向北方是中国人的常识和传统习惯。另一个原因是，在中国古代文化中，南方是阳，北方是阴，所有活着的人都尊重阳。在古代，朝南的位置一直受到尊重，有“南为王，北为朝”的说法，意思是朝南的叫皇帝，朝北的叫朝臣，朝臣是拜王的。皇帝的座位和议事都是朝南的，所以标明方向，以南为主。
指南针的前身是中国古代四大发明之一的新浪。早在战国时期，古人就用天然磁铁矿雕刻出一个瓢形的东西，放在光滑的盘子上，盘子上刻着方位。利用磁导功能，可以识别方向。瓢指向南方，所以后来叫指南针。
新浪的改进
不过，司南用天然磁铁制成，因为磁勺是通过思考形成的，所以磁勺的磁性减弱了。同时磁勺和方板之间有摩擦力，所以新浪的灵敏度不够。而且磁勺不会固定在光盘中心，每次使用都需要手动拨动磁勺旋转然后定向。这种方法在颠簸的状态下不方便使用，甚至无法定向。
两晋南北朝时，人们注意到磁铁可以吸引和磁化铁针，于是试图将四纳的勺形天然磁铁改为磁针，从而实现了磁铁材料和形式的改进。新浪原来是一方领地。当它的勺形磁铁换成磁针后，圆形领地取代了方形领地，更适合磁针的指向需求。
但是磁针直接放在草皮上是不能自由旋转的，所以如果要用磁针代替勺子磁铁，还是需要考虑如何让磁针在草皮中心自由旋转，使其定向。古人也想出了很多办法来解决这个问题。
第一种方法:吊针法。将磁针用细线挂在无风处的部位，让其自由旋转，然后定向。发现这种方法是可行的，但是容易受风的影响，会不停的摇摆，颠簸的状态下还是不能用。人们把磁针改造成蝌蚪形或鱼形的薄片。这种方法在两晋南北朝时期才真正使用。
第二种方法:浮针法。把新浪的中心圆做成凹形，装满水，然后让小磁针浮在上面定位。正如我国科技史学者潘继兴教授总结的那样，这种方法解决了站点放置磁针的问题，对新浪来说是革命性的进步。按照这种方法制作的导向装置，其实在北宋的文献中就有记载，也就是水罗经的原理，但实际上这种导向装置出现在唐代。
