司马迁的父亲司马谈是汉武帝的太史令，是专门负责管理天文历法、记载史事的官员。
司马谈曾“学天官于唐都，受易于杨何，习道论于黄子”。他精通天文学、《易》学、黄老学等，以黄老学为主，批判地吸收儒、墨、名、法、阴阳各家学说，家有丰富的藏书，是当时一位著名的思想家。司马谈很爱儿子，要他劳动，读书，到各地调查，著书立说，……
司马谈很钟爱自己的儿子，一心一意要把司马迁培养成为一个有志有才之士。司马迁自幼勤勉好学，年幼时就常聚精会神地聆听父亲讲述诸子百家学派的学术观点和所见所闻的历史趣事。司马迁读书非常用功，也很聪慧，童年时就学会了当时所通行的文字。为了使他更好地体会社会生活，司马迁10岁前还遵照父命去学习耕地和牧畜，“耕牧河山之阳”，即帮助人家做些农活。后来他对儿时这段耕牧生活一直念念不忘，可见感受之深。他10岁开始阅读古文典籍，什么《左传》《国语》《世本》等等，他都广泛涉猎。
为了开阔眼界，打下学问的基础，司马谈还要儿子拜有名的学者为师，虚心学习他人的长处。司马迁曾向孔安国学习《尚书》，向董仲舒请教孔子作《春秋》的事迹。
司马迁20岁的时候，父亲又安排他到祖国各地去考察游历，这在当时是一个很有胆识的举动。因为那时候崇尚的是“父母在，不远游”的信条，而司马谈为了儿子成才，毅然打破了世俗观念的束缚。
在父亲的支持和鼓励下，司马迁离开长安舒适优越的生活环境，踏上漫游祖国名山大川的艰苦历程，这就是他在《史记·太史公自序》中所说的：“二十而南游江淮，上会稽，探禹穴，窥九嶷，浮于沅湘。北涉汶泗，讲业齐鲁之都，观孔子之遗风，乡射邹峰，厄困鄱薛彭城，过梁楚以归。”归后“仕为郎中”;又奉使“西征巴蜀，南略邛、笮、昆明”。后又游了许多地方，前后20年，行程数万里，足迹几乎遍及全国。所到之处，对当地的历史、地理、风土人情、轶闻趣事，都作了深入的调查和详细的记录，积累了极为丰富的史料，这对他以后作《史记》，在构思、取材和词藻、气势等诸多方面，都打下了坚实的基础。例如他在湘水流域，重读了屈原的《离骚》《天问》《招魂》《哀郢》等著作，并亲自到屈原投水殉节的汨罗江去进行凭吊和实地考察，为他后来写好《屈原贾生列传》作了充分的准备。
司马谈早就有心写一部通史，并作了长期的准备，但由于年老体弱，无法完成这项浩繁的工程，于是便把希望寄托在儿子身上。
司马谈病危时，拉着儿子的手，深情地说：“我身为国家的史官，却没能写出一部像样的史书，想起来就痛心。自从孔子以来，已经400多年，由于诸侯兼并，战火连绵，历史的记载也放松了，甚至可以说中断了。现在，海内一统，国家强盛，是到了续写这段史书的时候了。我作为汉太史令没有对这一段历史作出完备的记载，心中不安，真是死不瞑目啊!你要继承父志，千万不要忘记了著书立说这件大事，千万不能让国家史书中断了，千万不要忘记我还没有完成的大事啊!”说到这里，司马谈老泪纵横，泣不成声。司马迁伏在父亲的床边，立誓道：“就是有天大的磨难，我也要完成您的嘱托，请父亲放心!”
司马迁继任太史令后，发愤治史。虽受宫刑，忍辱负重，终于写成了千古之绝唱——《史记》。
父亲死后三年，司马迁继任“太史令”的官职，这使他有了更多的机会阅读国家收藏的各种书籍，进一步熟悉和整理列国的历史过程及重大事件、代表人物等，从而大大丰富了自己的历史知识。在长期的史料收集和大量实地调查研究的基础上，又经过五年的准备，司马迁开始着手《史记》的编纂工作，实现他父亲“记载天下之文”的遗志。42岁的司马迁深深懂得，历史对一个国家、一个民族兴衰荣辱的重要，他牢记父亲的期望和临终教诲，废寝忘食，全力以赴投入这一伟大而艰苦的工作。
