В настоящее время широко используются две версии языка: Python 2 и Python 3. Версия Python 3 пока что уступает по распространённости, но за ней будущее, поэтому рекомендуется (при прочих равных обстоятельствах) использовать именно её. Подробнее здесь.
Существует несколько дистрибутивов Python, среди которых есть и бесплатные, и коммерческие, в которые входят многие популярные библиотеки для научных вычислений. Из бесплатных Windows-дистрибутивов могу посоветовать WinPython и Anaconda. Они включают такие библиотеки, как NumPy, SciPy, MatPlotLib, SymPy, так что их не придётся устанавливать отдельно. Кроме того, в комплект входит достаточно мощная среда разработки Spyder.
Интерактивных оболочек для разработки на Python достаточно много, меня вполне устраивает функциональность JetBrains PyCharm. Бесплатная версия этой среды (Community Edition) поддерживает форматирование кода, автодополнение, проверку синтаксиса налету, установку и обновление библиотек, отладку.