课程详情:
围绕科研数据获取、数据清洗和数据分析的编程技术培训。和盈邀请你的参与。
本次培训主要覆盖了四部分内容。 Stata 编程、Python 爬虫、 ArcGIS 应用和因果推断计量经济学与 Stata 实现。旨在让学员熟练掌握 Stata 数据的读取、数据的清洗和处理、网络数据读写;掌握 Python 爬虫,并能独立编写爬虫程序,使用ArcGIS 进行地理信息数据管理、展示与分析等实用技术,了解应用计量经济学中的因果推断原理与 Stata 实现。
我们将采取实例教学,让大家将所学技巧与科研过程中遇到的实际问题相结合,学了就能用!助您成为数据获得、数据分析、数据管理和数据展示的达人!
李老师:
擅长 Python 编程、Stata 编程,熟悉 Python 与 ArcGIS 交互 ,具有丰富的程序设计经验,负责业界公司多个百万级爬虫项目,参与多个实证研究项目,完成过多项高难度爬虫任务,经验丰富。
和盈编程培训内容
第一部分、Stata
Stata 基础
Stata 常用函数
Stata 数据清洗、整理
Stata 文本处理
Stata 宏与循环
Stata 读写网络数据
-抓取谷歌地图API获取经纬度信息、百度地图API
-抓取十八大以来落马官员的数据
-抓取和讯网上市公司社会责任报告数据
-学员意向网站爬取(选讲)
Stata Debugging
第二部分、Python
对于高效完成大规模爬虫项目而言,Python是比Stata更为合适的编程语言。通过这部分的学习,你将了解到:Python的安装和基础语法;如何解析纷繁复杂的各类静态、动态网站;如何利用多进程的优势爬取数据并与数据库交互;如何导入各类型本地数据,爬取网址对应所需数据,并保存为本地数据(Stata dta 、csv 等);如何解决基本的反爬虫问题。学习Python,也有利于你进一步学习对大数据进行数值运算,统计分析,机器学习。
Anaconda 环境配置及IDE安装
Python 语法及数据结构入门
网页结构分析(HTML、CSS选择器、Xpath定位)
网站协议,发送请求,解析网站
【实战】:静态网页爬虫
数据处理及存取(正则表达式、Pandas)
Python 与 MySQL 数据库交互
反爬虫初探
【实战】:多进程爬虫
Selenium 模拟浏览器爬虫
【实战】:动态网页爬虫
代码稳健、json 数据处理(选讲)
表单提交、网站登录及 Cookie(选讲)
【实战】:学员意向网站爬取(选讲)
第三部分、ArcGIS
地图数据展示(基本画图展示)
地理信息数据管理、分析
Python 与 ArcGIS 交互
利用 OpenStreetMapAPI 获取全球任意地点新行政边界底图
已知地址获取经纬度、已知经纬度获取地址、交通路线查询等
第四部分、因果推断与Stata实现
Difference-in-difference
Regression Discontinuity Design
其它事项
1、请学员自带笔记本电脑,我们将协助您提前安装好所需软件。
2、提供午餐盒饭,培训住宿安排。
3、本次培训限额人数40人,即日起开始正式接受报名和付费,先到先得,招满即止。
要不要学编程?什么时候学编程培训不算晚?
这是一个数字化的世界,在这个世界里,有计算机科学。人们阅读电子书而不是纸质书籍;课堂上使用的是数字显示屏而不是粉笔与黑板;人们的相机和汽车都已经数字化;孩子们刚学打字就知道如何使用拼写检查,刚学算术就可以使用Excel,这些都是数字化工具,但我们仍要学习有关书写和计数的知识。人们能够熟练使用谷歌或Facebook,但不知道谷歌搜索背后复杂的算法和Fackbook是如何保护隐私的。
计算机和编程是数字世界的核心。信息科学开发出软件来让整个世界数字化成为可能。它是一种教育、一门科学和一门艺术——而不仅仅是赋予人们以工具和操作。人们一次又一次地将使用数字工具和编程相混淆,其实两者毫无关系。
所以,信息科学有必要进入课堂,与物理、化学和数学平起平坐。但它又有很强的技术属性,你必须学会自己编程、使用计算机来解决问题。这是必不可缺的一个方面。