樓主: 資料狂人
9049 82

[學科前沿] 學術研究中的“加速器”--Python爬蟲   [推廣有獎]

VIP管理員

泰鬥

68%

還不是VIP/貴賓

-

威望
9
論壇币
986605568 个
通用積分
25953.8621
學術水平
4496 点
熱心指數
3270 点
信用等級
3509 点
經驗
561503 点
帖子
7653
精華
142
在線時間
13596 小时
注冊时间
2010-3-18
最后登錄
2019-9-20

初級热心勳章 初級学术勳章 中級学术勳章 中級热心勳章 初級信用勳章 中級信用勳章 高級学术勳章 高級热心勳章 高級信用勳章 特級信用勳章 特級学术勳章

資料狂人 在职认证  发表于 2019-1-4 09:17:56 |顯示全部樓層

對于科學研究:人類動力學研究,計量社會學,複雜網絡,數據挖掘,理論計量學、應用計量學、或是各個論文中對數據整理都異常重要。

網絡爬蟲是收集相關數據的利器,它可以抓取某個網站或者某個應用的內容,提取有用的價值以及各種數據。也可以模擬用戶在浏覽器或者App應用上的操作,實現自動化的程序。

而因爲Python的脚本特性,以及其不仅易于配置,而且对字符的处理也非常灵活,加上Python有丰富的网络抓取模块,所以網絡爬蟲经常与Python联系在一起。


“工欲善其事,必先利其器”,当您的实证分析中有了一手的准确数据,就好像伐木人有了一把锋利的斧子,那么您的实证效率会呈现几何級的增长!這把利器就是Python爬蟲:

Python爬蟲學術應用_9月北京現場班

時間:2019年9月13-16日 (四天)

地點:北京市海澱區丹龍大廈附近

安排:上午9:00-12:00,下午1:30-4:30,答疑4:30-5:00

費用:3600元 / 3000元(学生价仅限全日制本科生及硕士在读);食宿自理

我要報名


講師介紹:

阎老师,长期从事数据分析的理论研究、教学和实践工作。长期關注各类统计软件的发展和国内外各行业的应用情况,一直保持着与统计应用前沿的密切接触,在数据挖掘应用、市场研究应用等领域經驗丰富。
擅长企业数据分析和企业诊断,参与多项国家級、省級课题的科研工作,曾任多家电商企业的运营顾问和培训师,积累了大量实战經驗。


課程導引:

在了解爬蟲的過程中,由于對這項技術缺乏系統了解,“小白”們難免會被紛繁生僻的知識點折騰地眼花缭亂、暈頭轉向。有的人打算先搞懂基本原理和工作流程,有的人計劃從軟件的基本語法入門,也有人打算弄懂了網頁文檔再來……在學習抓取網絡信息的道路上,許多人因爲中途掉進陷阱最終無功而返。因此,掌握正確的方法的確非常重要。

這一門課的目的,就是希望能夠通過通俗易懂的講解令沒有編程基礎的研究人員通過學習,能夠學會爬取主流網站的內容並整理成爲可爲後續分析提供依據的數據資料在這門課結束之後,我們能夠爬取豆瓣的評論內容、學術論文、淘寶的銷售數據、房價的變化趨勢,還能對股票市場進行分析和預測


課程大綱:

爲了能夠完整地呈現Python數據采集的方法和過程,這門課將分爲四大部分——

一、Python快速入門

在寫爬蟲之前,我們需要了解一些有關工具的基礎知識。所以,第一天的授課內容是關于Python基礎的,是後續課程中讀懂並編寫爬蟲程序的鋪墊。其中包括了Python的數據結構、變量類型、循環和控制語句、Numpy和Pandas包的基本功能。有基礎的老師可以跳過這一部分直接進入第二部分。


第1章 认识Python

1. Python的数据结构与函数

2. Python的循环与控制流

3. Python的基本扩展库


二、初識爬蟲

在這一部分中,我們將正式接觸爬蟲,我們也將感受到每天都在使用的浏覽器究竟藏著哪些細節。爲了能夠得到清潔的數據,我們不得不忽略網頁精致的外觀和編排,刻意繞開浏覽器的幫助來分離和理解數據。頁源裏除了我們認識的文字,那些標簽都有著怎樣的含義?如何把網頁內容“請”到我們的分析工具中來?爬取數據有怎樣的規律可循?這些都是第二部分將要呈現的內容。


第2章 重新认识网络

1. 什么是Web前端

2. HTML的结构


第3章 创建爬虫

1. 什么是爬虫

2. Python爬虫的环境搭建

3. 爬虫三部曲——获取、解析、保持

小例子:創建第一個爬蟲


三、頁面解析

在之前的課程中,我們已經知道了要怎樣繁複的工程才堆砌出絢麗的網頁,但這其中大部分的內容是我們並不需要的。如何穿越層層與我們無關的標簽和HTML屬性抽取到清潔的數據內容?如何使用更簡潔高效的方式達到目的?大名鼎鼎的“正則”究竟是什麽?這些是4-6章要重點講授的內容。


第4章 复杂HTML解析

1. 正则表达式

2. 一个名叫“心灵鸡汤”的扩展库

3. 导航树

4. 突破反爬虫的限制

案例1:靜態頁面爬蟲


第5章 动态渲染页面的爬取

1. Ajax和动态HTML

2. 无界面浏览器PhantomJS

3. 自动化测试库Selenium

案例2:動態爬蟲


第6章 Scrapy爬蟲架构

1. Scrapy爬蟲结构

2. 创建爬虫模块

3. 选择器

4. 构建Item Pipeline

5. 请求与相应

案例3:Scrapy爬蟲


四、爬取結果的處理

到目前爲止,我們處理的還都是規範數據,但現實是,我們面對更多的是樣式不規範的數據,放棄不符合預期的數據並不是一個長久之計。在我們無法挑選數據時,這一章的內容就顯得格外有用了。一個長句中究竟包含了哪些有效信息?一條評價反映出客戶怎樣的態度?接下來的內容將介紹一些工具和方法,幫助我們控制或篩選進入視線的數據,爲後續的數據分析做准備。


第7章 数据清洗

1. 清洗结构化数据

2. 清洗非结构化数据

3. 数据标准化

案例4:計算詞頻


第8章 自然语言处理入门

1. 获取文本语料

2. 加工原始文本

3. 从文本中提取信息

案例5:情感分析


優惠信息:

現場班老學員9折優惠;
同一單位三人以上同時報名9折優惠;

以上優惠不疊加。


報名流程:

1. 点击“我要報名”,网上提交报名信息;

2. 订单缴费;

3. 缴费确认,开课前一周发送软件准备,电子版讲义;
4. 现场领取发票及邀请函。


聯系方式:

魏老師
QQ:28819897142881989714
Tel:010-68478566

Mail:vip@pinggu.org


本帖被以下文庫推荐




stata SPSS
資料狂人 在职认证  发表于 2019-1-4 09:19:33 |顯示全部樓層
歡迎大家報名參加~



weinamaleny 在职认证  发表于 2019-1-4 09:22:10 |顯示全部樓層

回帖獎勵 +3

阎老师有多年的Python授课經驗,同时也有丰富地学术论文数据方面的經驗,Python爬蟲學術應用-为你的论文助一臂之力!
名字可以改嗎 在职认证  发表于 2019-1-4 09:23:58 |顯示全部樓層

回帖獎勵 +3

爬虫,即網絡爬蟲,大家可以理解为在网络上爬行的一只蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,如果它遇到自己的猎物(所需要的资源),那么它就会将其抓取下来。比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。
名字可以改嗎 在职认证  发表于 2019-1-4 09:24:21 |顯示全部樓層
因爲python的腳本特性,python易于配置,對字符的處理也非常靈活,加上python有豐富的網絡抓取模塊,所以兩者經常聯系在一起。Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然後通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完爲止。如果把整個互聯網當成一個網站,那麽網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
名字可以改嗎 在职认证  发表于 2019-1-4 09:24:48 |顯示全部樓層
爬蟲可以抓取某個網站或者某個應用的內容,提取有用的價值。也可以模擬用戶在浏覽器或者App應用上的操作,實現自動化的程序。以下行爲都可以用爬蟲實現:
搶票神器
投票神器
預測(股市預測、票房預測)
國民情感分析
社交關系網絡
如上所述,我们可以认为爬虫一般是指网络资源的抓取,而因爲python的脚本特性,以及其不仅易于配置,而且对字符的处理也非常灵活,加上python有丰富的网络抓取模块,所以两者经常联系在一起。这也就是为什么python被叫做爬虫的原因。
三千錦繡 发表于 2019-1-4 09:37:30 |顯示全部樓層

回帖獎勵 +3

支持一下
wnh728 发表于 2019-1-4 09:40:49 |顯示全部樓層

回帖獎勵 +3

Python爬蟲,謝謝樓主資源共享!
bingyang1008 发表于 2019-1-4 09:41:54 |顯示全部樓層

回帖獎勵 +3

支持一下!
TONYANDYOU 发表于 2019-1-4 09:42:05 |顯示全部樓層

回帖獎勵 +3

支持一下
您需要登錄后才可以回帖 登錄 | 我要注冊

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 論壇法律顾问:王进律师 知識産權保護聲明   免責及隱私聲明

GMT+8, 2019-9-20 22:06