
_当我们熟悉了re和Requests两个模块，就可以开始愉快的数据采集之旅了，我们先为自己找一些需要采集的数据，比如股票价格数据、新闻或是美女图片等，只要你喜欢。_

### 数据采集第一步，加载数据源。

这里我假设自己一个工作繁忙兼职炒股股市老手，工作的同时经常需要查看股市行情，但是又不能总盯着炒股软件，这个时候为自己做一个简单的股票数据采集器是个不错的选择。

    import re, requests # 加载所需模块
    r = requests.get('http://hq.sinajs.cn/list=s_sh000001') #互联网上市公司股票价格
    r.encoding = 'gbk'# 设置编码 解决乱码问题
    print(r.text) #返回html代码（数据）


通过上边的代码运行之后我们会得到一组数据：

    var hq_str_s_sh000001="上证指数,3367.1194,6.3091,0.19,2824975,31372209";

数据含义分别为：指数名称，当前点数，当前价格，涨跌率，成交量（手），成交额（万元）；

这样我们只要提示自己需要的`上证指数,3367.1194,6.3091,0.19,2824975,31372209`这段数据后，就可以把它转换成自己需要的对象，然后处理打印。

### 数据采集第二步，解析数据，提取我们自己需要的。

    s = r.text # 获取数据
    p = r'"(.+)"' #设置正则表达式
    r = re.search(p, s).group(1) #匹配并获取结果字符串
    print(r)
    ls = r.split(',')
    print(ls)


### 数据采集第三步，处理最后的打印

    print('''{}:{}
    当前价格:{}
    涨跌率:{}
    成交量（手）:{}
    成交额（万元）:{}'''.format(ls[0],ls[1],ls[2],ls[3],ls[4],ls[5])
    )
    
    #最后输出：
    #上证指数:3367.1194
    #当前价格:6.3091
    #涨跌率:0.19
    #成交量（手）:2824975
    #成交额（万元）:31372209


得到以上结果之后，我们就可以通过很多方法来通知自己查看大盘点数（发邮件，直接通过一个网址查看或是短信），了解股市行情了。具体实现这里暂时不做讲解，因为超出当前教程的范围。

### 本文源码下载：

+ [github](https://github.com/bosichong/17python.com/tree/master/re)
+ [开源中国码云镜像gitee](https://gitee.com/J_Sky/17python.com/tree/master/re)

当我们熟悉了re和Requests两个模块，就可以开始愉快的数据采集之旅了，我们先为自己找一些需要采集的数据，比如股票价格数据、新闻或是美女图片等，只要你喜欢。

Python 采集数据三步曲之[Requests + re.py模块进行数据采集]


_跟计算机打交道，和目录与文件接触应该是最多的了，所以，掌握Python中的目录与文件操作是非常重要的，本节主要介绍os.path模块的一些常用方法_

### os.path 模块

首先，导入一些必须的模块

    import os
    import time

### 路径操作的常用方法：

    print(__file__) #当前文件的完整地址
    print(os.path.abspath('ospathtest.py'))#当前文件的完整地址
    print(os.path.dirname(__file__)) #当前目录所属地址
    print(os.path.isdir(os.path.dirname(__file__)))# 判断是否为路径
    print(os.path.isfile(os.path.dirname(__file__)))# 判断是否为文件


### 组装及创建目录

    p = os.path.join(os.path.dirname(__file__), 'aaa')
    os.mkdir(p) # 创建目录
    time.sleep(3)# 暂停3秒，这样就可以在左侧目录中看到新建的'aaa'目录了
    os.rmdir(p)
    print(p)# 组装目录
    print(os.path.split(__file__))# 分割路径与文件名


### os.path中的一些is get方法

    path = __file__
    print(os.path.getatime(path))  #返回最后一次进入此path的时间。
    print(os.path.getmtime(path))  #返回在此path下最后一次修改的时间。
    print(os.path.getctime(path))  #返回path的大小
    print(os.path.getsize(path))  #返回文件大小，如果文件不存在就返回错误
    print(os.path.isabs(path))  #判断是否为绝对路径
    print(os.path.isfile(path))  #判断路径是否为文件
    print(os.path.isdir(path))  #判断路径是否为目录
    print(os.path.islink(path))  #判断路径是否为链接
    print(os.path.ismount(path))  #判断路径是否为挂载点（）



### 相关参考

[os.path — 路径操作](http://python.usyiyi.cn/translate/python_352/library/os.path.html)

### 本文源码下载：

+ [github](https://github.com/bosichong/17python.com/blob/master/io/ospathtest.py)
+ [开源中国码云镜像gitee](https://gitee.com/J_Sky/17python.com/blob/master/io/ospathtest.py)

跟计算机打交道，和目录与文件接触应该是最多的了，所以，掌握Python中的目录与文件操作是非常重要的，本节主要介绍os.path模块的一些常用方法

Python os.path模块中一些常用方法的整理总结


_在编程和计算机的使用中，与文件打交道是必不可少的，每天都要打开读取写入很多的文件，所以了解Python的文件打开、读、写操作是非常有必要的。_

### 为什么是with open()?

一般的文件打开方法：

    f = open(os.path.join(os.path.dirname(__file__),'17python.txt'))
    s = f.readline();# 一次读取一行内容
    print(s)
    f.close() #关闭流，如果是写入文件，不关闭流，可能会造成写入失败或是内容丢失。


使用with open() as f :

    with open(os.path.join(os.path.dirname(__file__),'17python.txt')) as f :
        s = f.readline()
        print(s)


with open的好处是，不用再使用close()方法，避免因忘记close()方法产生的错误。

open方法中的常用参数,open函数有很多的参数，常用的是file，mode和encoding，name就不解释了，文件名字符串，encoding='utf-8'，用来指定打开或写入文件的编码。
    open(name[,mode[,buffering]])
其中mode 指定文件打开方式。

读写模式的类型有：

+ rU 或 Ua 以读方式打开, 同时提供通用换行符支持 (PEP 278)
+ w     以写方式打开，
+ a     以追加模式打开 (从 EOF 开始, 必要时创建新文件)
+ r+     以读写模式打开
+ w+     以读写模式打开 (参见 w )
+ a+     以读写模式打开 (参见 a )
+ rb     以二进制读模式打开
+ wb     以二进制写模式打开 (参见 w )
+ ab     以二进制追加模式打开 (参见 a )
+ rb+    以二进制读写模式打开 (参见 r+ )
+ wb+    以二进制读写模式打开 (参见 w+ )
+ ab+    以二进制读写模式打开 (参见 a+ )

### 读取及写入文件

+ read()方法用来读取文件
+ write()方法用来写入文件

### 关于Python读取大文件内容丢失

数据保存 一般保存没有什么大问题，主要是读取。 如果保存后是字符串,之前是list 或是 元组（Tuples）保存后就是字符串了，再读取就需要转换成对应的容器，这里用eval(s)函数方法，效果还是比较不错的。 还有就是大文本在读取的时候如果一次用python read()全部读取的时候会出现莫明的无反应及读取内容不全的情况 ，这里采用分段读取比较好些：

    with open(os.path.join(os.path.dirname(__file__),'17python.txt'), mode='r',encoding='utf-8') as f:
        s = ''
        while True:  
            temp = f.read(100)#分段读取，可以解决读取大文件时无法读取的奇怪问题
            if temp == '':  
                break
            s += temp
        print(s)
        f.close() 


### 相关参考

+ [Python open()文件处理使用介绍](http://www.jb51.net/article/58002.htm)
+ [官方文档 io - 使用流的核心工具](http://python.usyiyi.cn/documents/python_352/library/io.html)

### 本文源码下载：

+ [github](https://gitee.com/J_Sky/17python.com/blob/master/io/fileopentest.py)
+ [开源中国码云镜像gitee](https://gitee.com/J_Sky/17python.com/blob/master/io/fileopentest.py)

在编程和计算机的使用中，与文件打交道是必不可少的，每天都要打开读取写入很多的文件，所以了解Python的文件打开、读、写操作是非常有必要的。

os.path 模块

路径操作的常用方法：

组装及创建目录

os.path中的一些is get方法

相关参考

本文源码下载：

相关文章