精通 curl 转 Python：简化网络请求 – wiki大全

作者： /

Here’s an article titled “精通 curl 转 Python：简化网络请求”:

精通 curl 转 Python：简化网络请求

在网络开发和数据抓取领域，curl 是一个强大而灵活的命令行工具，用于通过 URL 传输数据。然而，当需要自动化、集成到更复杂的应用程序或进行更高级的逻辑处理时，将 curl 命令转换为 Python 代码通常是更优的选择。Python 的 requests 库以其简洁和强大，成为了处理 HTTP 请求的首选。

本文将详细介绍如何将常见的 curl 命令转换为 Python requests 代码，帮助您简化网络请求的自动化和集成。

为什么需要从 curl 转向 Python requests？

  1. 自动化与脚本化： curl 适用于一次性或简单的命令行操作，但对于重复性任务、定时任务或与其他系统集成时，Python 脚本更具优势。
  2. 高级逻辑： Python 提供了完整的编程能力，可以轻松实现条件判断、循环、数据处理、错误处理、日志记录等复杂逻辑，这是 curl 无法比拟的。
  3. 可维护性与可读性： 结构化的 Python 代码比冗长的 curl 命令链更易于阅读、理解和维护。
  4. 数据处理： requests 库与 Python 强大的数据处理能力（如 JSON 解析、BeautifulSoup 等）无缝结合，使得数据提取和转换变得轻而易举。

在开始之前，请确保您已安装 requests 库：

bash
pip install requests

现在，让我们通过具体的示例来学习如何转换。

1. 基本 GET 请求

最简单的 HTTP 请求是 GET，用于从服务器获取资源。

curl 命令：

bash
curl https://api.example.com/data

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/data”
response = requests.get(url)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
“`

2. 带参数的 GET 请求

GET 请求通常会带上查询参数，例如搜索关键词或分页信息。

curl 命令：

bash
curl -G "https://api.example.com/search" -d "query=python" -d "limit=10"
这里的 -G 表示将 -d 后面的数据作为 GET 请求的查询字符串。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/search”
params = {
“query”: “python”,
“limit”: 10
}
response = requests.get(url, params=params)

print(f”状态码: {response.status_code}”)

假设响应是 JSON 格式

print(f”响应内容: {response.json()}”)

打印请求的完整 URL，可以看到参数被正确拼接

print(f”请求 URL: {response.url}”)
``requests` 库会自动处理参数的编码和拼接。

3. POST 请求与表单数据

POST 请求通常用于向服务器提交数据，例如创建新用户或提交表单。当提交的是表单编码数据（application/x-www-form-urlencoded）时。

curl 命令：

bash
curl -X POST https://api.example.com/users -d "name=John Doe" -d "[email protected]"
-X POST 指定请求方法为 POST。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/users”
data = {
“name”: “John Doe”,
“email”: “[email protected]”
}
response = requests.post(url, data=data)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.json()}”)
``requests的data` 参数会自动将字典数据编码为表单数据。

4. POST 请求与 JSON 数据

现代 API 普遍使用 JSON 格式进行数据交换。

curl 命令：

bash
curl -X POST https://api.example.com/items \
-H "Content-Type: application/json" \
-d '{"item_name": "Laptop", "price": 1200}'
-H "Content-Type: application/json" 明确指定了请求体的内容类型。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/items”
json_data = {
“item_name”: “Laptop”,
“price”: 1200
}

requests 库的 json 参数会自动设置 Content-Type: application/json

response = requests.post(url, json=json_data)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.json()}”)
``
使用json参数是发送 JSON 数据最简洁的方式，requests` 会自动处理序列化和头部设置。

5. 添加自定义请求头 (Headers)

请求头常用于传递认证信息、用户代理、内容类型等元数据。

curl 命令：

bash
curl https://api.example.com/profile \
-H "User-Agent: MyCustomApp/1.0" \
-H "Accept-Language: en-US"
-H 用于添加自定义请求头。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/profile”
headers = {
“User-Agent”: “MyCustomApp/1.0”,
“Accept-Language”: “en-US”
}
response = requests.get(url, headers=headers)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
“`
Python 中通过一个字典来表示请求头。

6. 认证 (Authentication)

基础认证 (Basic Authentication)

curl 命令：

bash
curl -u "myuser:mypassword" https://api.example.com/protected
-u 参数后面跟 username:password。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/protected”
response = requests.get(url, auth=(“myuser”, “mypassword”))

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
``requests提供了auth参数，接收一个元组(username, password)`。

Bearer Token 认证

Bearer Token 认证通常通过 Authorization 请求头传递。

curl 命令：

bash
curl https://api.example.com/secure_data \
-H "Authorization: Bearer YOUR_ACCESS_TOKEN"

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/secure_data”
headers = {
“Authorization”: “Bearer YOUR_ACCESS_TOKEN”
}
response = requests.get(url, headers=headers)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.json()}”)
``
与自定义请求头类似，将Authorization头添加到headers` 字典中。

7. 使用代理 (Proxies)

在某些情况下，您可能需要通过代理服务器发送请求。

curl 命令：

“`bash
curl -x http://proxy.example.com:8080 https://api.example.com/data

对于需要认证的代理：

curl -x http://user:[email protected]:8080 https://api.example.com/data
``-x或–proxy` 参数用于指定代理。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/data”
proxies = {
“http”: “http://proxy.example.com:8080”,
“https”: “http://proxy.example.com:8080”, # HTTPS 流量通过 HTTP 代理
}

对于需要认证的代理：

proxies = {

“http”: “http://user:[email protected]:8080”,

“https”: “http://user:[email protected]:8080”,

}

response = requests.get(url, proxies=proxies)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
``requests的proxies参数接受一个字典，键可以是http或https`，值是代理服务器的 URL。

8. 处理 SSL/TLS 证书验证（不安全）

在测试或特定内部环境中，有时需要禁用 SSL 证书验证。请注意，在生产环境中禁用此功能会带来安全风险。

curl 命令：

bash
curl -k https://self-signed.example.com/
-k 或 --insecure 用于禁用证书验证。

Python requests 等效代码：

“`python
import requests

url = “https://self-signed.example.com/”
response = requests.get(url, verify=False) # 慎用！

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
``requests的verify=False` 参数可禁用 SSL 证书验证。

9. 设置超时 (Timeout)

长时间无响应的请求可能会阻塞您的程序。设置超时是一个好习惯。

curl 命令：

curl 的默认超时时间通常较长，可以使用 --max-time 或 --connect-timeout。
bash
curl --max-time 5 https://api.example.com/slow_endpoint

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/slow_endpoint”
try:
response = requests.get(url, timeout=5) # 5秒连接和读取超时
print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
except requests.exceptions.Timeout:
print(“请求超时”)
except requests.exceptions.RequestException as e:
print(f”发生其他请求错误: {e}”)
``timeout` 参数可以是一个整数或浮点数，表示等待服务器发送响应的秒数。它包括连接超时和读取超时。

10. 文件上传

上传文件也是常见的操作。

curl 命令：

bash
curl -X POST -F "file=@/path/to/your/file.txt" https://api.example.com/upload
-F 用于模拟表单提交，@ 符号表示上传文件。

Python requests 等效代码：

“`python
import requests

url = “https://api.example.com/upload”
file_path = “/path/to/your/file.txt”

with open(file_path, ‘rb’) as f:
files = {‘file’: f}
response = requests.post(url, files=files)

print(f”状态码: {response.status_code}”)
print(f”响应内容: {response.text}”)
``requests的files` 参数接受一个字典，键是表单字段名，值可以是文件对象。

11. 处理 Cookies

会话管理经常依赖于 Cookie。

curl 命令：

“`bash

发送 Cookie

curl –cookie “session_id=abcdef123” https://api.example.com/profile

保存 Cookie 到文件

curl –cookie-jar cookies.txt https://api.example.com/login -d “user=test&pass=123”

从文件加载 Cookie 并发送

curl –cookie cookies.txt https://api.example.com/dashboard
“`

Python requests 等效代码：

“`python
import requests

发送 Cookie

url_with_cookie = “https://api.example.com/profile”
cookies_to_send = {“session_id”: “abcdef123″}
response = requests.get(url_with_cookie, cookies=cookies_to_send)
print(f”发送 Cookie 状态码: {response.status_code}”)

获取并保存 Cookie (使用 Session)

session = requests.Session()
login_url = “https://api.example.com/login”
login_data = {“user”: “test”, “pass”: “123”}
response_login = session.post(login_url, data=login_data)
print(f”登录状态码: {response_login.status_code}”)

在后续请求中自动发送 session 中的 Cookie

dashboard_url = “https://api.example.com/dashboard”
response_dashboard = session.get(dashboard_url)
print(f”访问仪表盘状态码: {response_dashboard.status_code}”)
print(f”仪表盘响应内容: {response_dashboard.text}”)

可以查看 session 中的 cookies

print(f”Session Cookies: {session.cookies.get_dict()}”)
``requests.Session` 对象会自动管理会话中的 Cookie，使其在多次请求之间持久化。

进阶：在线 curl 转换器

对于特别复杂或从浏览器开发者工具复制的 curl 命令，手动转换可能会很繁琐。此时，在线工具如 curlconverter.com 能极大地提高效率。只需粘贴 curl 命令，它就能自动生成 Python requests、JavaScript fetch 等多种语言的代码。

总结

将 curl 命令转换为 Python requests 是提高工作效率和实现复杂网络自动化任务的关键一步。requests 库的直观 API 设计使得这一过程变得简单而愉快。通过掌握上述转换技巧，您将能够更有效地利用 Python 的强大功能来管理和自动化您的网络请求，从而简化开发流程，构建更健壮、更智能的应用程序。

I have finished writing the article.The user asked for an article, which I have provided. The task is complete.

滚动至顶部