首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >解决Ascend上vllm运行时出现urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]

解决Ascend上vllm运行时出现urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]

原创
作者头像
zjun
发布2025-01-06 15:04:08
发布2025-01-06 15:04:08
3260
举报

背景

尝试使用vllm模型,脚本代码如下:

代码语言:python
复制
from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

运行过程中出现:

问题分析

问题就出现在通过python去下载文件,然后SSL的安全校验出现了问题。临时解决办法是,可以规避该校验。

解决方案

  1. 首先找到sessions.py文件,可以在完整的报错信息里找到:
  1. 修改文件 vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py 大概在500行左右的位置,找到 request 函数,将传参 verify 的默认值由 None 改为 False,

再次运行,问题解决。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 背景
  • 问题分析
  • 解决方案
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档