• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    解决一个pandas执行模糊查询sql的坑

    查询引擎使用了presto,在sql中使用了模糊查询。

    engine = create_engine(presto_url,encoding='utf-8')
    sql_exe ="""select id,title,tags from source.base.table where tags like '%呵呵%' """
    df = pd.read_sql_query(sql_exe,engine)
    

    一直报错:

    unsupported format character

    解决方案

    第一:

    sql_exe ="""select id,title,tags from source.base.table where tags like '%%呵呵%%' """

    第二:

    sql_exe ="""select id,title,tags from source.base.table where tags like %s """
     df = pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))
    

    补充:pd.read_sql()知道这些就够用了

    如下:

    pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

    各参数意义

    sql:SQL命令字符串

    con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立

    index_col: 选择某一列作为index

    coerce_float:非常有用,将数字形式的字符串直接以float型读入

    parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。

    columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了

    chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。

    设置参数can–>创建数据库链接的两种方式

    用sqlalchemy构建数据库链接

    import pandas as pd
    import sqlalchemy
    from sqlalchemy import create_engine
    # 用sqlalchemy构建数据库链接engine
    connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'
    engine = create_engine(connect_info)
    # sql 命令
    sql_cmd = "SELECT * FROM table"
    df = pd.read_sql(sql=sql_cmd, con=engine)
    

    用DBAPI构建数据库链接

    import pandas as pd
    import pymysql
    # sql 命令
    sql_cmd = "SELECT * FROM table"
    # 用DBAPI构建数据库链接engine
    con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
    df = pd.read_sql(sql_cmd, con)
    

    read_sql与read_sql_table、read_sql_query

    read_sql本质上是read_sql_table、read_sql_query的统一方式。

    三者都return返回DataFrame。

    1、read_sql_table

    Read SQL database table into a DataFrame.

    2、read_sql_query

    Read SQL query into a DataFrame.

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

    您可能感兴趣的文章:
    • Pandas 模糊查询与替换的操作
    • Pandas的数据过滤实现
    • Python遍历pandas数据方法总结
    • python中数据库like模糊查询方式
    上一篇:python中判断集合范围的方法小结
    下一篇:python pandas模糊匹配 读取Excel后 获取指定指标的操作
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    解决一个pandas执行模糊查询sql的坑 解决,一个,pandas,执行,模糊,