29
4
我尝试用 pandas 分析的 HTTP 日志文件有时会有意外的行。这是我加载数据的方式:
Trung tâm cá nhân
Điều phát hành
từ bỏdf = pd.read_csv('mylog.log',
sep=r'\s(?=(?:[^"]*"[^"]*")*[^"]*$)(?![^\[]*\])',
engine='python', na_values=['-'], header=None,
usecols=[0, 3, 4, 5, 6, 7, 8,10],
names=['ip', 'time', 'request', 'status', 'size',
'referer','user_agent','req_time'],
converters={'status': int, 'size': int, 'req_time': int})
它适用于我拥有的大部分日志(来自同一台服务器)。但是，在加载一些日志时，会引发异常: 要么
TypeError: int() argument must be a string, a bytes-like object or a number, not 'NoneType'
hoặc
ValueError: invalid literal for int() with base 10: '"GET /agent/10577/bdl HTTP/1.1"'
为了示例，下面是触发第二个异常的行:
22.111.117.229, 22.111.117.229 - - [19/Sep/2018:22:17:40 +0200] "GET /agent/10577/bdl HTTP/1.1" 204 - "-" "okhttp/3.8.0" apibackend.site.fr 429282
为了找到受控行的编号，我使用了以下(非常慢)函数:
def search_error_dichotomy(path):
borne_inf = 0
log = open(path)
borne_sup = len(log.readlines())
log.close()
while borne_sup - borne_inf>1:
exceded = False
search_index = (borne_inf + borne_sup) // 2
thử:
pd.read_csv(path,...,...,nrows=search_index)
except:
exceded = True
if exceded:
borne_sup = search_index
khác:
borne_inf = search_index
return search_index
我想要的是这样的:
thử:
pd.read_csv(..........................)
except MyError as e:
print(e.row_number)
其中e.row_number是乱行的编号。
提前谢谢你。
解决方案所有功劳都归功于 devssh，他的建议不仅使过程更快，而且让我能够一次获得所有意想不到的线路。这是我所做的:
加载没有转换器的数据框。
df = pd.read_csv(path,
sep=r'\s(?=(?:[^"]*"[^"]*")*[^"]*$)(?![^\[]*\])',
engine='python', na_values=['-'], header=None,
usecols=[0, 3, 4, 5, 6, 7, 8,10],
names=['ip', 'time', 'request', 'status', 'size',
'referer', 'user_agent', 'req_time'])
使用 .reset_index() 添加“索引”列。
df = df.reset_index()
编写自定义函数(与 apply 一起使用)，如果可能则转换为 int，否则保存字典错误行中的条目和“索引”
wrong_lines = {}
def convert_int_feedback_index(row,col):
thử:
ans = int(row[col])
except:
wrong_lines[row['index']] = row[col]
ans = pd.np.nan
return ans
对我要转换的列使用应用(例如 col = 'status'、'size' 或 'req_time')
df[col] = df.apply(convert_int_feedback_index, axis=1, col=col)
câu trả lời hay nhất
您是否尝试过 pd.read_csv(..., nrows=10) 看看它是否适用于 10 行？
也许你不应该使用转换器来指定dtypes.
加载 DataFrame，然后将 dtype 应用到像 df["column"] = df["column"].astype(np.int64) 这样的列或像 df["column"这样的自定义函数]=df["column"].apply(lambda x: convert_type(x)) 并在函数 convert_type 中自行处理错误。
最后，通过调用 df.to_csv("preprocessed.csv", headers=True, index=False) 更新 csv。
我认为您无法从 pd.read_csv 本身获取行号。该分隔符本身看起来太复杂了。
或者您可以尝试将 csv 作为单列 DataFrame 读取并使用 df["column"].str.extract 以使用正则表达式提取列。这样您就可以控制如何引发异常或处理错误的默认值。
df.reset_index() 将为您提供行号作为列。这样如果你apply to two columns ，您还将获得行号。它将为您提供带有行号的索引列。将其与应用于多列相结合，您可以自定义所有内容。
关于python - read_csv 获取发生异常的行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52686559/
29
4
0
下面的代码旨在在首次打开工作簿时运行。 Sub Auto_Open() Dim LastRow As Integer LastRow = Sheet6.UsedRange.Rows.Count Act
当我尝试操作我的代码时，除了弹出调试错误外，它执行得很好。错误信息在这里。 我的完整代码在这里。 #include using namespace std; class String { publi
The invocation of the constructor on type 'WpfApplication1.MainWindow' that matches the specified bi
我正在使用 BaseAdapter: public class MyAdapter extends BaseAdapter{ private final LayoutInflater mInflate
我想做网页抓取。我写了代码 var connection = require('./mysqlConnection'); var c = new Crawler({ maxConnections
我的系统中发生 Java 堆空间错误。我尝试了很多来自 Stack Overflow 的解决方案，但没有任何效果。当我工作时 当按下 OK 然后 (我的项目没有错误) 我的 eclipse.ini 是
环境: i5 750 DDR3 4GWin7 专业版 x64 sp1 DXSDK 9.0c 2010 年 6 月 GeForce GT240(驱动程序 275.33)512MB MSVC 2008 s
这段代码是我写的。 import socket host = 'localhost' port = 3794 s = socket.socket(socket.AF_INET, socket.SOCK
我正在尝试引用 UTC 时间间隔获取本地日期时间，我正在执行下面的代码。 var dtString =DateTime.UtcNow.ToString(@"yyyy-MM-ddTHH\:mm\:ss
我有一个非常简单的 C# 问题，它从库中加载 Windows WPF 窗口。这是代码: public partial class App : Application { public App(
我目前正在使用带有导航组件的底部导航，它工作正常但是当我们点击导航项 fragment 正在加载然后闪烁正在发生，即使当前选择的项目也会发生闪烁。它在加载 fragment 时发生。我的应用程序屏幕背
我是新来的 kotlin , 当我开始 Null Safety 时，我对下面的情况感到困惑. There's some data inconsistency with regard to initia
我有一个框，其中包含同时发生的两个独立的 css 转换。 当转换发生时，图标下方的标题和段落文本移动位置 参见 JS Fiddle:http://jsfiddle.net/Lsnbpt8r/ 这是我的
在为黑莓 10 构建电话间隙应用程序时，我遇到了异常情况。 [BUILD] Populating application source [BUILD] Parsing config.xml [
这个问题在这里已经有了答案: How to properly stop the Thread in Java? (8 个回答) 3年前关闭。 我看过How to properly stop the T
我试图弄清楚发生 fatal error 时如何刷新页面。基本上我正在访问图像 api 并将图像复制到我的服务器。我还每次都创建照片的缩略图版本。我会每隔一段时间收到一条错误消息，指出我的脚本试图分配
我正在尝试使用断言函数检查元素是否在屏幕上。我在我的测试应用程序 (AndroidDriver) 中使用 Appium 和 Java。我期望的是，如果元素在屏幕上，则返回 1；如果不在屏幕上，则返回
我正在开发图像上传系统。我使用 CommonsMultipartResolver 设置 maxUploadSize。当我尝试上传超过最大尺寸的图像文件时，会发生 MaxUploadSizeExcced
我有以下代码和@ComponentScan(basePackages = "com.project.shopping")，包结构为 com.project.shopping.Controller co
我尝试运行此程序作为测试，但收到错误“发生了 JNI 错误，请检查您的安装并重试”，然后是“发生了 Java 异常”。关于如何解决这个问题有什么想法吗？ package java; public cl
Tôi là một lập trình viên xuất sắc, rất giỏi!